近日，千博信息、中国科学院自动化研究所、华为基于“紫东太初”三模态大模型、昇腾AI基础软硬件平台打造出手语多模态模型及手语教考一体机，辅助听障人士更好地理解和学习手语。我国有2700多万听障人士，手语是听障人群沟通交流的主要方式，但手语学习面临词汇更新慢、师资短缺、手语标准难统一等多重挑战。
手语多模态模型及手语教考一体机
研发人员让“紫东太初”三模态大模型学习了1.2万个手语词汇、50多万语法、70多万语料，基于昇思MindSpore AI框架，开发手语多模态模型，开创性地实现手语动作与视频、图片示意和文字说明的联动，让初学者对手语语义理解更加深刻。而后，基于手语多模态模型，利用昇腾AI基础软硬件平台开发出手语教考一体机。目前，该一体机已在湖南多个特殊教育学校陆续上线，一定程度上缓解了手语师资短缺问题。
手语教考一体机可以实现文本到图像的自动生成，具备实时手语手势识别、表情及唇语识别等能力，并且还可实现新事物词汇的及时学习与更新，适用于特殊教育学校、开设手语教学师资培养的大专院校、通用手语推广教学点和全国残联基层培训点等。此外，基于手语多模态模型打造的AI手语助手功能可用于同传翻译、新闻主持、服务引导等场景。
2021年底，基于“紫东太初”三模态大模型，华为携手伙伴成立了多模态人工智能产业联盟，经过半年多紧密合作，陆续孵化出多个行业解决方案，如手语多模态模型和手语教考一体机。在AI大模型产业化落地过程中，丰富的数据和参数、更泛化的应用场景，反哺大模型基础能力，让大模型更智能、场景适用性更好，从而对行业应用提供更大的支持，实现大模型创新到应用，再到迭代升级的产业正循环。未来基于中国算力网—智算网络的充沛算力，AI大模型的创新、应用到迭代升级的速度将进一步加快，大模型在不同领域的应用也将更加多元化。
