在华为开发者大会2020(Cloud)期间,华为云推出了全面升级的业界首个端云协同多模态AI应用开发套件——HiLens ,打通线上线下开发和部署流程,开发者只需在云上完成一次多模态AI应用开发,既可以部署到云侧,也可以部署到端侧和边缘侧。
人工智能的发展正经历从感知到认知,从单模到多模,从云侧到端云协同的演进。此次,全面升级的华为云HiLens推出多模态开发环境HiLens Studio、开发框架HiLens Framework及技能市场HiLens Skill Market。
HiLens Studio:华为云HiLens在云侧新推出开发环境HiLens Studio,开发者可以在线完成开发、调试、模拟运行、部署和发布AI技能等功能,免去了线下环境搭建、线上线下切换等复杂步骤,没有硬件套件也可以完成多模态AI应用开发。传统的AI应用开发和部署意味着高成本和高门槛,借助HiLens Studio,AI应用开发和部署仅需要三步:
在华为云一站式AI开发管理平台ModelArts进行模型训练与转换,然后到HiLens Studio开发和调试技能,并可以在模拟器中查看技能输出效果,完成后可以一键部署到HiLens Kit等端侧设备,整个过程均在云侧完成。Studio中的模拟器基于华为昇腾NPU,与HiLens Kit一致,和真实环境非常接近。
Framework:新推出的多模态AI应用开发框架HiLens Framework,封装了多模态数据接入、数据处理、模型推理和结果输出等多个方便易用的组件,结合华为自研的昇腾芯片进行了深度性能优化,提供了多语言开发接口,用来开发AI应用代码更简洁、流程更清晰。例如,传统方式的100+行代码实现的音频解码+片段截取+预处理过程,通过HiLens Framework仅需3行代码即可以实现;20+行代码实现的模型初始化+模型推理,缩减为仅需2行代码。
技能市场:华为云HiLens还提供开放的技能市场(HiLens Skill),预置丰富的各类场景技能和应用模板,开发者可以一键安装部署到端侧进行免费试用,也可以在模板基础上进行修改、补充更多特性,无须从零开始,可以很快上手。
英国AI公司Emotech联合华为云推出多模态AI英语口语教评解决方案,拥有全球首创的口型与发音结合的多模态技术,具有良好的抗噪、抗干扰能力,多场景适用,相比单模态评分稳定性提高30%。音频与视频的多模反馈,让学生告别盲听学口语时代,提供多感官的互动,使学习更加高效。
Emotech团队在华为开发者大会2020(Cloud)上演示了如何使用HiLens端云协同多模态AI应用开发套件快速开发一个多模态口语测评Skill,并把它部署到端侧设备HiLens Kit上。然后模拟学生在平板电脑上进行跟读,多个平板电脑可以把视频数据送到算力强大的HiLens Kit上推理分析,降低时延的同时保护隐私,得到多模态口语测评得分。
Emotech团队演示多模态口语测评Skill开发
基于华为云HiLens,AI开发者可以开发出适用于智慧家庭、智慧教育、智慧门店、智慧工业、智慧交通等场景的多模态AI解决方案,快速实现AI应用开发及落地。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )