随着移动互联网的普及,视频已经成为人与人互动交流、品牌开展营销活动的重要媒介。但无论是短视频的制作还是视频直播,都需要在内容策划和拍摄、剪辑等环节消耗大量资源和精力。如今,在AI大模型的技术革新下,AI数字人视频生成技术成为降低视频创作成本,突破质量和效率天花板的有效路径。
前不久,商汤科技公布了其自主研发的“日日新SenseNova”大模型体系,并推出基于该体系下的“商汤如影SenseAvatar”AI数字人视频生成平台。该平台基于AI数字人视频生成算法、语言大模型、AI文生图、AIGC等多种能力,能够轻松实现高质量、高效率的数字人视频内容创作,推动视频内容创作的范式革新。
如影数字人生成方案只需一次真人素材录入,就能生成超写实的数字分身,实现视频制作效率的指数级提升。作为全栈式的AI数字人视频生成平台,“如影”平台旨在帮助企业和个人轻松开展数字人短视频、直播等内容创作,同时也可为教育培训、企业宣传,娱乐文化等领域提供视频解决方案,提高品牌知名度和用户粘性。
大模型+大算力,让数字人生成效果好、速度快
“大模型”和“大算力”是实现高质量、高效率数字人生成的核心驱动力。在商汤“日日新SenseNova”大模型体系和AI大装置SenseCore的支持下,“如影”平台在生成效率和效果方面双双突破,引领行业前沿。
出众的生成效果源于大模型强大的数据学习能力。通过对海量真人基础数据的有效学习,“如影”平台生成的数字人外貌更真实、动作表情更自然,对输入的素材也更加鲁棒。其中真人相似度高达90%~95%,口型匹配度可达95%,远超业界平均水平。大模型更强的泛化能力,也让“如影”平台能够更好地支持不同类型、不同风格的数字人生成,并覆盖更多种语言。
高效的生成速度则依托全自动化的处理流程和AI大装置强大的算力利用能力。通过打通从上传视频、处理数据、训练模型、转换模型到模型部署的自动化闭环,“如影”平台可将传统视频制作流程中的人工处理时间大幅减少90%,模型训练时间减少60%,只需1天,即能完成各类定制数字人训练。结合商汤AI大装置SenseCore的强大算力和并发处理效率,平台更可以做到数字人的批量生产,同时满足不同客户的定制化需求。
依托大模型和大算力,无论是2D数字人还是3D数字人的视频生成,“如影”平台均能够为客户提供低门槛的创作工具,赋能客户将质量、效率发挥到极致。
仅需5分钟真人视频,就能打造超写实2D数字分身
2D数字人如同用户的数字分身,可以代替真人出镜开展视频创作,实现效率跃迁。基于强大领先的AI生成能力和便捷易用的使用体验,“如影”平台仅需一段5分钟手机拍摄的真人视频素材,就能生成动作、表情、口型都能如真人一般自然逼真,且多语种精通的数字分身。平台还打通了从文生文、文生视频的整个流程,通过文字驱动,即可自由无门槛地开展各类视频内容制作。
以文案创作为例,用户只需要输入粗略想法,平台就会自动生成相关视频文案。从换装到换背景,素材选择同样灵活自由。用户不仅可以使用平台内置的丰富的已有素材或上传自己的素材,还可以借助平台的AI文生图能力,给定相应的提示词,生成“脑中所想”的其他素材,并直接应用于视频创作。
对于有跨国交流需求的用户,“如影”平台还支持多语言文本生成及多语言语音合成,涵盖超过100个国家和地区。用户通过简单操作,就可直接将生成好的视频切换成不同语言版本,发音、口型自动匹配,轻松完成“本土化”内容创作。
创建鲜活饱满的3D数字人
3D数字人虚拟主播或“虚拟IP”,有着更灵活广泛的使用场景,但制作成本更高。
和现实世界的交互,不仅需要一颗聪明的大脑来生成可靠的文字,还需要通过灵动自然、语义契合的动作,来增加3D数字人的表现力和感染力。
基于商汤原创OpenXRLab扩展现实平台的领先算法,打造了一套多模态的动作生成解决方案,无需专业设备进行动捕,就能够根据文字语义和声音韵律生成风格多样、语义准确、长时间自然连贯的表情和动作。
得益于全栈生成式AI能力,让用户轻松开启直播之旅。基于商汤的语言大模型,针对直播带货场景进行了优化,可以根据产品内容快速生成多风格的带货文本,配合多风格的声音及动作生成,让你一键拥有百变主播。借助商汤大模型的精细化3D物件生成能力和文生图大模型,数字人的交互能力和直播场景中的内容元素亦可持续拓展。
直播过程中,数字人还可以自主完成带货、粉丝互动、疑难解答等实时交互,以更低的运营成本实现24小时直播运营,全天候触达用户。
除视频、直播场景外,数字人也可广泛适用于文旅、展馆、金融、教育、商超等各类线下场景,提供多样化服务。在今年上海车展期间,商汤展示了数字人在车舱场景的应用,既能自动提炼邮件关键信息,还会整理会议纪要,是一位智能有温度的绝佳行车伴侣。
在推动AI数字人视频生成技术创新和应用的过程中,商汤还致力于打造“可信数字人”,在可信原则的指导下推动虚拟人市场健康、可持续、高质量发展。每个在“如影”平台创作的数字人,都经过了严格的可信认证,确保其不被盗用或篡改。同时,由中国信通院牵头,商汤科技参编的《可信虚拟人生成内容管理系统技术要求》已完成立项,将于年内出台团体标准,推动可信数字人行业标准建立,让数字人生成内容与真人意愿不“脱钩”,数字人产业快速发展不从监管“脱缰”,肖像权、所有权与现实约束不“脱节”。
目前,“如影SenseAvatar”平台已面向多家企业开放服务,帮助各行各业突破原有内容制作模式的瓶颈,打破内容创意的天花板,让更易用、更智能的数字人生成技术,成为智能时代的全新生产力工具。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )