文 | 智能相对论
作者 | 沈浪
随着OpenAI在2024开年发布Sora引爆市场,视频大模型成了新一代“全球通杀”的AI技术,也让业界对谁能成为“中国版Sora”充满了期待。
其结果,是各类厂商在庞大的市场蛋糕驱动下,都不可避免地争做“中国版Sora”。而正如历次技术重大革新浪潮中,“中国版”的名头并非谁最先做出来,谁就能戴上王冠,其背后,自带两重要求:
首先,“中国版”本身意味着对本土内容创作有直接的驱动价值,否则大模型创新价值将减少,陷入“别人有所以我才要有”的逻辑中,而不是真正围绕本土价值展开。这是价值标准和导向。
然后,要能力够强、够全面,要能对标到“Sora”的能力方向,而不是差较远。这是基础也是底气。
“中国版”+“Sora”,组合起来,才是“中国版Sora”。
欣慰的是,智能相对论发现,目前业内部分大模型已开始展现这一潜力。今年1月初,AIGC软件A股上市公司万兴科技(300624.SZ)发布了国内首个专注于数字创意领域的音视频多媒体大模型——万兴“天幕”,并凭借大模型在视频、音频、图像、文本等多媒体领域的强大能力,吸引了业界的广泛关注。据介绍,万兴“天幕”依托15亿用户行为数据和百亿本土化音视频数据,具备近百项音视频原子能力,并已通过中央网信办备案。
前不久,万兴“天幕”正式开放公测,提供了包括文生视频、文生音乐、文生音效、文生图等等多样化功能的测试入口,其中文生视频功能支持一键生成60秒+视频。上周末,睽违4年的《歌手2024》震撼开唱,而据透露,节目片头中部分画面便是由万兴“天幕”支持生成,超高清晰度的精致画面更是吊足了视频从业者的胃口。
(《歌手》片头部分画面由万兴“天幕”技术加持生成)
万兴“天幕”综合能力究竟如何,有是否真的能生成60+秒视频?《智能相对论》特别在万兴“天幕”近期公测期间,体验了相关能力。
1.基本操作:小白友好,可体验7大功能
(万兴“天幕”公测页面)
打开万兴“天幕”的公测页面,7大功能陈列在左侧功能栏,包括文生视频、视频风格化、文生音乐、视频配乐、文生音效、文生图、图生图,完美契合了“音视频大模型”这一定位。
目前,每个功能每日可进行10次生成;具体到操作层面,每个功能的操作都很简单,基本都只需要进行prompt输入+选择风格即可生成,新手也可快速上手,符合其“赋能创作者”的定位。
2.文生视频功能实测:“中国特色”理解力及生成效果表现优异
在万兴“天幕”的介绍中,“本土化音视频数据”引人注目。目前包括Sora、MidJourney等在内的大部分视频/图像生成模型,都主要是以海外数据进行训练,对中国元素的生成仍旧不尽如人意。作为国产音视频大模型的先锋者,除了视频整体效果外,万兴“天幕”在“中国特色”内容的生成层面表现如何,也是我们这次测评的重点之一。
点开文生视频功能页,输入描述词“张家界美丽的自然风光,包括其标志性的柱状山脉、茂密的森林和云雾缭绕的景观”。等待5分钟后,一段60秒长度的视频就生成出来了。单从生成效率来看,天幕表现不错。
(万兴“天幕”文生视频页面)
接下来具体看看生成效果。
描述词还原度方面,表现得可圈可点——张家界的景色特点鲜明,奇峰耸立、山峦叠嶂、云雾缭绕,且整体画面自然真实,细节上也完成得不错。此外值得注意的是,天幕在没有任何动作、情节描写的简短描述词的基础上,进行了不少“自我创作”,不仅有远景近景以及视角的变幻,还可根据自己的理解,在画面中增加了河流、寺庙、花朵等视觉元素,让1分钟时长的视频内容更丰富、变化更多样。
(万兴“天幕”部分视频生成效果)
3.多媒体内容生成实测:“六边形战士”发挥稳定
作为全国首个音视频多媒体大模型,天幕不仅仅具备文生视频能力,更集合了音频、图像等其他多媒体种类的内容生成能力。接下来,就一起来看看天幕在其他内容类型上的表现吧。
首先是图像生成。还是张家界,这次我们加点人物进去,选取“电影打光”风格,输入提示词“一名游客在张家界快乐地游玩,写实风格”,几秒后图片就生成出来了。
从生成效果来看,景色展示一如既往的稳定,这次描述词中没有具体的景色描写,但是可以看到张家界的特色依旧很明显。
此外,图片中还有一个细节非常惊喜。描述词中强调人的特征,但是天幕自然而然生成了中国人的形象,不论是画面中的主要人物还是作为背景展现的其他游客形象,都是清一色的黑头发黄皮肤。自信大方的笑容,自然轻松的体态,非常符合日常的穿着。
(万兴“天幕”文生图效果)
接下来,看看文生音效的表现。输入描述词“鸟叫声”即可生成,很快就生成出10秒的音频出来。质量方面,鸟叫声非常清脆逼真,用来作为视频的背景音效毫无问题。
(文生音效页面)
综合来看,天幕已经具备了多模态处理能力,任务完成度和一致性上表现不错,已经初现“六边形战士”雏形,是目前市面上少见的以本土内容为核心进行训练及生成的大模型。随着后续技术的持续发展,通过不断的打磨及投喂训练,相信天幕会是一个非常不错的产品。
4.天幕未来展望:素材“弹药”生产商
从实际体验层面,天幕在风景、场景类画面生成上确实表现不错,同时还具备音频、图像等多模态内容的生成能力。结合目前透露的信息来看,万兴科技为天幕规划的未来发展方向已呼之欲出:相较业界普遍讨论的所谓“一键成片”“AI生成成品视频”,天幕当前阶段在素材类内容生成上表现突出,可为商业广告、影视、旅游、社媒等视频创作提供丰富的素材“弹药”。
这也符合技术发展规律以及商业化落地基本逻辑。技术层面,由于数据集限制以及理解难度的指数级上升,视频生成技术在完成度上仍有较大提升空间,其中自然景色类视频相较人像类视频的视频数据更充分、完成度较高。
商业逻辑层面,视频市场规模正在不断扩大,但AI内容在其中的切入角度还需要持续探索。目前来看,空镜头类素材在商业化层面的优先级更高,人像类视频则通常倾向于真人出镜,还需要经历一定的技术和效果跨越。
总之,实测下来,可以说,“中国版Sora”是业界期许,也在万兴“天幕”上看到可能性。应用驱动大模型发展、磨炼技术实力,以万兴科技为代表的先锋者仍在持续探索和实践。相信假以时日,万兴科技为代表的国产厂商,将带领从业者们共同奔赴更美好的AI+视频未来。
*本文图片均来源于网络
免责声明:此文内容为第三方自媒体作者发布的观察或评论性文章,所有文字和图片版权归作者所有,且仅代表作者个人观点,与极客网无关。文章仅供读者参考,并请自行核实相关内容。投诉邮箱:editor@fromgeek.com。
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。