声网多倍超分:助力IoT平台增强视频通话画质 降低传输成本

随着5G、云计算、大数据等新兴技术逐渐成熟,IoT产业发展驶入快车道,基于IoT平台的实时互动技术的重要性也日益凸显。

实时互动技术为IoT产业带来便捷性的同时,也同样带来了挑战。由于智能硬件终端对音视频SDK的功耗要求非常高,一旦视频通话的视频传输太占功耗,就会造成硬件的续航时间下降,发烫发热等。

对此,声网人工智能算法团队经过持续的技术钻研,正式推出了业内首个基于移动端实时处理的多倍超分算法,该算法的优势是成本低、功耗小,不需要部署 GPU 服务器,仅依靠移动端设备自身的 CPU、GPU 或 NPU 来实时超分,以较小的算法计算量实现视频分辨率的多倍超分,有效增强了视频的画质,并降低视频传输的成本。

声网多倍超分算法非常适用于IoT平台的实时互动场景,可以在不增加功耗的情况下实现硬件设备视频通话的画质增强,例如声网多倍超分可以将硬件设备端的720p视频以360p进行采集,并通过360p进行传输,在接收端将接收到的360p视频增强到720p,不仅保证了智能硬件终端的视频画质,还降低了SDK功耗,增加了硬件的续航时间。

声网多倍超分作为业内首个支持移动端实时处理的实时超分算法,拥有三大核心优势:

  移动端最高支持3倍实时超分:声网多倍超分算法可以做到在移动端实时处理,支持2倍与 3倍超分,例如360p两倍超分720p,240p 3倍超分 720p,360p 3倍超分 1080p,并且经过测试,与行业其他超分算法相比,在同等计算量的条件下,声网的实时超分效果与画质表现更胜一筹。

覆盖机型广,中低端机型也能实时处理:声网多倍超分算法在移动端的机型覆盖非常广,iOS 可覆盖 iPhone6s 及以上机型,能够覆盖 95%以上的 iOS 视频用户;Android 覆盖所有中高端机以及部分低端机,能够覆盖 85%以上的安卓用户。

  CPU 消耗、SDK 内存消耗低:声网多倍超分算法对移动端设备的性能消耗占比极低,有着出色的能耗表现,例如在移动端 360p 超分至 720p,超分的模型跑在设备的 GPU上,几乎不会增加 CPU 消耗,单帧处理耗时平均在 10ms 以内。在 1 对 1 视频通话场景中,360p/15fps 的视频开启 2 倍或 3 倍超分后,SDK 的内存消耗只增加 10%左右。

声网凭借移动端最高支持3倍实时超分、覆盖机型广,中低端机型也能实时处理、CPU 消耗、SDK 内存消耗低三大优势,声网在实际场景应用中也游刃有余。除了在IOT实时互动场景中的应用外,声网多倍超分算法还在带宽受限的实时互动场景、视频首帧出图清晰等场景应用中发挥着独有的优势。

不得不承认,随着移动端对视频画质要求的不断增长,未来基于移动端的超分技术的应用也将越来越广。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )