近年来,随着深度学习技术的快速发展和设备运算能力的不断提升,基于 AI 的超分技术在图像恢复与增强领域也已经呈现出广阔的应用前景,并且在实时通信领域也掀起了革新应用之风。
超分辨率(Super Resolution,简称 SR),是计算机视觉的一个经典应用。SR 是指通过软件或硬件的方法,从观测到的低分辨率图像重建出相应的高分辨率图像,简单来说就是通过 AI 算法来放大原有图像的分辨率以达到提升画质的效果。在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。
超分应用场景条件限制,存在清晰度困扰
然而在现实中,用户的应用场景还存在许多问题,例如:
场景一:小张用手机看PC端主播的直播,发现画质不好。因为手机是竖屏分辨率,需要从横屏分辨率的画面裁剪下来才能将画面填满手机屏幕,但是裁剪导致分辨率下降,画质降低。
场景二:小学生小张使用智能手表与妈妈手机视频通话的时候,发现手表容易发热,流量也用得快。因为受限于芯片性能,发送高分辨率的视频时比较消耗性能。
尤其对于海外用户来说,应用场景的问题更为复杂:
场景一:小张在印度生活,平常看直播只能看标清视频,因为当地网络不好,再提高分辨就会容易卡顿,体验很差,因此只能接受标清的画质。
场景二:小张在美国留学,有天和在印度的朋友视频通话时发现画质有点差,因为印度网络质量不好,只能推送标清视频。
由此可以看出,用户在一些特殊场景下,画质清晰度十分不理想。那么,以上用户的问题我们可不可解?
ZEGO即构科技推出自研超分,清晰度翻倍
近期,全球领先的云视频服务商——ZEGO即构科技推出了基于深度学习的自研超分、自研去编码效应,通过 AI 算法来放大原有图像的分辨率以达到提升画质的效果。
通过使用超分,可以在本地将实时视频的分辨率放大两倍(x2),比如将 360P 超分成 720P 画质更清晰、纹理细节更细腻、文字更清楚,并且在播放端本地超分,不会增量带宽、流量,解放网络压力,同时在播放端本地超分,也不依赖推流端,解放主播/推流用户性能。使用超分后的优势总结如下:
1、提升画质 —— 由于分辨率的提升,像素点更多,画质整体会比原画面更加清晰;
2、去编码脏块 —— 去除由于码率不足引起的编码脏块,画面更加平滑整洁;
3、不会增加流量以及带宽成本 —— 超分功能是端上的能力,只依赖设备性能;
4、不会增加推流端的性能消耗 —— 超分在拉流端(播放端)运行。
我们一起来看一下使用即构超分后带来的效果变化:
上述提到的三个客户场景在使用 ZEGO SDK 超分后,将产生如下效果变化:
国内用户场景一:使用即构技术后:画质达到超清(720P/960P),无视恶劣的网络条件;
国内用户场景二:使用即构技术后:画质达到超清,不用担心跨端导致画质降低的问题了;
海外用户场景一:使用即构技术后:画质达到超清,不再受限于网络条件;
海外用户场景二:使用即构技术后:画质达到超清,沟通和以前一样流畅;
由此可见,当使用超分黑科技加成后,画质飞跃。
那么何种场景适合使用超分?可以简单理解为用于想提升画质,却又受到某些限制的环境。具体分为以下几类:
1、网络环境受到限制。对于网络环境压力大的地区,选择超分提升画质档次,避开网络的限制;
2、硬件条件受到限制。摄像头无法提供高分辨率、推流端的性能不够编更高分辨率的视频;
3、购买成本受到限制。期望提升画质,但是对应的分辨率/带宽/流量档位价格太高。
即构超分优势
1、在资源受限的移动端,基于深度学习的自研超分、自研去编码效应,对比业界 SOTA 及友商,模型大小相当时,即构自研 SR 主客观数据更好,覆盖机型更广;
2、在性能不变的情况下可以累加编码去脏去块效应和累加智能锐化,也就是说,一个模型,可以完成超分+去编码效应+智能锐化,性能不变;
3、极小超低轻量级模型,仅0.69G FLOPs,我们在Set5中的PSNR/SSIM可以达到
36.898/0.9554,在此运算量下,几无对手;
4、机型覆盖更广,支持 2500+ 种机型,国内 Android 设备覆盖率为 50%,iOS 设备覆盖率为90%;
据悉,目前即构科技已可以在1v1视频通话,秀场直播、电商直播等单主播场景,低分辨率场景,智能硬件,跨端通信等场景接入超分。
高分辨率的视频能提供更清晰的画面和更高阶的感官体验,对于提升视频质量和用户视觉感受有很大的帮助。即构此次自研的超分技术,可以帮助客户获得畅爽的视频体验,打造更高水平的图像恢复和图像增强。
据了解,即构超分将继续进行算法性能优化,在效果不下降的情况下,覆盖更多机型,包括网络模型的性能优化、前馈推理库的性能优化,支持PC端,并且会结合去编码块效应(更低性能消耗),进一步提升视频效果。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )