日常生活中,手机早已成为我们形影不离的伙伴,手机的拍照和录像功能为我们记录了生活中点点滴滴,让美好的记忆成为永恒。特别是视频录制功能,忠实地留存了身边的精彩时刻。
普通视频
对于普通视频,手机中camera系统按照30fps采集图像,即一秒内均匀地采集30张图像,经过camera系统的处理,最终也按照30fps的帧率,编码成为视频文件。播放视频时,视频播放器同样按照30fps的帧率解码视频并显示。用户看到的是真实世界的原本回放,一切都如现实生活一样。
为了增强视频录制功能,如今各大旗舰手机中,不约而同地设计了慢动作视频录制功能。
什么是慢动作视频录制功能呢?
慢动作视频
所谓慢动作视频录制功能,它会将视频中拍摄对象的运动变慢、变缓,用户可以仔细地欣赏每一个动作的缓慢变化。
目前,大家看到的慢动作视频录制一般为120fps和240fps帧率。以240fps慢动作视频录制为例,当用户启动拍摄240fps慢动作视频时,手机中camera系统按照240fps帧率采集图像,即一秒采集240张图像,平均4毫秒采集一张,它更加精细地从现实中获取了图像数据。Camera系统对240帧图像逐一处理,最后编码成视频文件。
视频播放时,播放器依然按照30fps帧率播放。我们录制时候的1秒240张图像,播放时需要8秒显示,视频画面被放慢了8倍,各种动作和变化全部变缓。这种视频特别适合拍摄各种运动,或者转瞬即逝的时刻。用户看到了比普通视频精细8倍的运动变化,欣赏了更多的变化细节。
高帧率慢动作瞬间视频
既然已经拥有了240fps这样的慢动作视频,为什么还要更高帧率慢动作瞬间视频,如960fps视频?
我们对技术的追求是无止境的,用户对精彩的需求也是无限的。960fps慢动作瞬间视频可以让用户体会到每一毫秒的画面变化,欣赏到每一毫秒的精彩画面。
对于这种像960fps高帧率慢动作视频录制并非像240fps慢动作视频那样简单。Camera系统采集数据的sensor因硬件性能局限,普通camera sensor很难达到960fps这样高的采集帧率。目前市面上的旗舰手机主流是采用240fps帧率的camera sensor。为了产生960fps视频,camera系统必须采用FRC(Frame Rate Conversion)技术,将按240fps帧率采集的图像数据离线转换为960fps帧率,之后完成视频编码。这样用户就能欣赏到每一秒的精彩瞬间。由于FRC技术性能和所需资源限制,camera系统一般只采集时长为三秒左右的图像进行处理,最终视频播放时长可达10秒左右。该功能只有少数高端旗舰机具有,大大提升了这些手机的竞争力。
紫光展锐第六代影像引擎Vivimagic
紫光展锐发布的第一颗6nm 5G SoC虎贲T7520,搭载了自主研发的第六代影像引擎Vivimagic解决方案。虎贲T7520首次采用四核ISP实现了三摄/四摄场景无缝变焦,支持长焦、广角、超广角、微距镜头,可实现3倍光学变焦,6倍混合变焦,30倍数字变焦。
四核ISP处理速度高达每秒15亿像素,最高可支持拍摄1.08亿像素照片,单摄零延迟拍照可达6400万像素。
对于慢动作视频录制功能,最高支持480fps不限时高清慢动作视频拍摄,用户可以充分利用五亿像素级处理速度来拍摄慢动作视频;采用FRC技术,用户可抓拍高帧率高清慢动作瞬间视频,捕捉毫秒级精彩细节。
FRC技术介绍
FRC(Frame Rate Conversion)技术用于提升视频帧率,一般通过前后帧信息产生新的帧,增加单位时间内采集到的图像数据量,让用户获得更多图像信息。其中运动估计和运动补偿算法至关重要。
运动估计和运动补偿(Motion Estimation and Motion Compensation,简称MEMC),就是通过对图像中物体的运动轨迹的估计和检测运动矢量,然后利用原始帧和运动矢量信息,通过运动补偿插值的方式构建新的图像帧(称之为补偿帧),最后在原始帧中间插入补偿帧来提升画面的流畅性。
以24fps插帧到60fps来举例说明,因为60不是24的整数倍,所以必须采用3:2 pull up pull down的方式进行帧重复,也就是当前帧重复3次,下一帧重复2次,依次类推,这样就把24fps视频的各帧图像“相对均匀”的分配到60fps的时间节拍上。因为每一帧的重复次数不相同,所以产生了抖动(Judder)现象。
MEMC技术,根据物体运动信息来动态的生成补偿帧,可以非常有效的改善Judder现象。但由于所有新增的图像帧都是运动预测计算出来的,因此预测的不准确可能会带来副作用,比如光环“Halo”效应。通过对物体运动轨迹的精确计算,可以减小副作用。
另外一个可能的现象是小物体运动所对应的小物体丢失,例如足球比赛中的足球,在一些补偿帧中消失了。原因在于大部分的MEMC算法,基于运算复杂度和实现成本考虑,采用块匹配方式来计算相邻帧之间的物体的运动相关性,而不是采用像素级的预测,导致小物体的运动矢量估计不准确,进而导致小物体的丢失或出现重叠等现象。
优秀的MEMC算法,除了解决去除Judder等基本问题之外,还需对随之产生的光环Halo、小物体消失或重影等artifact有好的解决方案。
紫光展锐视频编码专家组基于MEMC算法研究出了高清视频图像四倍插帧算法,完美地实现了视频序列的四倍插帧,为了高帧率慢动作瞬间视频功能实现奠定了基础。
虎贲T7520高帧率慢动作瞬间视频
虎贲T7520中camera系统具备强大的处理能力,支持240fps 1080P和480fps 720P慢动作视频录制。基于240fps 720P图像数据,采用FRC技术,借助Vision DSP加速,可以实现960fps 720P高清慢动作瞬间视频录制。
对于更高帧率,如果camera sensor支持480fps 720P图像采集,camera系统也可以实现1920fps的瞬间视频编码,这对手机性能有了更高要求。1920fps瞬间视频,平均0.5毫秒一张图像,将现实世界的运动放慢了64倍,用户可以欣赏到更加细腻的精彩瞬间,给用户带来前所未有的视觉体验。
随着视频技术的不断发展,手机上camera系统会有越来越多的新颖功能出现,为用户带来不同凡响的视觉体验。高帧率慢动作瞬间视频无疑是其中一抹靓丽风景,虎贲T7520在影像方面会有更优秀的表现。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )