FBEC2023 | 耀宇视芯 CEO杜逢博：协处理器对于XR所带来的改进与提升

FBEC2023未来商业生态链接大会暨第八届金陀螺奖于2023年12月8日在深圳福田大中华喜来登酒店6楼盛大召开，本次大会由广东省游戏产业协会、深圳市互联网文化市场协会指导，陀螺科技主办，中国光谷、游戏陀螺、VR陀螺、陀螺财经、陀螺电竞联合主办。

大会以“合力共生·韧者行远”为大会主题，以具有行业前瞻洞察的“航行者”为视角，破冰之旅为主线，关注AI、元宇宙、XR、游戏、电竞、数字经济等科技与互联网前沿领域，全方位呈现科技前沿成果，聚焦时代与商业热点议题，探讨新科技、新商业、新模式的未来价值，与真正的勇者共赴剧变革新下的凛冬破冰之旅！

主会场C：元生未来，共链价值——2023全球元宇宙产业核心技术论坛，邀请到耀宇视芯 CEO杜逢博带来主题为“协处理器对于AR头显的必要性”的精彩演讲。杜逢博认为，从交互算法到数据传输再到显示渲染，协处理器将会显著改善VR/AR设备的延迟与功耗。

以下为演讲实录：

大家，下午好！今天主要想和大家探讨的是协处理器对于AR所带来的改进和提升。

目前XR领域头部两个大厂，苹果与微软都在其产品中使用了协处理器。其实，微软2016年推出的第一代HoloLens便使用了协处理器HPU，苹果今年发布的Vision Pro则自带了R1协处理器。两家厂商不约而同地都将XR设备区别于传统消费电子产品的功能承载在协处理器上，同时也都明确提出了延迟这一参数指标，其中微软HoloLens的MTP可以实现小于1毫秒的延迟，而Vision Pro的VST则做到了小于12毫秒的延迟。

在我们看来，延迟这一参数主要取决于3个因素，一是交互算法，其中头部空间定位主要取决于SLAM技术；二是数据传输；三是显示渲染。

首先在交互算法上，对于传统VR/AR一体机，尤其是AR的Expose（曝光时间）一般是3毫秒，之后图像便会向外输出，Readout时间约为6-7毫秒。而对于一体机来说，图像输出完会进入主芯片，在主芯片里面花费15毫秒左右的时间，利用CPU或者是DSP处理特征提取、匹配相关的算法。最后在10毫秒左右时间内，基于滑窗的非线性优化或者滤波器方式解算6Dof的空间定位结果。以上整个视觉处理的延迟基本会控制在35毫秒左右。

值得注意的是，如果采用分体积方式，处理延迟还会进一步增加至38-55毫秒左右，这取决于中间传输的传输方式。在如此明显的延迟之下，协处理器的加入将有效降低交互算法的延迟。

在协处理器辅助下，虽然曝光时间依然是3毫秒，但到了Readout阶段，由于操作都是在协处理器里面的，无需缓存所有的图像，因此只要十几行图像就可以进行特征提取和匹配计算，约等于整个Readout时间结束后，SLAM算法中的特征提取和匹配算法已经结束，特征提取和匹配操作隐藏在Readout时间内。之后再花费额外3毫秒时间处理基于滑窗的非线性优化模块解算6Dof空间定位后，便可以传输处理完成的空间定位结果。相比图像数据量大幅减少，完成传输仅需1-2毫秒。

在有协处理器的情况下，SLAM视觉链路延迟会降低至13-14毫秒，这带来最大的好处是IMU积分的时间大幅缩短，对于诸如加速度器这样需要二次积分的传感器来说，不仅能提升传输精度，还能有效降低抖动。

其次，显示渲染。在一个4帧图像的时间序列中，传统的方式在Vsync 0时刻获得最新定位结果并传输给GPU进行渲染，渲染完1帧以后，经常会用双缓冲的方式对屏幕进行刷新，在传统的双缓冲模式下，信息在Vsync 2时刻才能完成图像刷新，整个过程延迟非常大，如果不做任何处理的话，几乎无法获得很好的效果。

因此，在渲染阶段我们一般都会使用单缓冲方式，即在渲染完成后直接上屏处理，通过控制上屏时间避免画面撕裂。但即便如此，整个延迟还是处在接近30毫秒的程度。此时，我们一般还会通过PW或者是ATW进行补偿，在屏幕刷新之前再次获取最新的定位的结果，利用该结果对已经渲染完成的图像做一次延迟补偿，重新输出到屏幕。

该方式可以将延迟压缩至十几毫秒，却仍旧无法达到理想的效果。因此一般我们还会在最新的Get Pose基础下加入往前的位姿预测，基于IMU数据拟合往前积分，获得未来的定位结果。

此外，还可以选择根据历史的运动数据构建一个复杂的运动模型，用该模型预测未来十几毫秒之后可能存在的定位结果，对图像进行补偿。

但不可否认的是即使预测算法再好，预测总归是预测，总有预测不准的时候。此时，协处理器的优势就得到了体现，其可以大幅降低甚至完全消除预测时间，让整个渲染过程不需要进行任何的预测，而是直接将实时结果传输至屏幕。

基于以上对延迟的考量，耀宇视芯推出了第一代协处理器“启明”，并在典型场景下取得了不错的功耗表现。在视觉双目30fps，1000Hz IMU条件下，协处理器“启明”功耗维持在164mw左右；在双目100fps+1000Hz IMU条件下，功耗维持在193mw左右；在VR典型场景下，四目30fps条件下功耗维持在200mw以内。

总的来看，耀宇视芯第一代协处理器“启明”会给VR/AR设备在空间定位上带来大幅功耗及延迟的降低。欢迎各位到现场体验，谢谢大家！    

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。