12月19日,在2019 OPPO开发者大会(ODC19)技术论坛上,OPPO围绕5G、AI、AR及终端安全等技术方面的规划与成果展开,聚焦“五大系统能力开放引擎”,与开发者共同探索5G时代的新机遇。
除了技术论坛对OPPO各项技术进行深度讲解外,超1000平方米展区中还设立了多个技术项目的体验区,开发者及合作伙伴可以现场体验多人AR游戏、5G云游戏、3D手部追踪、人体3D建模等各项“黑科技”。
以5G为支点撬动AI、AR、IoT等技术融合,助力未来智慧生活
5G时代,拥抱智能,万物互融。5G科技的进步为用户创造了更便利的生活,技术的革新更为社会发展带来更高效的运作。
OPPO 在 5G 发展的过程中做出了卓越的贡献。早在 2015 年,OPPO 便开始着手于 5G 的研究工作,不仅全程参与了 5G 标准的制定,并且作为 5G 终端行业标准的起草单位之一,提交了超过 2500 族 5G 专利的申请,向国际标准化组织 3GPP 累计提交了超过3000 篇的文稿。
据介绍,早在2019年2月份,OPPO就利用5G实现全球首次的微博直播,成功展示了云游戏业务。同年5月份,OPPO第一款5G手机成功在欧洲瑞士电信成功上市。
此外,OPPO 还在积极探索未来在个域网和智能家居领域的 5G 边缘,寻求于工业物联网层面上的突破,让 5G 技术的发展惠及更多企业。OPPO希望以5G为支点,撬动AI、AR、IoT等技术融合,助力未来智慧生活。
OPPO AI语音语义:神经机器翻译引擎将开放
2019年,OPPO机器翻译团队取得很多成绩,例如在WMT19竞赛中获得了英中翻译的第四,在CCMT2019竞赛中,获得了多语言日英翻译专利的冠军,英中翻译的亚军。
当前,OPPO神经机器翻译做的重要工作内容有Deep transformer、Accelerating Transformer decoder、Fuse BERT into Transformer、Model Ensemble、ReRanking、Layer-attention、Back-translation。此外,OPPO神经机器翻译还采用了BPE,能够效缓解机器翻译当中的未登录问题,起到正向的效果。目前,OPPO机器翻译引擎在通过内部测试,在行业已经处于较高水平,未来将落地到OPPO设备的更多翻译场景中。
据了解,OPPO神经机器翻译在预计在2020年首先开放中英、英中、中日、日中的翻译服务,其他语种的机器翻译服务也将会陆续开放。
“黑科技”:3D手势识别、人体3D建模和混合现实
在技术论坛,OPPO还展示了自研的SLAM算法的“黑科技”,包括人体3D建模和混合现实,以及3D手势识别。
当前,为了捕捉人体的3D形状,传统上有被动解和主动解。当前,3D建模采用主动解决方案,通过精密的 3D 扫描设备实现,该方案需要昂贵的固定设备设置,既不方便,又不适合广大消费者使用。随着用户及应用产品对3D建模的需求越来越高,OPPO通过多视图立体声管道,提出基于单张RGB图像的人体3D建模,它基于多视角深度融合和单张图像,易于设置,可以满足日常场景,适合非专业用户随时使用。
在3D手势识别技术上,手的3D跟踪对于AR/VR是必不可少的组成部分,是下一代最主要的3D人机交互技术,是AR/VR中的鼠标,它在下一代计算平台的地位类似于多点触控对于触屏手机的地位。OPPO为了开发自己的手势识别算法,购买了专门采集数据,样本超过两百万。基于采集的数据和深度学习,OPPO开发了紧凑、高效、准确、实时、低功耗的3D手部追踪算法。
ARUnit2.0 连接虚实 连接你我
OPPO 开放平台的 ARUnit 系统能力,能够为开发者提供 AR 底层驱动引擎、AR 内容创作工具链、软件 SDK、开发者应用工具和模块等,帮助开发者降低研发接入平台的工作量。
ARUnit的追踪技术使用摄像头来标识特征点,并跟踪这些点随着时间变化在屏幕上的移动。通过结合移动信息与手机惯性传感器的数据,ARUnit能够在手机移动时确认自身的位置和屏幕朝向。
ARUnit对开发者而言,带来了诸多虚拟化价值。首先,能够帮助开发者为用户提供足够有趣的内容和服务,满足用户的使用场景;其次,虚拟世界拥有足够丰富的资源来支撑开发者实现这样的内容和服务;再者,物理世界与虚拟世界能够紧密的对齐、关联,并导入资源;最后,用户在物理世界的行为也能够完整的映射到虚拟世界中。
因此,OPPO在ARUnit2.0中做了如下的升级:空间计算升级,更注重尺度的重要性;环境理解升级,更注重位置的重要性;多用户体验,更注重信息的密集性;骨骼跟踪与手势识别,更注重互动与趣味性。
此外,全新升级的ARUnit2.0开放计划也在ODC19技术论坛正式公布。其中,空间计算升级和多用户体验将在2020年Q1开放,而环境理解升级和骨骼跟踪与手势识别预计将在2020年Q2开放。
CameraUnit&MediaUnit:影像多媒体能力开放,共建清晰流畅新视界
目前,系统能力与三方应用呈现需求的存在重合与隔断,用户体验存在断层,通过开放系统能力,可以让系统与应用体验相融。因此,OPPO在ODC19宣布“五大系统能力开放引擎”。
其中,CameraUnit主要侧重影像类用户体验。CameraUnit的相册能力可以将相册中智能人物分类、图像多标签分类、地点分类和智能搜索等能力进行封装,通过ContentProvider以跨进程的方式开放至三方应用,用户在三方应用选图片发送时,通过图片分类和搜索可快速定位到照片,发图的效率得到前所未有得提升。
在拍摄能力方面,CameraUnit超广实现了116°超广镜头,打开前所未有的广阔视野,采用主摄+长焦镜头+超广角镜头组合,让三颗摄像头「接棒式」实现 16-160mm「全焦段」覆盖,释放更多影像创作的自由度,三摄组合内含双OIS光学防抖,智能感知抖动并校正,拍远处也清晰。而超级防抖,则同时结合OIS光学防抖和EIS电子防抖,通过多源传感器信息融合和防抖场景智能分析,陀螺仪频率提高了2~3倍,从而更加灵敏地感应手机的运动状态,实现视频拍摄中的超级防抖。此外,超级夜景功能基于RAW域根据不同摄像头精心调试的夜景算法,结合各种场景信息,利用平台DSP加速,可以取得高质量的夜景成像效果。开发者接入CameraUnit的拍摄能力,能够让用户直接操控手机原生相机,拍出更清晰的画面。
MediaUnit系统能力主要表现在“听”和“视”方面的用户体验上。
在听觉方面,K歌耳返采用低时延解决方案实现听唱同步,系统级优化的语音系统,智能美化音色、节奏和音准,同时支持5.1&7.1声道技术,增强听音辨位方向感。此外,基于Audio Virtualizer算法,通过耳机还原游戏内的声音距离和方位,并支持FRC功能。
在视觉方面,ROI编码支持23~265格式解码,且通过软硬结合,灵活控制编码,在直播场景或视频通话场景提高清晰度,保证观看效果,开启ROI编码最高可以节省35%的带宽。特别值得一提,还有AI视频插帧,当前视频领域大部分电影或者电视剧只有24帧或25帧,而手机屏幕的刷新率已经到了90帧甚至更高,借助OPPO在视频生产方面的技术,AI视频插帧能够为用户带来更强的画面流畅度。
Hyper Boost&Link Boost:共建用户畅爽新体验
Hyper Boost是OPPO自主研发的全场景、系统级资源调度优化方案,从系统、游戏和应用三个层面对智能手机全面加速。Hyper Boost能力目前已通过OPPO开放平台对外开放,该技术能力接入快速简单、SDK体积合理、业务兼容性强,已有超过60+款游戏及应用接入。
Hyper Boost主要包含场景加速、智能帧率、触控优化三大核心能力。在场景加速方面,对运存、存储两块领域挖掘,让资源调度更加智能,并率先与引擎公司合作,针对游戏中对局、团战、决赛圈、开氮气等场景进行定制加速。在智能帧率方面,继续赋能帧率稳定、减少卡顿,通过智能帧频进行锁大核提频,预防和缓解卡顿,让游戏帧率更稳定。在触控优化方面,提供多样化4D细腻振感,并开放马达波形效果库,开放能力聚焦CPU/GPU,通过对Android底层代码的一一检查,OPPO优化了大量代码逻辑,每一帧的响应时间都可以减少3~5毫秒。同时,还对同步信号进行了优化,使得触控帧可以更快的显示在屏幕上。
Link Boost主要包含智能链路聚合能力、双Wi-Fi能力和多路TCP能力。智能链路聚合能力将无线进行网络访问,根据实时进行优化,开启SSA以后,在Wi-Fi信号很好的时候,开启了SLA,打开网页速度提升非常明显,在Wi-Fi信号很弱时候也会提高。双Wi-Fi能力能够智能匹配用户刚刚连接过的另外一个次Wi-Fi,去辅助网络加速,让网络的分流完全智能化,使得网速达到倍增效果,改善网络不稳定问题。多路TCP能力能够允许双方进行多条TCP的链路,充分利用多路径提高可靠性和吞吐量。
Hyper Boost和Link Boost两大系统能力,通过软实力将充分发挥设备硬件能力,与开发者携手共建用户畅爽新体验。
OPPO云安全为互联网生态保驾护航
目前,ColorOS 全球月活跃用户已超3.2亿,覆盖140国家和地区。OPPO为了保障用户信息安全,进行了全球化布局,在东南亚、印度和欧洲建立了相应的技术中心,以应对全球化互联网信息安全。
在互联网安全防御体系建设方面,OPPO积极开展安全组织的建设,包括终端安全、信息安全、安全部门,以及多个安全实验室,从而保证OPPO用户的互联网信息的安全性。此外,为了安全品牌的建设,OPPO上线了全球500家以上的白帽子,并给予丰厚的奖励。
在移动端的安全能力检测方面,采用自动化和人工化的检测,对APP进行渗透分析和安全评估,防止别有用心的应用使用第三方的SDK,以免给用户带来安全风险。此外,还有业务防刷和反欺诈SDK,为开发者的APP提供实时的安全服务。
据介绍,今年9月份,OPPO还拿到业内第一个泰尔信息安全五级认证。从硬件安全、系统安全、外围的接口安全,以及软件安全和数据安全层面,为用户及开发者提供更全面的安全保护。未来,OPPO也会在AI安全、隐私安全等研究方向发力。
技术的进步带来用户生活的新变化,科技是行业和社会发展的核心驱动力,在万物互融时代趋势下,OPPO将持续关注5G、人工智能、AR、大数据等前沿技术,并将致力于构建底层硬件核心技术与系统能力。
意向接入OPPO“五大系统能力开放引擎”、云安全等各项技术能力的开发者及合作伙伴,可以通过OPPO开放平台官网接入。
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。