手机厂商们的真假AI相机

美国消费电子协会首席经济学家肖恩•杜布拉瓦茨在他那本《数字命运》中提到了这样一个观点：

数字技术和设备的蓬勃发展，预示着一个人类新时代的开始。除了数字硬件的风靡，人类未来十年的生活将以“全数字化”和“物联网”为特色。数字化所带来的数据浪潮将以闻所未闻的量级席卷我们的世界，渗透进我们的生活。

可不是，多数人想不到的我们一张自拍照的背后，都在不断融入数字化和AI。

2017年谷歌在Pixel 2代手机上加入了自研AI单元，首次实践“AI计算拍照”。此后，用AI改善拍照质量似乎就成了手机厂商们的共识。

谷歌此举甚至还在“倒逼”华为海思、联发科等厂商在最新的SoC硬件上提供AI组件，方便手机厂商进行AI相关的功能开发。

一股芯片级AI相机的潮流席卷而来，不同流派、不同公司在标准、技术之间相互争鸣，共同推动了技术的演进。

一

AI相机流派

营销也好，实打实的进步也好，为了追赶AI这个概念，手机厂商、处理器厂商都在打AI牌。以至于芯片甚至在相机这个点上都在拼AI。不过，出于成本考量，AI相机正在形成不同流派。

1、APP算法加强派。算法加强派只能算是营销噱头，主要集中在千元机上。

和美图秀秀这类应用通过算法修改图片差不多，可以理解为手机相机APP自带算法调整功能。红米Note5、vivo X21这类市面上的“千元双摄”大多用的是是这种方式。

APP自带算法调节的确可以让照片增强对比度或是通过算法加强景深。问题在于，本身硬件有限，芯片和摄像头里都没有专门的AI处理单元，一到夜晚就会导致画质不佳，原图成像不佳，APP也很难有太大的作为。

2、摄像头+云计算派，在摄像头区域里有一颗专用图像处理协处理器。

即ImageProcessing Unit （IPU），专门用来结合云计算与算法集群处理AI拍照与视频任务，谷歌Pixel 2就是最典型的案例，这也是为什么Pixel 2单摄像头就能搞定其他双摄像头背景虚化的主要原因。

这颗IPU是一颗可编程处理器，共有8个核心，每个核心有512算术逻辑单元（ALU）。在移动设备上，ALU每秒能进行超过3万亿次运算。ALU主要是用Halide来进行图像处理，用TensorFlow处理机器学习。

从营销的角度来看，这套技术基本只有谷歌能用，能实现的功能及支持的第三方应用有限，须要搭载谷歌自研芯片也增加额外成本，基本上只会被Pixel的极客用户认可。国产手机厂商的双摄、三摄、四摄可以在直接观感上征服用户，何必用单摄。

3、芯片处理器派，也就是在芯片处理器中，加入了一颗用于AI计算的芯片。

华为、苹果、三星接连在处理器中加入了独立神经网络处理单元，称作为NPU——比如华为麒麟980。

联发科其实比高通、三星都走得更快一些。早在2018年3月，联发科就改进加强了AI硬件处理单元，将其称之为APU。当时发布的Helio P60直接加入了双核APU——也就是两个独立AI处理单元。这样的处理单元专门用于应付拍照、视频操作。2018年底发布的Helio P90，其中AI专核已升级为APU2.0，为手机提供了强大的边缘AI算力。

联发科在这几个派别的争论中还提出了真AI相机的标准，实现芯片级的真AI相机——从图像传感器sensor尺寸、AI性能、ISP技术三个维度为用户打造真正的AI相机。

高通依旧执着于CPU/GPU/DSP模式期间，联发科已经迭代了三代APU产品，已经在芯片中采用了提升AI性能，改善用户相机体验的策略。

在APU 2.0 架构的支持下，当手机在多核多线程处理AI 任务时，手机反应速度能更快、更省电。AI运算效率提升了，功耗和所需的带宽更少了。

二

芯片派的崛起

在2018年年末，APP算法加强派基本已经被主流手机厂商淘汰，至少是在旗舰机上淘汰。摄像头+云计算派太过小众，而且不适应国内营销环境，同样没能成为主流。芯片处理器派则是跃升为了所有手机厂商的第一选择。

原因很简单，手机相机硬件、用户应用需求以及相机自身玩法越来越多样了，很多问题只能靠硬件来解决。

就像过去手机处理器“核战”的年代，双核、四核、八核、十核就是带动性能的最佳方式。用AI芯片这种硬件思路面对所有用户问题，同样是最简单、最直接、最干脆也最有效，但也需要技术积累的作法。

1、手机相机成像的整体升级

手机相机CMOS有个核心参数，是CMOS的整体尺寸，俗话说“底大一级压死”，好的旗舰机Sensor像素尺寸≥1.55μm，大底往往在暗光环境中可以捕捉到更多信号，画面更纯净，噪点也更少，夜晚表现往往非常突出。目前市场上符合这一标准的传感器有MIX586，MIX378，MIX380等。

大底当然也有坏处——它需要处理的数据更多。过去原本做ISP影像处理的相机DSP在Sensor像素尺寸≥1.55μm的大底上就会显得相对吃力，容易导致相机发热，功耗增加。除非手机性能真的足够强劲，才能带得动≥1.55μm的大底。

（高通骁龙845的图像处理策略）

未来≥1.55μm的大底必然是中高端手机的标配，想要施展人工智能的作用，必须要有强大的AI性能支撑。同时，芯片上的ISP带来强劲图像处理能力可以提升画质表现。联发科提出的“真AI相机”概念：CMOS Sensor传感器像素≥1.55μm，AI性能跑分≥21000分，Imagiq 三核ISP技术，三个指标加持，才是“真AI相机”，的确是保障手机AI相机的功能性和成像表现的基础。

联发科Helio P90的三核ISP技术带来了强劲的图像处理能力，可以提升画质表现，能够轻而易举带动≥1.55μm的大底。所以你可以看到，2018年年末，高通在骁龙720以及骁龙855上都加入了NPU模块，目的就是跟上行业潮流。

2、短视频、直播创作的风潮

短视频、直播的风潮同样在侧面壮大了AI芯片派。2018年，互联网行业最热的概念除了AI，就是短视频——抖音、快手、微博、微信都在加强短视频功能。用户通过短视频创作内容、分享生活已经成了一股潮流。短视频社交甚至也在成为巨头们发力的方向。今日头条推出了多闪，微信则是在推出即刻视频。

不过，我们不得不说，现在大部分视频都是“AV画质”。不仅分辨率不够高，画面抖动也太厉害。原因就在于大部分手机的摄像头没办法处理如此大体量的数据，而且受到了网络带宽的影响。

随着2019年5G手机的发布，未来用户使用短视频的需求只会愈加庞大。芯片厂商也不得不跟进——加上了专门的摄像头AI处理单元。

像联发科Helio P90这样的处理器，因为具备AI智能ROI区域侦测技术，可以实现重点区域编码，提升视频码率和压缩质量，直播画面时可以更清晰。在多个直播平台都有明显的画面质量提升。5G时代即将到来，视频必将是内容层面的主流趋势，这项技术抓住了视频平台的痛点。

我们可以断言，2019年-2020年，AI处理单元的视频处理能力会成处理器标配。

3、相机的玩法越来越丰富多样

事实上，相机的玩法也越来越多样丰富，比如说苹果的FaceID和Animoji等一系列功能。甚至连百度输入法之类的第三方软件也在安卓机上照搬Animoji。

Animoji的原理是通过一个ARKit应用来记录实时更新的面部网格。使用深度映射来绘制脸部的二维纹理。最终的效果十分逼真，模仿出3A级游戏中的那种动画效果。玩过3A级游戏的用户都知道，游戏画面渲染对处理器要求非常高。挪到手机上拍摄时同样如此——这对相机处理的能力要求也极高。

另外，安卓厂商还在探索其他玩法，比如实时虚拟化身、实时多物识别、焦点直播、人像留色、人脸侦测、AI降噪抓拍、AI降噪夜拍——这些都需要芯片级的AI处理能力来支撑，联发科 P90这样的处理器恰恰具备这些功能，能够过往旗舰机上才具备的功能，搬运到中高端手机上，让大众都能享受这些玩法。

三

新的超车赛道

过去芯片处理器市场是个简单的上下游关系——上游处理器厂商供货，下游手机厂商采购。在这种关系之中，处理器厂商往往掌握了话语权，一款芯片采购量、采购价，基本都是由处理器厂商说了算。

但是在今天，处理器的CPU+GPU性能已经不再是评价一款芯片的唯一因素。在处理器甚至还要考虑AI处理器的性能。

像在AI Benchmark上的跑分中：麒麟980为21526分，联发科Helio P90为25645分，刚刷新的高通骁龙855为27356分，位居榜首。

可以说，AI芯片正在成为处理器战场的超车赛道。过去芯片厂商在和手机厂商的关系，在生态链中的地位是绝对领头羊，掌握了垄断式的话语权。但现在已经不是单个厂商自娱自乐，控制CPU、GPU性能就能左右手机厂商时代了。

因为芯片厂商不仅仅需要根据手机厂商的需求去提升AI算法、算力，还需要和互联网巨头以及人工智能公司合作，推进AI的生态发展。因为很多AI应用也需要处理器厂商和第三方互联网厂商共同合作实现。

比如说AI处理器的人体姿态识别这样的技术，并不是靠处理器厂商一家实现的，它需要旷视这样的厂商作支撑。旷视科技就和芯片厂商共同合作开发出了包含安全人脸识别解锁、先进影像处理、单镜头背景虚化、智能物体以及手势识别、智能相册分类等AI 应用。

在类似这样的合作中，产业链是个相对平等互动、携手共进的关系，它更像是一个开放合作的生态，而不是过去垄断打压的一言堂。真AI相机，并不是靠一家厂商自己闷头开发而成的，而是更多厂商共同合作、对接、制定标准形成的。联发科在这方面恰恰比一些垄断性巨头姿态更平，做得更好。

垄断、霸权，在AI产业链与手机芯片日益融合的环境下，对用户、对自身并没有太多好处，甚至还在阻碍行业的进步。开放、合作，才是保持行业进步的动力。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。