算法摄影崛起：简单聊聊谷歌Pixel 3

lee

最近谷歌发布了最新的Pixel 3手机，作为始终坚持单摄+算法的巨头，与其他品牌硬拼摄像头硬件有着鲜明的对比，而且在我看来，这条算法摄影的“羊肠小道”在未来还真极有可能让谷歌另辟蹊径地走到最前面，为什么这么说？看看它都有啥特点吧。

首先，后置四摄手机已经开始出现，根据业界预估，前后总六摄或许将成为2019年的一大主流，发展态势也丝毫没有放缓的意思。而眼下的多摄方案比较集中于解决手机摄像头视角单一的问题——与其挑战材料与技术壁垒来做光学变焦，还不如直接广角长焦标头各来一颗更简单粗暴。但在这方面，谷歌的方法更符合它软件大佬的派头：15张堆栈。

此前我写过一篇“你也能拍一亿像素”的文章，有兴趣可以翻一翻，谷歌用的就是这套方法（也就是类似宾得K1 M2的抖像素设计），在手持抖动位移+光学防抖微调的情况下对同一场景进行15次不同的采样，从而提升了信号值（谷歌在超级分辨率优化上做过不少有意思的尝试，有空的时候我会写一篇详细解读）。而且Pixel 3的像素设计比较独特，它没有采用传统的拜耳阵列，反倒是每个像素下都有红绿蓝三色滤镜，单像素全色彩采样，有点儿类似适马X3，但因为不是三层硅基吸光，因此还是单层数据，计算量变化小，而且不需要解马赛克猜色，所以伪色等问题会缓解很多（但还是要算色的，不过算法也恰是谷歌的强项），然后将15张照片机内对齐、合成、调整。根据谷歌的说法，Pixel 3的2倍数码变焦可以实现与2倍光学变焦相同的素质。

长久以来，“底大一级压死人”早已深入人心，底大实质的优势是通光量大，也就是更大的阱容、更高的输入信号值，以及更高的信噪比，当然同时还能在保证单个像素面积足够大，灵敏度阈值更高的前提下实现更多的像素总量，提高采样率，进而增加图像解析力……而Pixel 3则是15张RAW堆栈均值来实现信噪比端的提升，还是根据谷歌的说法，结合降噪算法，基本已经可以达到APS-C的水准（当然这句话非常缺乏前提，权当看个态度吧）。而且我们知道单次长曝其实就是多次短曝的叠加，单张5秒和15张1/3秒RAW堆栈的效果是相同的，但如果都是手持，前者几乎一定会因为手抖而出现动态模糊，而后者的15张里总会有几张能把动态模糊控制在可接受范围内，Pixel 3能够计算帧间位移量并进行融合，如果某一帧的某一部分超过了动态模糊阈值，算法就会自动忽略这个部分。而且在白平衡方面，因为弱光环境下的白平衡很难通过光学方案来实现，所以谷歌使用的是基于人工智能机器学习得到的算法。

而这种人工智能算法还体现在Pixel 3的机内补光处理和人像模式上，通过人脸识别抠图后重新打光，让人像拍摄的光感布局更自由化，这靠的就是出色的算法，而且这套算法还能用在前置摄像头上，对于视频博主Vlogger来说，这套算法在裁切一定画幅的情况下实现数字防抖，小幅度抖动也能保证人脸是清晰的。

人像模式方面，此前关于单摄方案的技术解读文章里就提到过双核像素、多帧和机器学习各司其职的重要性，Pixel 3这次算是百尺竿头更进一步：对于位处中远距离的拍摄主体来说，单纯的多摄或双核像素因为基线实在太短，无法得到有效的视差值，计算虚化也就无从说起了，而Pixel 3在算法上进一步改善了这个问题，即便是有明显的物距，也能实现比较自然的前景背景虚化效果，这甚至是很多多摄方案都做不好的地方。

在手机上做算法设计对谷歌而言，既可以利用自家原生安卓系统底层优化，同时也能发挥自家AI硬软件体系的优势，并且可以做定制ISP来进行加速处理，要知道15张2000万像素RAW在Photoshop里做堆栈、放大、对齐等操作对电脑硬件要求相当高，而且还很费时间，关键是还不保证效果，而Pixel 3可以在数秒内就搞定，这就是定制化相对广义方案的优势！更重要的是手机出货量大、样本多、硬件成本/门槛相对低、行业投入力度大，发展持续性很强。而且用户几乎都是唯结果论，八仙过海各显神通我管不着，只要效果好就行，所以Pixel 3的这套玩法真的挺有前景。

Pixel 3的新算法和单纯双摄算法相比，差距很明显（虽然这个差距在这组样本里显然是有些夸张了）。

作为一件靠软件起底的行业巨头，谷歌在Pixel 3上秀的肌肉其他品牌只能望其项背，比起一些依赖于第三方方案的手机品牌来说，差距需要正视（比如某国产旗舰机曾主打摄影功能，但人像虚化就是高斯模糊一招鲜，让人十足无语，底层硬软件大环境急需自我创新啊！）。从成片结果的角度来看，Pixel 3已经赶上甚至超越了相机的部分功能，当然，单摄算法也是最有潜力移植到相机领域的方案，比如机内处理像素偏移、RAW机内自动处理等等……再加上以前聊过的算法降噪、算法动态抠图、以及利用深度学习让原生30p视频变成240p慢动作……还是那句话，单纯靠硬件的时代已经结束，软件行将成为无反新时代的一个核心发展方向，这应该也算是对传感器大佬索尼的一种敲打吧，毕竟它最基本的解马赛克就没有弄得太明白，出片色彩总是被diss，只能说任重而道远呐~~~