华粹影像(成都摄影棚专业租赁)

 找回密码
 立即注册
查看: 217|回复: 0

算法摄影崛起:简单聊聊谷歌Pixel 3

[复制链接]

3276

主题

0

好友

4万

积分

版主

Rank: 7Rank: 7Rank: 7

发表于 2018-10-15 10:57:51 |显示全部楼层
最近谷歌发布了最新的Pixel 3手机,作为始终坚持单摄+算法的巨头,与其他品牌硬拼摄像头硬件有着鲜明的对比,而且在我看来,这条算法摄影的“羊肠小道”在未来还真极有可能让谷歌另辟蹊径地走到最前面,为什么这么说?看看它都有啥特点吧。

首先,后置四摄手机已经开始出现,根据业界预估,前后总六摄或许将成为2019年的一大主流,发展态势也丝毫没有放缓的意思。而眼下的多摄方案比较集中于解决手机摄像头视角单一的问题——与其挑战材料与技术壁垒来做光学变焦,还不如直接广角长焦标头各来一颗更简单粗暴。但在这方面,谷歌的方法更符合它软件大佬的派头:15张堆栈。

此前我写过一篇“你也能拍一亿像素”的文章,有兴趣可以翻一翻,谷歌用的就是这套方法(也就是类似宾得K1 M2的抖像素设计),在手持抖动位移+光学防抖微调的情况下对同一场景进行15次不同的采样,从而提升了信号值(谷歌在超级分辨率优化上做过不少有意思的尝试,有空的时候我会写一篇详细解读)。而且Pixel 3的像素设计比较独特,它没有采用传统的拜耳阵列,反倒是每个像素下都有红绿蓝三色滤镜,单像素全色彩采样,有点儿类似适马X3,但因为不是三层硅基吸光,因此还是单层数据,计算量变化小,而且不需要解马赛克猜色,所以伪色等问题会缓解很多(但还是要算色的,不过算法也恰是谷歌的强项),然后将15张照片机内对齐、合成、调整。根据谷歌的说法,Pixel 3的2倍数码变焦可以实现与2倍光学变焦相同的素质。


1.jpg



长久以来,“底大一级压死人”早已深入人心,底大实质的优势是通光量大,也就是更大的阱容、更高的输入信号值,以及更高的信噪比,当然同时还能在保证单个像素面积足够大,灵敏度阈值更高的前提下实现更多的像素总量,提高采样率,进而增加图像解析力……而Pixel 3则是15张RAW堆栈均值来实现信噪比端的提升,还是根据谷歌的说法,结合降噪算法,基本已经可以达到APS-C的水准(当然这句话非常缺乏前提,权当看个态度吧)。而且我们知道单次长曝其实就是多次短曝的叠加,单张5秒和15张1/3秒RAW堆栈的效果是相同的,但如果都是手持,前者几乎一定会因为手抖而出现动态模糊,而后者的15张里总会有几张能把动态模糊控制在可接受范围内,Pixel 3能够计算帧间位移量并进行融合,如果某一帧的某一部分超过了动态模糊阈值,算法就会自动忽略这个部分。而且在白平衡方面,因为弱光环境下的白平衡很难通过光学方案来实现,所以谷歌使用的是基于人工智能机器学习得到的算法。

而这种人工智能算法还体现在Pixel 3的机内补光处理和人像模式上,通过人脸识别抠图后重新打光,让人像拍摄的光感布局更自由化,这靠的就是出色的算法,而且这套算法还能用在前置摄像头上,对于视频博主Vlogger来说,这套算法在裁切一定画幅的情况下实现数字防抖,小幅度抖动也能保证人脸是清晰的。

人像模式方面,此前关于单摄方案的技术解读文章里就提到过双核像素、多帧和机器学习各司其职的重要性,Pixel 3这次算是百尺竿头更进一步:对于位处中远距离的拍摄主体来说,单纯的多摄或双核像素因为基线实在太短,无法得到有效的视差值,计算虚化也就无从说起了,而Pixel 3在算法上进一步改善了这个问题,即便是有明显的物距,也能实现比较自然的前景背景虚化效果,这甚至是很多多摄方案都做不好的地方。

在手机上做算法设计对谷歌而言,既可以利用自家原生安卓系统底层优化,同时也能发挥自家AI硬软件体系的优势,并且可以做定制ISP来进行加速处理,要知道15张2000万像素RAW在Photoshop里做堆栈、放大、对齐等操作对电脑硬件要求相当高,而且还很费时间,关键是还不保证效果,而Pixel 3可以在数秒内就搞定,这就是定制化相对广义方案的优势!更重要的是手机出货量大、样本多、硬件成本/门槛相对低、行业投入力度大,发展持续性很强。而且用户几乎都是唯结果论,八仙过海各显神通我管不着,只要效果好就行,所以Pixel 3的这套玩法真的挺有前景。

Pixel 3的新算法和单纯双摄算法相比,差距很明显(虽然这个差距在这组样本里显然是有些夸张了)。

作为一件靠软件起底的行业巨头,谷歌在Pixel 3上秀的肌肉其他品牌只能望其项背,比起一些依赖于第三方方案的手机品牌来说,差距需要正视(比如某国产旗舰机曾主打摄影功能,但人像虚化就是高斯模糊一招鲜,让人十足无语,底层硬软件大环境急需自我创新啊!)。从成片结果的角度来看,Pixel 3已经赶上甚至超越了相机的部分功能,当然,单摄算法也是最有潜力移植到相机领域的方案,比如机内处理像素偏移、RAW机内自动处理等等……再加上以前聊过的算法降噪、算法动态抠图、以及利用深度学习让原生30p视频变成240p慢动作……还是那句话,单纯靠硬件的时代已经结束,软件行将成为无反新时代的一个核心发展方向,这应该也算是对传感器大佬索尼的一种敲打吧,毕竟它最基本的解马赛克就没有弄得太明白,出片色彩总是被diss,只能说任重而道远呐~~~


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

Archiver|手机版|Chinatree Inc. 51010602000430 ( 川ICP证B2-20070068 )

GMT+8, 2018-11-14 22:20

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部