Google表示為什么其Pixel 4相機會如此出色

谷歌宣布其全新的像素4的相機上周二，它吹噓的計算攝影，使得這款手機的照片，甚至更好，從低光攝影用夜視儀，以識別改進的畫像工具和單獨的頭發(fā)和寵物皮毛。您甚至可以為星星拍照。使這一切成為可能的是所謂的 計算攝影，它可以 極大地改善您的相機拍攝，幫助您的手機匹配，并在某些方面甚至超越昂貴的相機。

Google并不孤單。蘋果營銷主管菲爾·席勒(Phil Schiller)于9月吹噓說，iPhone 11的新計算攝影功能是“瘋狂的科學(xué)”。

但是計算攝影到底是什么?

簡而言之，它是一種數(shù)字處理技術(shù)，可以使您的相機硬件發(fā)揮更大的作用-例如，通過改善色彩和照明效果，同時又將細節(jié)從黑暗中拉出來?？紤]到手機中微小的圖像傳感器和鏡頭的局限性以及這些相機在我們的生活中扮演的日益重要的角色，這一點非常重要。

聽說過諸如Apple的Night Mode和Google的Night Sight 之類的術(shù)語嗎?從困難的昏暗條件中提取明亮，細膩的照片的那些模式正在起作用。但是它無處不在。它甚至內(nèi)置于第一階段的57,000美元中畫幅數(shù)碼相機中。

第一步：HDR和全景

早期的計算攝影優(yōu)勢稱為HDR，是高動態(tài)范圍的縮寫。小型傳感器不是很靈敏，這使它們在場景中明亮和昏暗的區(qū)域都難以應(yīng)付。但是，通過以不同的亮度級別拍攝兩張或更多照片，然后將這些照片合并為一張照片，數(shù)碼相機可以估計出更高的動態(tài)范圍。簡而言之，您可以在明亮的高光和黑暗的陰影中看到更多細節(jié)。

有缺點。有時，HDR拍攝看起來是虛假的。當(dāng)主題從一幀移至下一幀時，您會獲得偽影。但是自蘋果公司于2010年在iPhone 4中引入HDR以來，我們手機中快速的電子技術(shù)和更好的算法已穩(wěn)步改進了該方法。HDR現(xiàn)在是大多數(shù)電話攝像頭的默認模式。

Google通過其HDR Plus方法將HDR提升到了一個新的水平。它沒有合并在黑暗，普通和明亮曝光下拍攝的照片，而是捕獲了大量黑暗，曝光不足的幀。巧妙地將這些鏡頭堆疊在一起，可以使其正確曝光，但是這種方法在明亮的區(qū)域效果更好，因此藍天看起來是藍色的，而不是被洗掉的。它有助于減少稱為噪點的色斑，噪點會損害圖像。

蘋果在2018年的iPhone XS中采用了相同的想法Smart HDR。

全景式拼接也是計算攝影的一種形式。通過并排拍攝，您的手機可以構(gòu)建一個身臨其境的超寬圖像。當(dāng)您考慮匹配曝光，色彩和風(fēng)景的所有微妙之處時，這可能是一個非常復(fù)雜的過程。如今，智能手機使您只需將手機從場景的一側(cè)掃到另一側(cè)即可構(gòu)建全景圖。

3D觀看

另一種主要的計算攝影技術(shù)是3D視覺。蘋果公司使用雙攝像頭來觀看立體聲世界，就像您可以看到的一樣，因為您的眼睛相距幾英寸。Google在Pixel 3上只有一個主攝像頭，它使用圖像傳感器技巧和AI算法來計算場景元素的距離。

最大的好處是肖像模式，該模式可以使主體清晰對焦，但將背景模糊成乳脂狀的平滑度-攝影行話中的“漂亮的散景”。

這就是帶有大而昂貴鏡頭的高端單反相機所著稱的。單反相機與物理學(xué)一樣，電話與數(shù)學(xué)一樣。首先，他們將其3D數(shù)據(jù)轉(zhuǎn)換為所謂的深度圖，這是場景的一種版本，它知道照片中的每個像素與相機相距多遠?？拷黧w的像素保持清晰，但后面的像素與其鄰居模糊。

Google的Pixel 4通過兩次獨立的測量來收集立體數(shù)據(jù)-主相機鏡頭一側(cè)到另一側(cè)的距離，再加上主相機到遠攝相機的距離。前者可以幫助拍攝近距離的物體，其次可以幫助拍攝更遠的物體，兩者的結(jié)合有助于改善棘手的照片元素，例如飄逸的頭發(fā)。

人像模式技術(shù)可以用于其他目的。這也是Apple啟用其工作室燈光效果的方式，該效果可以對照片進行修改，使人看起來好像站在黑屏或白屏前。

深度信息還可以幫助將場景分解為多個部分，以便您的手機可以做一些事情，例如更好地匹配陰影和明亮區(qū)域中的不規(guī)則顏色。Google并未這樣做，至少目前還沒有，但是它提出了這個想法很有趣。

夜間視力

HDR Plus方法的一個令人愉快的副產(chǎn)品是Night Sight，它于2018 年在Google Pixel 3上推出。它使用了相同的技術(shù)-拍攝穩(wěn)定的主圖像，然后在其他幾個幀上分層以建立一個明亮的曝光。

蘋果公司在2019年推出了iPhone 11和11 Pro手機上的夜間模式。

這些模式解決了電話攝影的一個主要缺點：在酒吧，飯店，聚會上甚至在光線不足的普通室內(nèi)情況下拍攝的照片模糊或黑暗。在真實攝影中，您不能指望明亮的陽光。

夜間模式也為創(chuàng)意表達開辟了新途徑。它們非常適合帶有霓虹燈的城市街景，尤其是當(dāng)您下雨使道路反射所有顏色時。

Pixel 4通過天文攝影模式將這一點推向新的高度，該模式可以混合多達16張照片(每張照片長15秒)來捕捉星星和銀河系。

超分辨率

Google落后于Apple高端手機的領(lǐng)域之一是放大了遙遠的對象。蘋果有一個額外的相機，焦距更長。但是Google使用了一些巧妙的計算攝影技巧來縮小差距。

第一個稱為超分辨率。它依賴對稱為去馬賽克的核心數(shù)碼相機過程的根本改進。相機拍攝照片時，每個像素僅捕獲紅色，綠色或藍色數(shù)據(jù)。去馬賽克會填充丟失的顏色數(shù)據(jù)，因此每個像素都具有所有三個顏色分量的值。

Google的Pixel 3 和Pixel 4依靠這樣一個事實：拍照時手會有些晃動。這樣一來，相機就可以在不進行去馬賽克的情況下為場景的每個元素找出真實的紅色，綠色和藍色數(shù)據(jù)。更好的源數(shù)據(jù)意味著Google可以比通常的方法更好地數(shù)字放大照片。Google將其稱為Super Res Zoom。(通常，光學(xué)變焦(例如使用變焦鏡頭或第二個相機)比數(shù)字變焦產(chǎn)生更好的效果。)

Pixel 4的超級分辨率變焦得益于專用的長焦相機。谷歌表示，即使其焦距僅為主攝像頭的1.85倍，Super Res Zoom的清晰度也高達3倍光學(xué)鏡頭。

除了超分辨率技術(shù)外，Google還增加了一項名為RAISR的技術(shù)，以進一步提高圖像質(zhì)量。在這里，Google計算機提前檢查了無數(shù)張照片，以訓(xùn)練AI模型確定哪些細節(jié)可能與較粗糙的功能相匹配。換句話說，它使用的是其他照片中出現(xiàn)的圖案，因此軟件可以放大得比相機實際放大得多。

iPhone的深度融合

蘋果公司的Deep Fusion是今年iPhone 11的新功能，它是相同的多照片方法在中低照度下的更復(fù)雜的變化。它需要四對圖像-四張長時間曝光和四張短時間-然后拍攝一張較長時間的照片。它找到最佳組合，分析鏡頭以找出應(yīng)優(yōu)化的主題，然后將不同的幀結(jié)合在一起。

席勒(Shiller)夸耀iPhone 11的“計算攝影狂科學(xué)”是Deep Fusion功能的得力助手。但是直到iOS 13.2才進行測試，而iOS 13.2現(xiàn)已處于Beta測試階段。

計算攝影在哪方面不足?

計算攝影是有用的，但是硬件和物理定律的限制在攝影中仍然很重要。將鏡頭拼接成全景圖并進行數(shù)字變焦都是不錯的選擇，但是帶相機的智能手機為計算攝影提供了更好的基礎(chǔ)。

這就是蘋果今年在iPhone 11和11 Pro中添加了新的超廣角相機的原因之一，并且有傳言稱Pixel 4將獲得新的遠攝鏡頭。這就是為什么華為P30 Pro和Oppo Reno 10X Zoom具有5倍“潛望鏡”長焦鏡頭的原因。

您只能用軟件做很多事情。

奠定基礎(chǔ)

最早的數(shù)碼相機開始進行計算機處理。它是如此基礎(chǔ)和必要，以至于我們甚至不稱其為計算攝影-但這仍然很重要，而且令人高興的是，它還在不斷改進。

首先，使用去馬賽克技術(shù)來填充缺失的顏色數(shù)據(jù)，此過程對于像藍天這樣的均勻區(qū)域很容易，而對于像頭發(fā)這樣的精細細節(jié)來說很難。有白平衡，相機會在其中嘗試補償藍色調(diào)的陰影或橙色調(diào)的白熾燈泡。銳化使邊緣更清晰，色調(diào)曲線使暗色調(diào)和亮色調(diào)之間達到很好的平衡，飽和度使色彩流行，并且減少雜色消除了在昏暗條件下拍攝的圖像的色斑。

在最先進的技術(shù)出現(xiàn)之前，計算機做的工作比膠卷要多得多。

但是你還能稱它為照片嗎?

在過去，您會通過將感光膠片曝光到場景來拍照。在暗室中，任何對照片的擺弄都是費力的。數(shù)碼照片的可變性要大得多，而計算攝影則將處理水平提高到了一個新的水平。

Google增亮了人體的曝光量，使他們的皮膚更加光滑。HDR Plus和Deep Fusion融合了同一場景的多個鏡頭。由多張照片組成的拼接全景圖無法反映一個時刻。

那么，您真的可以將計算攝影的結(jié)果稱為照片嗎?攝影記者和法醫(yī)研究人員采用了更為嚴(yán)格的標(biāo)準(zhǔn)，但是大多數(shù)人可能會說“是”，這僅僅是因為當(dāng)您輕按快門按鈕時，這大部分是您的大腦會記住的內(nèi)容。

聰明地記得，使用的計算攝影次數(shù)越多，您拍攝的光子瞬間越過瞬間，進入相機鏡頭的行程就越多。但是計算攝影變得越來越重要，因此期望在未來幾年中進行更多處理。