iOS 12將解鎖TrueDepth相機應用魔術

第三方照片和視頻應用程序有望在iOS 12上獲得更多的肖像模式和與深度相關的效果，因為Apple極大地完善了從其iPhone相機陣列共享的數(shù)據(jù)。該功能于本周在加利福尼亞州圣何塞舉行的WWDC 2018會議上進行了預覽，該功能基于iOS 12的新Portrait Matte功能，相對于第三方應用程序當前可以訪問的當前深度數(shù)據(jù)有了顯著改進。

iOS 11為開發(fā)人員提供了從iPhone 8 Plus和iPhone X上的雙后置攝像頭以及iPhone X前面的TrueDepth攝像頭陣列獲取原始深度數(shù)據(jù)的功能。這將深度數(shù)據(jù)及其顏色和顏色添加到像素中。亮度。想要復制諸如Apple的人像模式攝影之類的應用程序的應用程序可以使用該深度數(shù)據(jù)將前景與背景分離，該攝影機可以在保持主體清晰的同時模糊背景。

人像遮罩與深度數(shù)據(jù)

但是實際上，原始深度數(shù)據(jù)的結果可能是中等的。開發(fā)人員只能自己弄清楚主題邊緣在哪里結束以及背景在哪里開始。圍繞該線條進行羽化可以幫助捕獲較小的細節(jié)，例如肖像對象的頭發(fā)，但通常會在此過程中包含不需要的背景細節(jié)。導致該問題的原因還在于深度圖數(shù)據(jù)的分辨率相對較低：接近0.5兆像素，距離圖像的實際分辨率還有很長的路要走。

即將推出iOS 12，Apple提供了第二種途徑。原始深度數(shù)據(jù)仍可從靜止圖像捕獲中獲得。但是，如果在框架中檢測到人，則還將為開發(fā)人員提供人像遮罩：在那些麻煩的邊緣周圍具有更多細節(jié)的遮罩。在Apple的演示中，肖像啞光能夠將東西分解成幾乎每根頭發(fā)。

這不僅比使用原始深度數(shù)據(jù)周圍的羽化要精確得多，而且肖像遮罩本身具有更高的分辨率。實際上，后置攝像頭是2016 x 1512，TrueDepth攝像頭是1544 x 1160。仍低于實際圖像，但分辨率僅降低一半左右。

使用人像遮罩，開發(fā)人員將可以更加靈活地制作更具趣味的人像風格照片。例如，您可以在不飽和的背景上使用明亮的主題，或者將背景完全替換為其他內容。但是，iOS 12不會將其限制為僅靜止不動。

進入綠屏

實際上，它還將使開發(fā)人員可以訪問iPhone X正面的TrueDepth攝像頭陣列-預計這將成為Apple計劃在今年晚些時候推出的所有新iPhone的一部分，并且實際上將在即將推出的iPad上–用于視頻。將為它們提供更高的保真度深度圖，該圖將最近的像素編碼為紅色，最遠的像素編碼為藍色，并將其間的顏色光譜編碼。沒有深度數(shù)據(jù)的像素(例如發(fā)亮表面的反射)將為黑色。

與人像遮罩一樣，TrueDepth視頻的深度圖將與相機可以捕獲的最大全高清分辨率不同。相反，對于4：3寬高比視頻，它將為640 x 480;對于16：9，則為640 x 360;無論哪種方式，它都會覆蓋整個框架。開發(fā)人員將能夠將幀速率從30fps調低：由于這會占用大量系統(tǒng)資源，因此他們將負責確保幀速率設置得不會太高，以至于iPhone變慢或應用完全崩潰。

RGB-D(紅色/綠色/藍色和深度)數(shù)據(jù)將打開許多效果的大門。例如，在Apple的演示應用程序中，可能會出現(xiàn)綠屏效果：用不同的圖像實時替換框架的背景，從而使您可以在其他屏幕前錄制自己的視頻。我們之前已經(jīng)看到Apple在自己的Clips 2.0應用程序中使用了該功能。

點云的力量

但是，由于Apple還從TrueDepth相機提供3D點云數(shù)據(jù)，因此視頻應用程序實際上可以改變拍攝角度，而iPhone本身保持固定。在點云上沒有大的空白之前，那里只有一定程度的自由度-無法獲得深度數(shù)據(jù)，因為TrueDepth無法看到空間的那部分-但是效果仍然是驚人的。

盡管Apple有幾個供開發(fā)人員使用的示例應用程序，但由編碼人員自己來制作最終在App Store中使用的軟件。盡管如此，考慮到已有可用的應用程序提供了不同的肖像模式效果，iOS 12似乎很可能會帶來大量利用新的肖像遮罩和視頻3D深度圖的新計算攝影應用程序。