這就是蘋果如何使AR對(duì)象更加可信

Apple正在使用機(jī)器學(xué)習(xí)，通過(guò)可預(yù)測(cè)反射，照明等的智能環(huán)境紋理，使增強(qiáng)現(xiàn)實(shí)對(duì)象在iOS 12中更加逼真。ARKit 2.0中增加了這項(xiàng)新功能，它使用設(shè)備上的處理功能將虛擬對(duì)象與真實(shí)對(duì)象更好地集成在一起，從而模糊了計(jì)算機(jī)生成的內(nèi)容與真實(shí)的內(nèi)容之間的界線。

“在金屬AR碗旁邊放一個(gè)真正的香蕉，會(huì)有黃色反射”

當(dāng)前，如果您在現(xiàn)實(shí)世界場(chǎng)景中有一個(gè)虛擬對(duì)象，例如木桌上的金屬碗，則木材的紋理不會(huì)反映在金屬碗中。環(huán)境紋理的作用是在周圍的物理紋理中拾取細(xì)節(jié)，然后將其映射到虛擬對(duì)象。因此，金屬碗會(huì)稍微反射它所坐的木質(zhì)表面。如果您在碗旁邊放一個(gè)香蕉，也會(huì)有黃色反射。

環(huán)境紋理收集場(chǎng)景紋理信息，通常(盡管并非總是)將其表示為立方體的六個(gè)面。然后，開發(fā)人員可以將其用作其虛擬對(duì)象的紋理信息。使用計(jì)算機(jī)視覺，ARKit 2.0提取紋理信息以填充其立方體貼圖，然后-填充立方體貼圖時(shí)-可以使用每個(gè)方面來(lái)了解AR對(duì)象的每個(gè)部分所反映的內(nèi)容。

但是，這將需要對(duì)空間進(jìn)行完整的360度掃描，然后才能填充立方體貼圖。由于這是不切實(shí)際的，ARKit 2.0可以通過(guò)預(yù)測(cè)缺少的紋理，使用機(jī)器學(xué)習(xí)來(lái)填補(bǔ)立方體貼圖中的空白。所有這些都是實(shí)時(shí)完成的，并且完全在設(shè)備上進(jìn)行。

“很少有AR體驗(yàn)需要完全靜止不動(dòng)”

當(dāng)然，很少有AR體驗(yàn)需要完全靜止不動(dòng)。結(jié)果，ARKit 2.0的環(huán)境紋理可以跟蹤物理運(yùn)動(dòng)并相應(yīng)地調(diào)整其對(duì)缺少紋理的預(yù)測(cè)。同樣，隨著虛擬對(duì)象的移動(dòng)，它們的立方體貼圖也會(huì)移動(dòng)以更改應(yīng)用于其虛擬表面的反射。

令人驚訝的是，它與增強(qiáng)現(xiàn)實(shí)對(duì)象在其真實(shí)環(huán)境中的嵌入程度有多大不同。當(dāng)然，從數(shù)字生成的圖形與真實(shí)圖形無(wú)法區(qū)分的方面，我們還有一定距離：由于Apple在本地而不是在云中進(jìn)行所有渲染，因此需要考慮iPhone或iPad GPU的凈空。盡管如此，作為現(xiàn)實(shí)世界參與者的AR對(duì)象看起來(lái)比以前更加真實(shí)。

與更廣泛的ARKit一樣，使這種新環(huán)境紋理特別強(qiáng)大的原因是，第三方應(yīng)用程序開發(fā)人員實(shí)際上幾乎不需要做多少工作就能將反射，陰影等元素整合到增強(qiáng)現(xiàn)實(shí)體驗(yàn)中。多維數(shù)據(jù)集貼圖是自動(dòng)生成的，并且隨著用戶在空間中移動(dòng)而保持最新。在許多情況下，僅需幾行代碼即可使用該紋理數(shù)據(jù)。

蘋果公司在WWDC 2018上的大型AR演示是一款多人游戲，涉及“通過(guò)” iPad顯示屏看，并以數(shù)字方式將木塊推倒到真實(shí)桌子上。盡管如此，我不禁想到這種紋理映射將對(duì)明天的增強(qiáng)現(xiàn)實(shí)設(shè)備(例如蘋果公司正在研發(fā)的智能眼鏡)產(chǎn)生什么影響。

然后，虛擬對(duì)象的真實(shí)程度將變得更加重要。畢竟，與iPhone或iPad的屏幕相比，當(dāng)您戴著AR眼鏡時(shí)，任何看起來(lái)不正常的東西都將變得更加刺耳。蘋果公司今天可能并沒有在談?wù)撨@個(gè)問題，但是不難看出，這種通向更逼真的虛擬對(duì)象的途徑-與諸如持久性，共享的AR空間共享之類的東西相結(jié)合-將有助于創(chuàng)造更加沉浸式的增強(qiáng)現(xiàn)實(shí)體驗(yàn)，中間沒有iPhone。