蘋果正在開發(fā)用于動態(tài)蘋果Glass音頻和AR圖像融合的軟件

Apple AR眼鏡或VR耳機可能包括可切換的音頻系統(tǒng)，該系統(tǒng)可以提供多種不同的聆聽模式，同時還包含可以將現(xiàn)實世界的視圖與虛擬圖像快速融合的系統(tǒng)。

諸如經常被謠傳的Apple Glass智能眼鏡，增強現(xiàn)實或虛擬現(xiàn)實耳機之類的物品必須依靠為用戶提供令人信服的視覺效果和足夠的音頻來完全浸入。然而，這兩個因素都提出了自己的獨特問題，即生產頭戴式顯示器的公司必須征服它們。

耳機音頻

對于音頻，AR和智能眼鏡的音頻需求與VR的音頻需求之間存在巨大差異。盡管前者可能想要有限的音頻并且仍然能夠聽到環(huán)境的其余部分，但VR的使用通常依賴于屏蔽外部聲音，而僅留下虛擬世界的音頻。

當前的頭戴式耳機如果需要用戶提供自己的頭戴式耳機，則可以實現(xiàn)此目的，但是具有內置音頻系統(tǒng)的頭戴式耳機通常無法提供用戶所需的靈活性。

蘋果公司在周二獲得專利商標局的一項名為“具有多模式音頻的顯示設備”的專利中，描述了帶有音頻組件的頭戴式視覺系統(tǒng)，該組件可以在頭戴式耳機的支撐結構上的位置之間移動。

蘋果公司提出，音頻系統(tǒng)可以在聽覺外模式和聽覺內模式之間進行切換。在聽覺外模式下，可移動耳機系統(tǒng)的揚聲器被握住并在距離耳朵不遠的地方使用;在聽覺內模式下，揚聲器可以進入耳道。在非聽覺下，該系統(tǒng)將使外部聲音更清晰地聽到，而第二種版本將在阻止用戶聽到環(huán)境聲音方面做得更多。

在兩種模式之間切換時，Apple建議在每個耳機中使用一個驅動程序，這可以更改其通過不同端口投射聲音的方式以匹配兩個不同位置。這包括根據低音揚聲器是否靠近耳朵，甚至是可能改變聲音運動的可切換物理元素，來調整低音揚聲器的功率電平。

聲音生成模塊將在樞軸上使用短臂，該點距樞軸最遠，該樞軸包含用于放置在耳朵中的元件。根據其旋轉方式，本機可以通過一種方法將音頻輸入到耳朵中，或者將另一種方法用于耳外聲音，并自動進行更改。

蘋果公司建議，除了旋轉之外，音頻元件還可以朝耳朵和遠離耳朵傾斜以便于放置，并且可以包括伸縮部分。

該文件最初于2019年4月11日提交，列出了其發(fā)明者為Robert D.Silfvast，James W.VanDyle，Jeremy C.Franklin，Neal D.Evans和Christopher T.Eubank。

融合視野

在第二項專利中，Apple嘗試通過將真實的相機數據和為用戶即時執(zhí)行的數字化版本相結合，解決AR頭戴式耳機如何在現(xiàn)實世界的視頻源上呈現(xiàn)虛擬對象的問題。由于這需要準確，快速地執(zhí)行，因此此類過程可能需要大量的計算資源才能達到較高的標準。

蘋果公司在名為“用于合并真實和虛擬圖像的方法和設備”的專利中，提出了一種系統(tǒng)可以使用盡可能少的資源來計算混合虛擬圖像的方法。

對于該系統(tǒng)，該專利提到了相機饋送如何為“實際像素”創(chuàng)建一系列值，該值具有“虛擬像素”形式的虛擬對應物。每個像素都有自己的像素值，用于執(zhí)行計算以確定應使用哪個最終像素值并顯示給用戶。

可以基于真實像素值和虛擬像素值之間的加權平均值將兩個像素值組合為一個值。蘋果公司認為，權重可以部分基于真實或虛擬像素的alpha或透明度值來確定。

確定真實像素的alpha值可以通過以下方式來創(chuàng)建：對完整的相機圖像進行下采樣，基于相機圖像創(chuàng)建模板，并基于下采樣圖像和模板生成消光參數矩陣。可以對該摳圖參數圖像進行升采樣，進而可以為像素值創(chuàng)建alpha。

此alpha值還可用于創(chuàng)建特定像素的顏色分量像素值，從而可以混合單個顏色而不是整個像素值本身。

通過使用該技術，可以認為將圖像傳輸到顯示器所需的帶寬量可能小于僅由相機生成的數據的十分之一。

該專利將其發(fā)明人列為Pedro Manuel Da Silva Quelhas和Stefan Auer，并于2018年8月14日提交了專利。

Apple每周都會提交大量專利申請，但是專利的存在表明該公司的研發(fā)工作受到關注，但它們并不能保證這些概念會在未來的產品或服務中出現(xiàn)。

之前的工作

蘋果過去曾提交過許多有關AR和VR頭戴設備的文件，包括用于阻止VR用戶撞到物體，將圖形處理工作轉移到無線基站的系統(tǒng)，以及使用iPhone映射用于AR用途的房間的系統(tǒng)。使用板載傳感器等。