光州科學(xué)技術(shù)研究所的研究人員開發(fā)出一種新的圖像去噪方法

使用“路徑追蹤”算法渲染的高質(zhì)量視覺顯示通常很嘈雜。最近的基于監(jiān)督學(xué)習(xí)的去噪算法依賴于外部訓(xùn)練數(shù)據(jù)集，訓(xùn)練時間長，并且在訓(xùn)練和測試圖像不同時效果不佳?，F(xiàn)在，來自光州科技學(xué)院、VinAI Research 和滑鐵盧大學(xué)的研究人員提出了一種新穎的自我監(jiān)督后校正網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以在不依賴參考的情況下提高去噪性能。

高質(zhì)量的計算機圖形在游戲、插圖和可視化中無處不在，被認為是視覺顯示技術(shù)的最先進技術(shù)。用于渲染高質(zhì)量和逼真圖像的方法稱為“路徑跟蹤”，它利用基于監(jiān)督機器學(xué)習(xí)的蒙特卡洛(MC) 去噪方法。在這個學(xué)習(xí)框架中，機器學(xué)習(xí)模型首先用噪聲和干凈的圖像對進行預(yù)訓(xùn)練，然后應(yīng)用于要渲染的實際噪聲圖像(測試圖像)。雖然被認為是圖像質(zhì)量方面的最佳方法，但如果測試圖像與用于訓(xùn)練的圖像明顯不同，則此方法可能效果不佳。

為了解決這個問題，包括博士在內(nèi)的一組研究人員。韓國光州科學(xué)技術(shù)學(xué)院的學(xué)生Jonghee Back和Bochang Moon副教授、越南VinAI Research 的研究科學(xué)家Binh-Son Hua和加拿大滑鐵盧大學(xué)的Toshiya Hachisuka副教授在一項新研究中提出新的不依賴參考的 MC 去噪方法。他們的研究于2022 年 7 月 24 日在線發(fā)布，并發(fā)表在ACM SIGGRAPH 2022 會議論文集上。

“現(xiàn)有方法不僅在測試和訓(xùn)練數(shù)據(jù)集非常不同時失敗，而且需要很長時間來準(zhǔn)備訓(xùn)練數(shù)據(jù)集以對網(wǎng)絡(luò)進行預(yù)訓(xùn)練。需要的是一個神經(jīng)網(wǎng)絡(luò)，可以只使用動態(tài)測試圖像進??行訓(xùn)練，而無需用于預(yù)訓(xùn)練，” Moon 博士解釋了他們研究背后的動機。

為了實現(xiàn)這一點，該團隊提出了一種新的去噪圖像后校正方法，該方法包括一個自我監(jiān)督的機器學(xué)習(xí)框架和一個用于圖像處理的后校正網(wǎng)絡(luò)，基本上是一個卷積神經(jīng)網(wǎng)絡(luò)。后校正網(wǎng)絡(luò)不依賴于預(yù)訓(xùn)練的網(wǎng)絡(luò)，并且可以使用自我監(jiān)督學(xué)習(xí)概念進行優(yōu)化，而不依賴于參考。此外，自監(jiān)督模型補充并提升了傳統(tǒng)的去噪監(jiān)督模型。

為了測試提議的網(wǎng)絡(luò)的有效性，該團隊將他們的方法應(yīng)用于現(xiàn)有的最先進的去噪方法。所提出的模型通過保留更精細的細節(jié)，證明了相對于輸入圖像的渲染圖像質(zhì)量提高了三倍。而且，整個on-fly訓(xùn)練和最終推理的過程只用了12秒!

“我們的方法是第一個不依賴于使用外部數(shù)據(jù)集進行預(yù)訓(xùn)練的方法。這實際上將縮短制作時間并提高動畫和電影等基于離線渲染的內(nèi)容的質(zhì)量，” Moon 博士評論道，推測他們工作的潛在應(yīng)用。

事實上，這種技術(shù)可能很快就會在視頻游戲、增強現(xiàn)實、虛擬現(xiàn)實和虛擬世界中的高質(zhì)量圖形渲染中得到應(yīng)用!