集成的視覺(jué)和語(yǔ)義神經(jīng)網(wǎng)絡(luò)模型解釋了大腦中的人體對(duì)象識(shí)別

劍橋大學(xué)的神經(jīng)科學(xué)研究人員將計(jì)算機(jī)視覺(jué)與語(yǔ)義相結(jié)合，開(kāi)發(fā)出一種新模型，可以幫助更好地理解大腦中物體的處理方式。

人類(lèi)識(shí)別物體的能力涉及兩個(gè)主要過(guò)程，即對(duì)象的快速視覺(jué)分析和整個(gè)生命中獲得的語(yǔ)義知識(shí)的激活。大多數(shù)過(guò)去的研究分別研究了這兩個(gè)過(guò)程; 因此，他們的相互作用仍然很不清楚。

劍橋研究人員團(tuán)隊(duì)使用一種新方法研究了物體識(shí)別過(guò)程，該方法將深度神經(jīng)網(wǎng)絡(luò)與吸引子網(wǎng)絡(luò)語(yǔ)義模型相結(jié)合。與之前的大多數(shù)研究相比，他們的技術(shù)既考慮了視覺(jué)信息，又考慮了有關(guān)物體的概念知識(shí)。

劍橋研究人員告訴Tech Xplore說(shuō)：“我們之前曾與健康人和腦損傷患者進(jìn)行了大量研究，以更好地了解物體在大腦中的處理方式。” “這項(xiàng)工作的主要貢獻(xiàn)之一是表明理解物體是什么涉及視覺(jué)輸入隨著時(shí)間的推移迅速轉(zhuǎn)變?yōu)橛幸饬x的表現(xiàn)形式，這種變革過(guò)程是沿著腹側(cè)顳葉的長(zhǎng)度完成的。”

研究人員堅(jiān)信，訪(fǎng)問(wèn)語(yǔ)義記憶是理解對(duì)象是什么的關(guān)鍵部分，因此僅關(guān)注視覺(jué)相關(guān)屬性的理論并不能完全捕捉到這個(gè)復(fù)雜的過(guò)程。

“這是當(dāng)前研究的最初觸發(fā)因素，我們希望充分了解低級(jí)視覺(jué)輸入如何映射到對(duì)象意義的語(yǔ)義表示，”研究人員解釋說(shuō)。為此，他們使用了一個(gè)專(zhuān)門(mén)從事計(jì)算機(jī)視覺(jué)的標(biāo)準(zhǔn)深度神經(jīng)網(wǎng)絡(luò)，稱(chēng)為AlexNet。

他們解釋說(shuō)：“這個(gè)模型以及其他類(lèi)似的模型可以非常精確地識(shí)別圖像中的對(duì)象，但它們不包含任何關(guān)于對(duì)象語(yǔ)義屬性的明確知識(shí)。” “例如，香蕉和獼猴桃的外觀(不同的顏色，形狀，質(zhì)地等)非常不同，但是，我們正確地理解它們都是水果。計(jì)算機(jī)視覺(jué)的模型可以區(qū)分香蕉和獼猴桃，但它們不是編碼更加抽象的知識(shí)，兩者都是果實(shí)。“

研究人員承認(rèn)神經(jīng)網(wǎng)絡(luò)對(duì)計(jì)算機(jī)視覺(jué)的局限性，將AlexNet視覺(jué)算法與神經(jīng)網(wǎng)絡(luò)相結(jié)合，神經(jīng)網(wǎng)絡(luò)將概念意義(包括語(yǔ)義知識(shí))分析到方程中。

“在組合模型中，視覺(jué)處理映射到語(yǔ)義處理并激活我們關(guān)于概念的語(yǔ)義知識(shí)，”研究人員說(shuō)。

他們的新技術(shù)在16名志愿者的神經(jīng)影像數(shù)據(jù)上進(jìn)行了測(cè)試，他們被要求在對(duì)象進(jìn)行fMRI掃描時(shí)為其命名。與傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)(DNN)視覺(jué)模型相比，新方法能夠識(shí)別與視覺(jué)和語(yǔ)義處理相關(guān)的大腦區(qū)域。

“這項(xiàng)研究最關(guān)鍵的發(fā)現(xiàn)是，通過(guò)考慮物體的視覺(jué)和語(yǔ)義屬性，可以更好地模擬物體識(shí)別過(guò)程中的大腦活動(dòng)，這可以通過(guò)計(jì)算建模方法捕獲，”研究人員解釋說(shuō)。

他們?cè)O(shè)計(jì)的方法對(duì)大腦中語(yǔ)義激活的階段進(jìn)行了預(yù)測(cè)，這與先前的對(duì)象處理過(guò)程一致，其中更粗粒度的語(yǔ)義處理讓位于更精細(xì)的處理。研究人員還發(fā)現(xiàn)，該模型的不同階段預(yù)測(cè)了大腦對(duì)象處理途徑的不同區(qū)域的激活。

“最終，人們?nèi)绾斡幸饬x地處理視覺(jué)對(duì)象的更好模型可能具有實(shí)際的臨床意義;例如，在理解語(yǔ)義癡呆等條件下，人們失去了對(duì)象概念意義的知識(shí)，”研究人員說(shuō)。

在劍橋進(jìn)行的研究是對(duì)神經(jīng)科學(xué)領(lǐng)域的重要貢獻(xiàn)，因?yàn)樗故玖舜竽X的不同區(qū)域如何促進(jìn)對(duì)象的視覺(jué)和語(yǔ)義處理。

研究人員補(bǔ)充說(shuō)：“現(xiàn)在研究一個(gè)地區(qū)的信息如何轉(zhuǎn)化為我們?cè)诖竽X不同區(qū)域看到的不同狀態(tài)至關(guān)重要。” “為此，我們需要了解連通性和時(shí)間動(dòng)力學(xué)如何支持這些變革性神經(jīng)過(guò)程。”