使用消融來檢查人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

亞琛工業(yè)大學(xué)機械工程信息管理研究所的一組研究人員最近探索了神經(jīng)科學(xué)技術(shù)的使用，以確定人工神經(jīng)網(wǎng)絡(luò)(ANNs)中信息的結(jié)構(gòu)。在他們的論文中，預(yù)先發(fā)表在arXiv上，研究人員應(yīng)用了一種稱為消融的技術(shù)，該技術(shù)需要在神經(jīng)網(wǎng)絡(luò)架構(gòu)上切除部分大腦以確定其功能。

“我們的想法受到神經(jīng)科學(xué)領(lǐng)域研究的啟發(fā)，其中一個主要目標(biāo)是了解我們的大腦是如何工作的，”兩位研究人員Richard Meyes和Tobias Meisen通過電子郵件告訴TechXplore。“在消融研究中發(fā)現(xiàn)了許多關(guān)于大腦功能的見解，這種方法是大腦的特定部分以受控方式受到嚴(yán)重?fù)p害，影響大腦執(zhí)行日常任務(wù)的能力，例如產(chǎn)生言語或動作。”

Meyes，Meisen和他們的同事Peter Lillian進行的這項研究的目的是從生物學(xué)角度審視人工神經(jīng)網(wǎng)絡(luò)，評估其結(jié)構(gòu)和不同組成部分的功能。他們決定使用消融技術(shù)做到這一點，這是一項在神經(jīng)科學(xué)研究中使用的技術(shù)已有二百多年了。

基本上，消融包括選擇性地去除或破壞大腦特定區(qū)域的組織，其唯一目的是觀察這種損傷的行為影響，從而更好地理解這些區(qū)域的功能。在幾項研究中已經(jīng)對人工神經(jīng)網(wǎng)絡(luò)進行了消融，但這些研究主要集中在調(diào)整網(wǎng)絡(luò)層并改變其結(jié)構(gòu)，因此更像是參數(shù)搜索而非生物消融。

圖片來源：Lillian，Meyes和Meisen。

在他們的研究中，研究人員希望破壞人工神經(jīng)網(wǎng)絡(luò)的各個部分并觀察它們?nèi)绾斡绊懰麄兊谋憩F(xiàn)。最終，他們希望利用這些觀察結(jié)果來比較人工神經(jīng)網(wǎng)絡(luò)的組織與生物神經(jīng)網(wǎng)絡(luò)的組織。

“人工神經(jīng)網(wǎng)絡(luò)(ANNs)消融背后的想法很簡單，”Meyes和Meisen解釋道。“首先，我們訓(xùn)練網(wǎng)絡(luò)執(zhí)行特定任務(wù)，例如識別手寫數(shù)字。其次，我們切斷了網(wǎng)絡(luò)的一小部分，并評估網(wǎng)絡(luò)性能如何因損壞而發(fā)生變化。第三，我們確定是否存在損壞損壞部分的位置與其對網(wǎng)絡(luò)性能的影響之間的關(guān)系。這樣，我們發(fā)現(xiàn)網(wǎng)絡(luò)的特定能力，例如執(zhí)行受控機器人的前向運動，是局部表示的并且可以有目的地被破壞。 “

通過消除訓(xùn)練有素的人工神經(jīng)網(wǎng)絡(luò)導(dǎo)航線圈并檢查這些干預(yù)措施如何影響他們的輸出，研究人員收集了許多有趣的發(fā)現(xiàn)，表明人工和生物網(wǎng)絡(luò)之間確實存在聯(lián)系和相似之處。這些相似之處與網(wǎng)絡(luò)如何自我安排以及如何存儲信息有關(guān)。

刪除每個消融組時，將保存不包含該組的輸出。在對每組進行消融后，研究人員最終得到了一個輸出列表，顯示了網(wǎng)絡(luò)部件移除后網(wǎng)

“我們最有趣的發(fā)現(xiàn)是觀察到網(wǎng)絡(luò)損壞的性能通常會降低，而網(wǎng)絡(luò)的非常具體的能力，例如識別特定數(shù)字，可以通過破壞特定部分來增強，”Meyes和Meisen說。“我們的研究表明神經(jīng)網(wǎng)絡(luò)的表現(xiàn)可以通過在正確的區(qū)域仔細(xì)破壞它來增加。此外，我們的研究表明神經(jīng)科學(xué)方法在人工神經(jīng)網(wǎng)絡(luò)中的應(yīng)用可能為理解人工智能開辟了新的視角。”

盡管Meyes，Meisen和Lillian收集了令人著迷的結(jié)果，但他們的研究有一些局限性，僅僅是檢查生物和人工神經(jīng)網(wǎng)絡(luò)之間聯(lián)系的第一步。例如，他們的實驗受限于強化學(xué)習(xí)的使用，并依賴于實時機器人訓(xùn)練的模型。未來的研究可以更詳細(xì)和更大規(guī)模地檢查人工神經(jīng)網(wǎng)絡(luò)與大腦網(wǎng)絡(luò)之間的相似性。

“我們現(xiàn)在計劃繼續(xù)探索我們關(guān)于進行神經(jīng)科學(xué)啟發(fā)人工神經(jīng)網(wǎng)絡(luò)研究的總體思路，”Meyes和Meisen說。“我們接下來的步驟之一就是可視化人工神經(jīng)網(wǎng)絡(luò)中的活動，就像大腦活動可以通過fMRI等成像方法可視化一樣。我們的目標(biāo)是使人工神經(jīng)網(wǎng)絡(luò)的決策過程更加透明，并在人工智能中獲得新的視角。一般。”