研究人員公布了一種剪枝算法 使人工智能應用程序運行得更快

隨著越來越多的人工智能應用程序轉向智能手機，深度學習模型越來越小，可以讓應用程序運行得更快，節(jié)省電池電量.. 現(xiàn)在，麻省理工學院的研究人員有了一種新的更好的方法來壓縮模型。

它是如此簡單，以至于他們在上個月的一條推特上公布了它：訓練模型，修剪它最薄弱的連接，以其快速、早期的訓練速度重新訓練模型，并重復，直到模型像你想要的那么小。

“就這樣，”亞歷克斯·倫達博士說。 麻省理工D.學生。 “人們修剪模特的標準方法是非常復雜的?！?/p>

倫達在本月遠程召開國際學習代表大會時討論了這項技術。 倫達是這項工作的合著者，喬納森·弗蘭克爾是一位博士研究員。 麻省理工學院電氣工程和計算機科學系(EECS)的D.名學生，以及電氣工程和計算機科學助理教授邁克爾·卡賓-計算機科學和人工科學實驗室的所有成員。

尋找更好的壓縮技術是從弗蘭克爾和卡賓去年在ICLR獲獎彩票假說論文中產生的。 他們表明，如果在訓練早期發(fā)現(xiàn)正確的子網絡，深度神經網絡只能以十分之一的連接來完成。 他們的發(fā)現(xiàn)是在計算能力和能量訓練更大的深度學習模型的需求呈指數(shù)增長的同時出現(xiàn)的，這一趨勢一直持續(xù)到今天。 這種增長的代價包括地球變暖的碳排放增加和創(chuàng)新的潛在下降，因為與大型科技公司無關的研究人員爭奪稀缺的計算資源。 日常用戶也受到影響。 大型人工智能模型消耗了手機帶寬和電池功率。

彩票假說引發(fā)了一系列主要是理論上的后續(xù)論文。 但在一位同事的建議下，F(xiàn)rankle決定看看它對剪枝可能有什么教訓，其中一種搜索算法對搜索樹中評估的節(jié)點數(shù)進行修剪。 該領域已經存在了幾十年，但在神經網絡在圖像網絡競爭中成功地對圖像進行分類后，又出現(xiàn)了復蘇。 隨著模型越來越大，研究人員增加了人工神經元層以提高性能，其他人提出了降低它們的技術。

宋寒，現(xiàn)在是麻省理工學院的助理教授，是一位先驅。 在一系列有影響力的論文的基礎上，韓提出了一種修剪算法，他稱之為AMC，或AutoML用于模型壓縮，這仍然是行業(yè)標準。 在Han的技術下，冗余神經元和連接被自動移除，并對模型進行重新訓練以恢復其初始精度..

為了回應韓的工作，弗蘭克爾最近在一篇未發(fā)表的論文中建議，可以通過將較小的、修剪過的模型重新纏繞到其初始參數(shù)或權重，并以更快的初始速度對較小的模型進行再訓練來進一步改進結果。

在目前的ICLR研究中，研究人員意識到，該模型可以簡單地恢復到其早期訓練率，而不需要擺弄任何參數(shù)。 在任何修剪方案中，模型得到的越小，它就越不準確。 但是，當研究人員將這種新方法與韓的AMC或Frankle的重量提取方法進行比較時，無論模型收縮多少，它的性能都會更好。

目前還不清楚為什么修剪技術的效果和它一樣。 研究人員說，他們將把這個問題留給其他人回答。 對于那些希望嘗試它的人來說，該算法與其他剪枝方法一樣容易實現(xiàn)，而不需要耗時的調優(yōu)，研究人員說。

弗蘭克爾說：“這是“書”中的剪枝算法?！?“很清楚，很普通，而且很簡單?！?/p>

韓，就他而言，現(xiàn)在已經部分地將重點從壓縮AI模型轉移到引導AI，從一開始就設計小型、高效的模型。 他的最新方法，“一勞永逸”，也在ICLR首次亮相。 在新的學習率方法中，他說：“我很高興看到新的修剪和再訓練技術的發(fā)展，讓更多的人獲得高性能的人工智能應用?！?/p>