您的位置： 首頁 >科技 >

Meta 發(fā)布 Megabyte AI 模型抗衡 Transformer 速度提高40%

2023-05-31 18:28:04 編輯：金淑眉 來源：
導讀 Meta 發(fā)布 Megabyte AI 模型抗衡 Transformer ，新研發(fā)的這款AI模型能夠解決Transformer 目前所面臨的問題，速度提升40%。Transform

Meta 發(fā)布 Megabyte AI 模型抗衡 Transformer ，新研發(fā)的這款AI模型能夠解決Transformer 目前所面臨的問題，速度提升40%。

Transformer屬于當下超流行的一種AI型,尤其在自然語言處理等領域被廣泛的應用。這款模型的序列數(shù)據(jù)處理方式是逐步進化的，無法并行化處理，所以訓練速度比較慢。如果想要處理長序列則比較困難，在反向傳播過程中，梯度很容易消失或者爆炸。處理語言的過程中，需要將每一步的操作歷史完整保留下來，會消耗巨大的內(nèi)存。

Megabyte AI 模型把輸入序列以及輸出序列劃分為patch，使用這種架構能夠對大多數(shù)人物而言的字節(jié)級別預測會更加容易，內(nèi)部預測能夠使用更小的模型進行，而且在大型網(wǎng)絡中也能夠精簡字符，讓工作效率得到大幅度的提升。


標簽： Meta
免責聲明：本文由用戶上傳，如有侵權請聯(lián)系刪除！

最新文章

精彩推薦

圖文推薦

點擊排行

2016-2022 All Rights Reserved.平安財經(jīng)網(wǎng).復制必究 聯(lián)系QQ   備案號：

本站除標明“本站原創(chuàng)”外所有信息均轉載自互聯(lián)網(wǎng) 版權歸原作者所有。

郵箱：toplearningteam#gmail.com (請將#換成@)