2016-2022 All Rights Reserved.平安財(cái)經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ 備案號(hào):
本站除標(biāo)明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。
郵箱:toplearningteam#gmail.com (請將#換成@)
近日月之暗面從一眾AI大模型公司當(dāng)中脫穎而出,打破人們對這一行業(yè)產(chǎn)品大同小異的刻板印象,Kimi掀起了大模型之間對于長文本生成以及處理的技術(shù)競爭浪潮。在去年10月份,Kimi Chat就將上下文的窗口長度擴(kuò)展到20萬字,而當(dāng)時(shí)Claude2-100k和OpenAI的GPT4-32K支持的最長文本分別為100K(約8萬漢字)和32K(約2.5萬漢字),存在較大的差距。
1.Kimi相比于其他大模型更加精準(zhǔn)地命中了用戶端的需求,大模型技術(shù)的規(guī)?;瘧?yīng)用被刻畫出了一條清晰的路徑,堪稱夸張的文本處理能力引來了大量的用戶,Kimi日活用戶從10萬直接增長到百萬量級(jí)。
2.由上下文窗口長度決定的長文本能力是指語言模型進(jìn)行預(yù)測或者生成文本時(shí),考慮到的前一個(gè)詞元或者文本片段的大小范圍,上下文窗口和模型智能水平、算力成本之間始終具有矛盾。
3.更廣闊的上下文窗口空間意味著更高的模型只能水平,但是會(huì)導(dǎo)致計(jì)算需要的算力資源大幅度增加;縮小上下文窗口空間可以降低算力成本,但是模型的智能水平會(huì)受到影響,模型的理解能力下降,對用戶來說,意味著體驗(yàn)有所下降。
4.月之暗面在這一競爭中的特殊之處在于更強(qiáng)大的上下文空間并沒有影響模型的智能水平,這是在“無損”前提下進(jìn)行的,不會(huì)以犧牲用戶體驗(yàn)為代價(jià)。
5.從上下文窗口來看,Kimi在眾多大模型廠商當(dāng)中取得了突出的成績,但這能否構(gòu)成他們的核心壁壘,構(gòu)筑起商業(yè)護(hù)城河,仍然有待商榷。在使用AI模型時(shí)足夠的上下文窗口必不可少,但是廠商如何取得成本、性能以及用戶體驗(yàn)之間的平衡,也是一個(gè)值得思考的課題。
2016-2022 All Rights Reserved.平安財(cái)經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ 備案號(hào):
本站除標(biāo)明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。
郵箱:toplearningteam#gmail.com (請將#換成@)