香港試水醫(yī)療多模態(tài)大模型（關(guān)于醫(yī)療大模型的簡(jiǎn)介）

近日中國(guó)科學(xué)院香港創(chuàng)新院AI中心旗下聯(lián)合實(shí)驗(yàn)室首次公開展示了使用醫(yī)療多模態(tài)大模型結(jié)合的手術(shù)成果，借助AI智能，實(shí)現(xiàn)了內(nèi)鏡檢查的數(shù)字化和智能化，ESSENCE可以在微創(chuàng)手術(shù)工具的末端部署分布式高密度觸點(diǎn)，發(fā)揮重要的作用。

1.相比單模態(tài)，多模態(tài)大模型可以同時(shí)處理多個(gè)類型的信息，實(shí)現(xiàn)更加靈活的人機(jī)交互模式。本次使用到的多模態(tài)AI大模型CARES Copilot1.0可以在手術(shù)階段自動(dòng)識(shí)別病灶和解剖結(jié)構(gòu)，它實(shí)現(xiàn)了圖像、語音、視頻、文本等多模態(tài)的手術(shù)數(shù)據(jù)理解，還能進(jìn)行關(guān)鍵解剖結(jié)構(gòu)的識(shí)別。

2.現(xiàn)在這一模型已經(jīng)與香港威爾士親王醫(yī)院神經(jīng)外科合作，用于實(shí)時(shí)分析手術(shù)過程，還能對(duì)醫(yī)生作出提示，預(yù)計(jì)今年4月份這一大模型將會(huì)應(yīng)用于北京協(xié)和醫(yī)院手術(shù)室，進(jìn)行技術(shù)臨床實(shí)驗(yàn)。

3.中國(guó)科學(xué)院自動(dòng)化所開發(fā)的“紫東·太初”模型將擔(dān)任手術(shù)機(jī)器人助手。在傳統(tǒng)的手術(shù)過程當(dāng)中，會(huì)有一個(gè)助手負(fù)責(zé)拿器械、鏡頭，助手還要觀察主刀醫(yī)生，預(yù)判需要的協(xié)助種類，AI可能擔(dān)任助手這一角色。

4.中國(guó)科學(xué)院香港創(chuàng)新院AI中心執(zhí)行主任劉宏斌表示，除了與紫東·太初大模型團(tuán)隊(duì)合作以外，還會(huì)和香港高校教授、海外AI團(tuán)隊(duì)以及開源公司進(jìn)行合作，尋找新的成果突破出口，創(chuàng)新商業(yè)模式，探索可持續(xù)研究方向。

5.對(duì)比其他的垂類大模型，醫(yī)療類大模型的商用標(biāo)志似乎遙遙無期，在2023年有超過50個(gè)平臺(tái)公布了醫(yī)療大模型，但最終沒有幾個(gè)可以真正落地用于臨床診斷。本次推出的多模態(tài)大模型在未來能否實(shí)現(xiàn)全面商業(yè)化，還要看開發(fā)團(tuán)隊(duì)以及臨床人員的探索狀況。