Adobe的Project Sweet Talk使肖像生動起來

傳統(tǒng)上，Adobe MAX上最有趣的會議之一是Sneaks主題演講，公司各個部門的工程師在此展示他們最前沿的工作。有時，這些變成產(chǎn)品。有時他們沒有。如今，很多工作都集中在基于Adobe Sensei平臺的AI上。今年，該公司為我們提供了有關(guān)Sweet Sweet Talk項目的早期信息，這是今晚活動的重點內(nèi)容之一。

這里的想法很簡單，但是很難實現(xiàn)：拍攝肖像，無論是繪畫還是繪畫，識別面部的不同部分，然后與畫外音同步地對嘴進行動畫處理。如今，Adobe的Character Animator(您可能已經(jīng)在與Stephen Colbert一起在《 The Late Show》等節(jié)目中看到過)做到了一些，但是動畫數(shù)量有限，即使是最好的動畫師，結(jié)果也無法做到?？偸强雌饋砗鼙普娴?在產(chǎn)品中為動畫制作的圖紙盡可能)。Sweet Talk項目要聰明得多。它分析畫外音，然后使用其AI智能工具對角色的嘴和頭進行逼真的動畫處理。

由Adobe研究人員Dingzeyu Li領(lǐng)導的團隊，與周揚(麻薩諸塞大學)，Jose Echevarria和Eli Schectman(Adobe Research)一起，將他們的模型實際投放了數(shù)千個小時的真實人與攝像頭交談視頻YouTube。出人意料的是，該模型確實很好地轉(zhuǎn)移到了繪畫上，即使與團隊合作的面孔(包括漂亮的動物面孔基本圖紙)看起來并不像人臉。

李說：“動畫很難，我們都知道。”“如果大家都知道，如果我們想將面孔與給定的音軌對齊，則難度會更大。AdobeCharter Animator已經(jīng)具有一項功能，可以從場景音頻中獲取'計算唇形同步'，”它向您展示了局限性”。Character Animator中的現(xiàn)有功能只能移動嘴巴，而其他所有東西保持靜止。那顯然不是很現(xiàn)實的樣子。如果您看一下這篇文章中嵌入的示例，您會發(fā)現(xiàn)團隊自動地巧妙地變形了臉部，使它們看起來更逼真-全部來自基本的JPG圖像。

因為它確實可以使臉部變形，所以Project Sweet Talk不能很好地處理照片。他們只是看起來不正確-這也意味著沒有必要擔心有人濫用此項目來獲取深造品。李告訴我：“要生成逼真的深層假象，需要大量的訓練數(shù)據(jù)。”“在我們的案例中，我們只關(guān)注可以從圖像預測的地標，而地標足以使動畫動起來。但是在我們的實驗中，我們發(fā)現(xiàn)僅靠地標不足以產(chǎn)生逼真的[動畫上]的照片。”

從長遠來看，Adobe可能會將此功能內(nèi)置到Character Animator中。李還告訴我，構(gòu)建一個實時系統(tǒng)(類似于今天的Character Animator中的功能)在團隊的優(yōu)先級列表中排在首位。