Facebook AI將真實的人變成可控制的游戲角色

Facebook的人工智能研究團隊已經(jīng)創(chuàng)建了一個名為Vid2Play的人工智能，可以從真實人物的視頻中提取可玩角色，創(chuàng)造出更高科技版本的80年代全動態(tài)視頻(FMV)游戲，如夜間陷阱。神經(jīng)網(wǎng)絡可以分析執(zhí)行特定操作的人的隨機視頻，然后在任何環(huán)境中重新創(chuàng)建角色和動作，并允許您使用操縱桿控制它們。

該團隊使用了兩個名為Pose2Pose和Pose2Frame的神經(jīng)網(wǎng)絡。首先，視頻被輸入Pose2Pose神經(jīng)網(wǎng)絡，該網(wǎng)絡專為舞蹈，網(wǎng)球或擊劍等特定類型的動作而設計。系統(tǒng)然后計算出人與背景進行比較的位置，并隔離他們和他們的姿勢。然后，Pose2Frame將人，連同他們的陰影和他們所持有的任何物體，并將它們插入到具有最少偽影的新場景中。然后，您可以使用操縱桿或鍵盤根據(jù)視頻中的姿勢控制其移動。

每次活動只需幾個簡短的視頻 - 擊劍，跳舞和網(wǎng)球 - 來訓練系統(tǒng)。它能夠過濾掉其他人并補償不同的攝像機角度。該研究類似于Adobe的“內(nèi)容感知填充”，它也使用AI來移除視頻中的元素，如游客或垃圾桶。其他公司，如NVIDIA，也已經(jīng)建立了人工智能，可以將現(xiàn)實生活中的視頻轉換為適合游戲的虛擬環(huán)境。

動作有點棘手，人物看起來像是在冰上玩，這是3D動畫中的一個問題，被稱為“腳滑”。最重要的是，運動范圍有限。然而，與先前在角色提取方面的努力相比，它們在背景上顯得相當逼真。現(xiàn)在還處于研究的早期階段，所以希望團隊可以解決運動問題。

Facebook的Vid2Game合成可以讓游戲更加個性化，讓你可以將自己的角色或喜愛的YouTube個性插入到游戲中。“[它]解決了之前未完全滿足的計算問題，為生成具有逼真圖形的視頻游戲鋪平了道路，”該團隊寫道。“此外，從類似YouTube的視頻中提取的可控角色可以在虛擬世界和增強現(xiàn)實中找到自己的位置。”