手機秒拍動畫大片,高級運鏡效果驚人!Runway兩彈更新,火得一塌糊塗
新智元報道
編輯:靜音
【新智元導讀】在AI視頻這一賽道,Runway顯然已經走出了自己的特色——專注於藝術、媒體和娛樂。他們新近連發了兩個新功能:可將真人面部表情精確復刻給AI角色的Act-One,以能夠實現3D化的AI攝像頭控件。
前幾天,Runway宣佈更加靈活逼真的AI攝像頭控件上線,開始實現3D化!該功能Gen-3 Alpha Turbo視頻生成模型可用。
而就在一個多星期前,10月23日,Runway還宣佈了Gen-3 Alpha的新功能Act-One。該功能可以將視頻中真人的面部表情精確復刻給AI角色。
功能雖小,但都將爲動畫師、遊戲開發者和電影製作人提供非常大的便利、節約巨大的成本。
在各大公司爭相卷AI視頻生成長度、逼真度、流暢度的時候,Runway顯然已經在AI視頻賽道中走出了自己的特色——做專門服務於藝術、媒體和娛樂的AI。
正如Runway的CEO在他的博客裡寫道:
「許多人犯的錯誤是將人工智能視爲最終目標。它不是。人工智能是機制,是支持更大事物的基礎設施。真正的革命不在於技術本身,而在於它所賦能的東西:新的表達形式、新的講故事方式、新的連接人類經驗的方法。」
「這也是爲什麼純粹的人工智能公司變得過時。引人入勝的問題不再在於技術本身——而在於我們用它構建什麼。下一波創新不會來自專注於構建更好模型的公司。」
「變革的浪潮將來自那些懂得如何使用這些工具創造新媒體形式、新體驗類型和新的講故事方式的人。基礎設施已鋪就,基礎已建立。現在是令人興奮的部分:用它創造有意義的東西。」
AI攝像頭控件
儘管其他AI視頻生成器和Runway本身之前也提供攝像頭控件,但它們相對粗糙,生成的新視頻常常顯得隨機且侷限——在嘗試圍繞主體上下或四周平移時,有時會導致主體變形、變成二維,或者出現奇怪的變形和故障。
但是,現在有了Runway新發布的AI攝像頭控件,用戶可以任意選擇在場景中移動的方向、角度、速度,將各種相機移動方式和速度變化相結合。
水平移動的同時轉換鏡頭角度,以環繞主體形成弧線效果。
快速地穿越地點,
緩慢地在場景中移動,
快速拉遠鏡頭。
Act-One
在影視製作中,爲了將真人表演轉化爲適用於動畫的3D模型,傳統的面部動畫流程通常包含多個複雜的步驟,涉及動作捕捉、面部手動綁定等技術,還需要非常多的參考視頻素材。
電影拍攝過程中,演員頭戴專用設備,臉上佈滿了標記點
而且,傳統方法還面臨着一大挑戰——如何將參考視頻中的情感、微表情完整複製到數字角色中。
現在,用Act-One,一個視頻就可以。
甚至,一段用普通手機拍攝的視頻,都能爲AI生成的角色賦予生動逼真的表情。眼神、微表情、節奏和表演的呈現都在最終生成的輸出中得以精準還原。
Act-One支持生成的角色類型還很多樣。一段視頻可以生成好幾種畫風不同的人物角色。
列舉的案例中,還有生成動物動畫角色的,感覺可以直接上演「瘋狂動物城」了!
現就職於Runway的Jimei Yang在X上發佈了一個用Act-One生成的經典場景復刻,重現了《指環王》中咕嚕的「nobody likes you」臺詞。
在不同的視覺角度下,用Act-One生成的人物視頻依然具有高度穩定性,保持着高保真的面部動畫。不會因爲視角、光線等因素的變化而產生質量波動或失真。
Act-One還可以創建多輪對話場景。毫不誇張地說,只要有攝像機,一個人,就可以演一臺戲!
單人錄製過程
成品視頻
參考資料:
https://runwayml.com/research/introducing-act-one