最快5秒光速出片,全球首個接近實時生成的AI視頻模型來了
智東西作者 雲鵬編輯 漠影
今天,AI視頻模型火爆全球,呈現出百家爭鳴的態勢。雖然Sora姍姍來遲,卻還是在上線當天就被擠爆了服務器。
國外有Runway、Luma AI這樣的老牌玩家,國內則有各路AI創企和互聯網科技巨頭接連亮出自家的“中國造Sora”,各種AI生成視頻越來越多地出現在大衆視野中。
愛詩科技、生數科技、Minimax等AI創企不斷掏出新策略、新功能、新玩法輪番轟炸,而科技大廠字節跳動、快手也入場攪局。
//oss.zhidx.com/uploads/2024/12/67713460d2406_67713460cd287_67713460ccc90_WeChat_20241229191153.mp4
▲由愛詩科技旗下PixVerse v3.5生成
與此同時,AI視頻生成技術也在快速迭代發展,競爭來到新的階段。AI視頻模型的競爭開始從能用到好用,視頻生成的速度、質量成爲核心競爭焦點;另一邊,視頻生成也不侷限於文字,隨手發一張圖就能生成精美視頻已經成爲現實。
在這批AI視頻生成開拓者們中間,國內愛詩科技旗下PixVerse已成爲跑的最快的一家,並在全球市場立下了良好口碑。PixVerse App海外市場一經上線,在多個國家殺入下載榜前列甚至位列榜首。
從上個月剛剛火爆全網、朋友圈頻頻刷屏的“毒液特效”視頻,到12月“猛男肌肉特效”視頻,這些“經典”都出自PixVerse之手,二者在生成總量上超過幾百萬次,在海外Tiktok平臺曝光量已經過億,其在全球範圍的熱度甚至一度超越了Runway和Sora。
▲谷歌搜索熱度趨勢圖,來源:Google Trends
在C端取得如此驕人戰績後,PixVerse繼續加快腳步,開“卷”專業AI創作能力,最近PixVerse的v3.5模型版本已經正式發佈。
不少海外AI專業創作者和藝術家都在體驗測試版的過程中給出了極高的評價,稱3.5版本具有非常高的靈活性、富有創意,並且動畫效果着實很贊。
▲AI藝術家Pierrick Chevallier
正式上線後,立刻有不少用戶亮出了自己的得意新作,效果還是比較驚豔的:
▲來自X平臺用戶Alfred Cadoux
▲來自X平臺AI創作者AZIZ
智東西也提前體驗了PixVerse v3.5的內測版本,其生成速度領先數倍於競品,畫面細節滿滿、想象力豐富,動漫效果更是一騎絕塵,可以說十分驚豔。從日常娛樂到專業創作,AI視頻生成正愈發深度地走進我們的生活。
一、5秒光速出圖,全球首個接近實時生成的AI視頻模型來了
爲了感受PixVerse生成視頻速度之快,我們首先挑選了一個日常生活中常常會遇到的輕負載高頻次的場景——讓表情包動起來,直接讓一些靜態梗圖變成動圖!
//oss.zhidx.com/uploads/2024/12/676e5dd55018e_676e5dd54cb04_676e5dd54cad9_已讀不回小女孩視頻.mp4
根據我們實際體驗,在極速(Turbo)模式下,利用一張常見表情包生成視頻的時間最短只有5秒左右,平均在8秒左右。
從生成效果來看,基本的描述都可以比較準確地實現,角色的肢體動作比較自然,遮擋關係都非常正確,尤其適合做表情包。
//oss.zhidx.com/uploads/2024/12/676e5ea4a75e5_676e5ea49cfff_676e5ea49c84b_蜘蛛俠超人擁抱視頻.mp4
雖然在個別案例中,一些視頻生成模型常見的細節穿模問題還有待優化,但能在10秒之內生成如此質量的視頻,在體驗上已經是一種跨越式提升了。
我們也對比了國外的AI視頻生成老大哥Runway,不得不說,Runway在速度這塊的確沒輸多少,也比較快,但生成視頻質量卻與PixVerse存在不小差距。生成效果甚至很難達到“可用”狀態。
//oss.zhidx.com/uploads/2024/12/676e5e7c6f9b2_676e5e7c6b33b_676e5e7c6b2de_Runway超人蜘蛛俠擁抱.mp4
▲基於相同圖片和提示詞,Runway生成結果
這種犧牲質量換速度的策略顯然存在很大風險,稍不留神就會“翻車”。
相比Runway,國內的可靈、海螺,生成同樣主題視頻的質量會好一些,與PixVerse相對接近,但是在速度上卻慢了不少,平均生成時間都在2-3分鐘之間,個別速度較快的案例可以在1分鐘左右。
值得一提的是,PixVerse生成視頻的速度並不是用質量換來的,整體對比下來,PixVerse的生成質量、對描述的還原程度,在大部分測試中都是最高的。
海外AI藝術家Volodymyr Cherner也亮出了自己的最新作品,他評論稱,PixVerse可以在1分鐘內生成1080P的高清視頻,而不像其他產品一樣需要8-10分鐘,可以說是既快又好的代表了。
▲Volodymyr Cherner作品
▲Volodymyr Cherner作品
所以,高效且高質量的視頻生成能夠帶來什麼?
最顯而易見的就是效率的提升,進而可以轉化成實際生產中的經濟效益提升。
但即使是1分鐘,也與PixVerse存在數倍的速度差距,10秒與2分鐘之間的差別,帶來的就是十幾倍的生產效率提升。
同樣時間內,PixVerse可以給創作者提供更多的創作機會,發覺更多靈感和創意,大幅增加優質素材產出的概率、提高效率。
OpenAI的Sora在測試階段,就曾因視頻生成速度太慢的問題飽受詬病,初期Sora甚至需要10多分鐘才能生成一段1分鐘視頻。Luma AI的Dream Machine發佈後,很多用戶甚至需要排隊等待數小時才能得到生成的視頻,這無疑大大消耗了用戶的耐心,讓體驗打折扣。
相比之下,PixVerse可以幾秒、十幾秒生成視頻,這種體驗讓AI視頻生成真正變得更普及,我們可以隨時隨地利用AI生成視頻並與他人交流、分享、使用。
二、解密底層模型升級:運動控制、細節表現出衆,動漫創作效果行業第一
正如前文所說,“快”只是PixVerse的一個核心優勢,其在生成質量方面的表現也可圈可點,尤其是在運動控制、細節呈現以及動漫/動畫效果的表達上十分亮眼。
首先是運動控制的穩定性。比如在這個山路騎行的視頻中,人物騎行的動作十分自然,車輛行駛的軌跡也控制的比較好,遠處的背景與騎行者的關係也保持的比較穩定,鏡頭跟隨效果自然。
//oss.zhidx.com/uploads/2024/12/676e5eba9a251_676e5eba963c2_676e5eba96095_騎行視頻.mp4
在滑板視頻中,滑板的運動軌跡展現是極爲困難的,同時模型對人物肢體動作的控制和展現也都表現的比較好,沒有出現明顯的不協調或違和感。
//oss.zhidx.com/uploads/2024/12/676e5ec754584_676e5ec74dce7_676e5ec74dcbc_滑板視頻.mp4
接下來,我們來看看PixVerse模型對細節的表現力,以及非現實創作能力。
在這組聖誕老人在紐約都市夜晚送聖誕禮物的視頻中,我們選擇了3D動畫模式,模型表現出了出色的非現實畫面創作能力,對於聖誕老人會以何種形式出現在大都市中,模型給出了很好的答案。
//oss.zhidx.com/uploads/2024/12/676e5ed4e896e_676e5ed4e2061_676e5ed4e2034_聖誕老人視頻.mp4
同時,聖誕老人的形象可愛逼真,馴鹿的運動姿態很自然,符合常理。在雪橇滑行過程中,我們甚至可以看到很多細節,比如雪橇的顛簸、雪花輕輕濺起、陰影自然跟隨。
在另一個北極熊在極光下做冰雕的視頻中,3D動畫版的北極熊憨態可掬,十分可愛,其毛髮柔順細密彷彿觸手可及,同時北極熊手握冰雕工具的姿態也十分準確,進行雕刻的動作也十分自然真實,另外冰雕中的光線映射也比較擬真。
//oss.zhidx.com/uploads/2024/12/676e5eeade228_676e5eead88c2_676e5eead8888_北極熊視頻.mp4
模型可以很好地想象出本不可能存在的場景,並將一些基本的動作和細節的刻畫都做到位。
在另外兩組現實人物面部特寫視頻中,模型一方面可以非常高質量的呈現人物面部細節,比如膚質、毛孔,同時模型可以準確呈現我們描述的人物神態,比如驚恐或是平靜。
//oss.zhidx.com/uploads/2024/12/676e5f1167f4b_676e5f1157acc_676e5f1157aa3_大自然享受視頻.mp4
火光在人物面部的映射,視頻背景的自然虛化,這些細節也都做的比較到位。
//oss.zhidx.com/uploads/2024/12/676e5f22b7e8c_676e5f22b1e1b_676e5f22b1dea_火光面龐視頻.mp4
在動漫、動畫創作方面,我們還讓PixVerse生成了一組海賊王主題的視頻,視頻中路飛和娜美在船頭激情碰拳,模型可以準確還原動漫人物的標誌性特點,角色的配色都沒有問題,同時動作自然沒有違和感。
//oss.zhidx.com/uploads/2024/12/676e5f35c62cb_676e5f35c0d56_676e5f35c0d18_路費娜美視頻.mp4
在一組動漫風格的賽車追逐戰視頻中,漫畫中常見的速度感、力量感線條表達被很好地呈現了出來,車輛的運動、鏡頭的運鏡都處理的十分到位。
//oss.zhidx.com/uploads/2024/12/676e5f6c21d19_676e5f6c1bf75_676e5f6c1bf32_賽車追逐視頻.mp4
可以看到,在動漫、動畫創作方面,PixVerse的表現是十分驚豔的。據瞭解,目前PixVerse的動漫動畫視頻創作效果SOTA行業第一。
//oss.zhidx.com/uploads/2024/12/676e5f524bb97_676e5f5245fa5_676e5f5245f7a_大聖歸來視頻.mp4
最後,PixVerse的視頻生成還支持首尾幀功能,用3D數字藝術家Travis Davids的話來說,兩幅構圖相近的圖像放在一起非常有趣,就像變魔術一樣。
▲Travis Davids作品,下方圖片爲首尾幀
整體來看,PixVerse 3.5版本的升級帶來了非常直觀的用戶體驗提升,其兼顧了生成速度和畫質,在細節表現上十分出衆,動畫動漫效果成爲其突出優勢之一。結合極具性價比的價格,不論是對大衆消費者還是專業創作者,PixVerse無疑都是當下國內AI視頻生成領域的更優選擇。
結語:AI視頻大模型競爭升級,從能用走向普及好用
如今,AI大模型技術的發展已經從比拼參數走向比拼商業化落地,如何真正給消費者和企業帶來好的體驗,真正賦能生產力、提升生產效率,成爲競爭焦點。AI視頻生成賽道也不例外。
相比姍姍來遲吊足胃口的Sora,國內外一衆AI創企和科技巨頭都已亮出各種產品,像PixVerse這樣的年輕力量已經走向世界舞臺並斬獲佳績。愛詩科技憑藉底模的升級,在速度顛覆性提升的基礎上兼顧質量,將AI視頻模型生成從能用帶向好用。
今天,AI視頻生成工具這把火正越燒越旺,消費者認知度也越來越強,隨着“內卷”的加劇,企業想要真正殺出重圍,還是要靠技術硬實力說話。體驗好不好,消費者自會用腳投票。