AI進化撞上“數據牆”？三大模型研發遇阻，巨頭紛紛轉向新賽道
人工智能（AI）的發展一直建立在這樣的信念之上：訓練數據規模越大，模型就會越來越好。然而，業界近期曝出了大模型進化遭遇“數據牆”的消息。
據外媒報道，OpenAI、谷歌和Anthropic在AI模型開發方面都陷入了瓶頸，他們發現，新模型無法像前面幾代產品那樣帶來巨大的飛躍。這在AI圈瞬時炸開了鍋。
圖靈獎得主楊立昆（Yann LeCun）和OpenAI前首席科學家伊利亞·蘇茨克維（Ilya Sutskever）等科技圈大佬不客氣地指出，大模型的規模法則（Scaling Law）已經達到極限，必須轉變思維，改變訓練模式了。
而OpenAI CEO阿爾特曼（Sam Altman）和Anthropic CEO達里奧·阿莫迪（Dario Amodei）都相繼對“瓶頸”說進行反駁。儘管如此，OpenAI和谷歌都在積極轉變策略，研究如何解決訓練數據匱乏的問題，以及如何調整規模法則的應用，保持模型穩步發展。
在百度CEO李彥宏看來，模型開發放緩也不見得是一件壞事。在最近的一次訪談中，他表示，基礎模型早期快速迭代是正常的，但如果兩年、三年了還這樣，那整個生態其實是會比較亂。Meta CEO扎克伯格也表示，即使在現有技術的基礎上，應用層面依然有很大的發展空間。
圖片來源：視覺中國-VCG41N1309760279
OpenAI、谷歌和Anthropic遭遇開發瓶頸
據外媒，OpenAI的下一代旗艦模型可能不會像前面幾代產品那樣帶來巨大的飛躍。
測試代號爲Orion的新模型的員工發現，儘管新模型性能超過了OpenAI現有的模型，但進步程度並不如從GPT-3到GPT-4的進步那麼大。換句話說，OpenAI改進的速度似乎正在放緩。
OpenAI並不是唯一遭遇阻礙的公司，其競爭對手谷歌和Anthropic也傳出了先進AI模型開發遇到瓶頸的消息。在以驚人的速度推出日益複雜的AI產品之後，這三家領先的AI公司現在意識到，他們在開發新模型上進行的大量投入所帶來的回報正在逐漸減少。
據知情人士透露，谷歌即將推出的新版Gemini未達到內部預期，Anthropic也推遲了Claude 3.5 Opus模型的計劃發佈時間。
高質量人造訓練數據的缺乏是AI模型開發面臨挑戰的一大原因。外媒援引兩位知情人士稱，Orion在編程任務上的表現不盡如人意，部分原因是缺乏足夠的編程數據進行訓練。即使是有一些小幅的改進，也難以證明新模型構建和運營的高昂成本是合理的，這與市場對於重大升級的期待之間存在差距。
科技圈大佬激辯“數據牆”
AI模型開發遇阻的消息公開後，知名AI評論家加里·馬庫斯（Gary Marcus）甚至直接單方面宣佈“勝利”：“遊戲結束，我贏了！我早就說過，GPT正在陷入收益遞減階段。”一直以來，馬庫斯就預測，生成式AI的發展將進入停滯階段。
圖片來源：X平臺
AI懷疑論者經常警告，僅僅通過擴大規模來提高大模型的方法是有限的。一年前，比爾·蓋茨就表示，有很多理由相信，當前生成式人工智能（AGI）已經達到極限。“GPT-5不會比GPT-4好多少。”
OpenAI前首席科學家、Safe Superintelligence聯合創始人蘇茨克維近日在接受外媒採訪時也表示，擴大預訓練的結果已經達到了平臺期。所謂預訓練，即使用大量未標記數據來訓練AI模型以理解語言模式和結構的階段。
Meta首席科學家、圖靈獎得主楊立昆還轉發了蘇茨克維這條新聞，並評論，“我早就告訴過你們了，Meta早就開始轉型了。”
圖片來源：Thread
不過，OpenAI CEO阿爾特曼週四在X上發帖稱，“沒有牆（there is no wall）”，暗示AI發展沒有遇到瓶頸。
圖片來源：X
Anthropic創始人、規模法則論文的共同作者達里奧·阿莫迪也在近日的播客中表示，規模法則來自經驗而非客觀規律，他認爲這一法則仍然會繼續存在。
科技公司轉變策略
儘管阿爾特曼駁斥了“瓶頸”一說，但OpenAI也一直在進行第二手準備。
OpenAI成立了一個基礎團隊，由之前負責預訓練的Nick Ryder領導。該團隊主要探索如何應對訓練數據的匱乏，調整規模法則的應用，保持模型改進的穩定性。
例如，OpenAI的研究人員開始採用AI生成的合成數據來訓練模型。他們還採用了強化學習方法，通過讓模型從大量有正解的任務中學習（比如數學或編程問題），以此來改進處理特定任務的方式。此外，OpenAI還嘗試在預訓練後進行推理，即讓模型在回答問題時花更多時間“思考”。OpenAI科學家Noam Brown稱它是推理計算的Scaling（擴展）。
圖片來源：X
谷歌似乎也在效仿OpenAI的做法。最近幾周，DeepMind在其Gemini部門組建了一個團隊，旨在開發類似OpenAI推理模型的能力。
谷歌的研究人員也在專注於對模型進行手動改進。參與這項工作的人員表示，改進工作包括改變“超參數”，或者是決定模型如何處理信息的變量，例如模型在訓練數據中建立不同概念或模式之間聯繫的速度。
巨頭紛紛轉向AI應用
在AI進化遇阻的討論下，AI應用迎來大爆發。
得益於AI廣告引擎模型Axon2.0帶來的廣告匹配效率提升，廣告平臺公司AppLovin業績大超預期。年初至今，該股的累計漲幅高達650%，是英偉達同期漲幅的3倍以上，總市值已經接近1000億美元。
圖片來源：谷歌財經
AI平臺（AIP）顯著推動了Palantir的業務增長。11月15日，這家公司宣佈計劃將其上市地點從紐約證券交易所轉移至納斯達克交易所。當天，該股漲11.14%，報65.77美元，該股年初至今漲283.05%。
國內AI應用中，字節跳動旗下的豆包年初至今累計下載量已經突破1億。10月份，Kimi的月活躍用戶數突破千萬大關。MiniMax海外版應用的10月訪問量較上月暴漲2773%。
百度CEO李彥宏認爲，AI模型開發放緩也不一定就是個壞事。在最近的一次訪談中，他表示，基礎模型早期快速迭代是正常的，但如果兩年、三年了還這樣，那整個生態其實是會比較亂。
李彥宏解釋道：“基礎模型不能夠特別快地迭代。如果老在變，那做應用的人就無所適從了，該做什麼我不知道，我剛做了兩個月，你又升級了，把我做的沖掉了，白做了，我又得重新適應一遍新的規則。我覺得可能兩年一個大的版本是一個比較合適的節奏。”
扎克伯格也表示，在最壞的情況下，即使技術沒有改進，仍然有很大空間在現有技術的基礎上打造消費者和企業產品。
作爲AI領域的領頭羊，OpenAI也在加強對應用層面的探索。據報道，OpenAI將於明年1月推出能夠幫助用戶整理文件，預訂機票的AI智能體（AI Agent）軟件。
谷歌正在開發一款代號爲賈維斯計劃的AI代理軟件，“賈維斯”這個名字的靈感來自《鋼鐵俠》的全能AI管家賈維斯。
黃仁勳也開始對AI應用表達了興趣。本週，他在日本舉行的英偉達AI峰會上和孫正義一起宣佈，將聯合軟銀在日本打造AI+5G網絡。
同時，他也在會上強調了AI智能體的潛力——即具備理解、推理、規劃和執行能力的高級數字智能體，能夠改變各個行業的生產力。他指出，這些智能體能夠處理複雜的多步驟任務，有望“爲人類完成 50% 的工作”，從而大幅提升人類的生產力。通過將數據轉化爲可操作的見解，代理式 AI 爲企業提供了強大的工具，可以在不取代人類角色的情況下提升運營效率。
圖片來源：英偉達官網
值得注意的是，英偉達的財報將於北京時間11月21日公佈，預計在財報發佈後的電話會議上，黃仁勳將宣佈更多關於AI應用的消息。
過去一週，英偉達股價的“瘋漲”勢頭暫時有所放緩。
圖片來源：谷歌財經
投資公司Roundhill CEO Dave Mazza對《每日經濟新聞》記者表示，英偉達需要在AI領域實現新的技術突破以及持續的收入增長，才能保持市值的領先地位。