微軟CTO：AI大模型的“Scaling Law”還能走多遠？

本文作者：李笑寅

來源：硬AI

AI時代，大語言模型（Large Language Model,LLM）橫行。

早在2020年，OpenAI就曾在一篇論文中提出一個定律：Scaling law。這個定律指的是大模型的最終性能主要與計算量、模型參數量和訓練數據量三者的大小相關，而與模型的具體結構（層數/深度/寬度）基本無關。

此後，OpenAI在AI界風生水起，很多初創公司甚至科技巨頭都將這一定律奉爲圭臬。

隨着AI技術的不斷髮展，越來越多的人開始對Scaling law提出質疑，一種主流的反對觀點是認爲這種訓練邏輯可能會推動大模型淪爲數據的奴僕，而離“人”越來越遠。

在此背景下，7月9日，紅杉資本的Pat Grady和Bill Coughran與微軟CTO（首席技術官）Kevin Scott開展了一場AI主題的對談，就微軟的AI戰略、與OpenAI的合作進度、大模型未來的發展方向等方面進行了探討。

觀看了訪談視頻，本文將Kevin Scott的精彩觀點整理如下：

1、微軟的AI策略是建立一個平臺、一個系統，而不是替代性技術。

2、過去20年裡，人工智能領域最重要的進步都與“規模”（尤其是數據規模、算力規模）有關，我們已經將投資重點放在了擴大規模上。

3、Scaling law定律仍適用於當前業態——在擴張大模型的同時，邊際效益並沒有遞減。

4、微軟看中OpenAI的潛力在於，隨着模型的擴展，OpenAI未來有望成爲構建一個平臺的基礎。

5、數據的質量比數據的數量更重要，它能爲人工智能訓練算法提供模版，爲未來的合作提供一個經濟框架。

6、獲取有價值的訓練數據進行訓練，然後對模型進行推理，圍繞着二者將出現兩種形態的商業模式，我們正在嘗試AI推薦與廣告相結合的商業模式。

7、下一代大模型即將問世，比之前更便宜、更強大。

以下是訪談的精華內容：