戴文淵：不盲從不跟風，求索“第四範式”之路

（原標題：戴文淵：不盲從不跟風，求索“第四範式”之路）

端午節前,上海交大一位畢業生回母校,分享自己畢業至今求索真理的旅途。

這位交大畢業生叫戴文淵,當年在上海交大ACM班求學,並獲得了ACM世界冠軍,現在是港股上市公司第四範式的創始人兼CEO(ACM班:上海交大2002年創辦的計算機科學班,旨在培養頂尖計算機科學家)。

從“ACM世界冠軍”到“人工智能從業者”再到“百億市值上市公司企業家“,戴文淵這一路經歷了對自我迭代、科技求索、創業破繭的歷程。他在母校給學弟學妹說:人生沒有既定的路,每個人都是獨特的,交大教會了他獨立思考,所以他也希望年輕的學弟學妹,可以堅持自我,走出自己“非比尋常“的路。

“

ACM班帶給我最寶貴的,不是書本上的知識,而是一種“不走尋常路”的精神。

要儘可能找到問題的本源和底層邏輯,不盲從權威,不盲目跟風,遵循底層科學理論。

第四範式理論讓我意識到,利用人工智能發現各行業規律,幫助行業創造價值,是立即可行的。

”

以下爲演講內容,在不改變大意的情況下,進行了刪減和總結:

成就“不走尋常路”的我,開啓AI求索之旅

我是2002年來到上海交大,也是第一屆ACM班學生,讓我記憶猶新的是,ACM班成立的初衷和目標是培養世界上最優秀的計算機科學家。當時的我將信將疑,那個時候不要說培養出最優秀科學家,國內連最優秀計算機科學家寫的論文都很難看到。

學了一段時間後,我發現ACM班並不是照本宣科,而是跳脫出固有的教育模式,更爲重要的是給予了我們做最優秀科學家的信心。有一次,被譽爲“深藍計算機之父”的許峰雄博士來交大演講,這顛覆了我對於“深藍計算機一定出自美國人之手”的固有認知。

同時,ACM班更爲開放、先進的教育理念更是堅定了我們“做世界最好”的信心,它把我們送到了全世界最頂級研究機構、企業,而非從始至終在學校實驗室中做科研,也因此培養了一批能在頂級學術會議、期刊上發出最好論文的學生。這也是我人工智能的啓蒙過程。

可以看出,ACM班帶給我最寶貴的,不是書本上的知識,而是一種“不走尋常路”的精神。正是這種刻在骨子裡的精神,造就了現在的我,也是促使我成爲更好自己的“源動力”。

我記得當時人工智能教科書的開篇都會講到一個理論:奧卡姆剃刀原理。核心是講模型要做簡單,比如神經網絡不能超過三層,決策樹不能超過五層、迴歸模型參數不能超過一千個等等,這顯然跟現在的主流技術思路相悖。

本着嚴謹的科學態度,我翻閱了很多資料,找到了得出奧卡姆剃刀原理的底層科學理論——Valiant引理,簡單來說,就是模型參數量/複雜度要和數據量相匹配。所以奧卡姆剃刀原理的侷限在於當時的數據量不足以做出大參數量模型。

然而,因爲奧卡姆剃刀原理出現在了課本上,成爲了越來越多人的“固有定理”,從而忽略了底層的科學理論,直到深度學習的出現,大家才意識到奧卡姆剃刀原理的侷限性。

即使是流行的熱點理論也有其侷限性。比如近期大家熱議的Scaling Law,揭示了模型參數量和模型精度呈現指數級的關係。而根據統計學理論,二者應是線性關係。造成不同結論的原因在於現實中的數據不是均勻分佈的, 如果按照正態分佈區採集數據,每當要獲得一個線性的效果提升,都要付出數據指數級提升的代價;如果能夠更加均勻的採集數據,則有機會付出較小的代價實現模型效果提升。

時至今日,我們仍然被網上各種繁雜的信息所籠蓋,作爲AI從業者的我,仍舊保持着上學時對於AI求索的初心,要儘可能找到問題的本源和底層邏輯,不盲從權威,不盲目跟風,遵循底層科學理論。

“第四範式”理論讓我找到了畢生求索之燈塔

早期做人工智能時,我也陷入過迷茫,人工智能到底能做什麼?我曾經看過一個電影叫《人工智能》,講述了一個小男孩最終發現自己是人工智能的故事。當我看完這部電影時,我問自己:人工智能什麼時候才能達到這樣的水平?難道人工智能的作用就是製造一個類人智能體嗎?

直至2007年,我遇見了讓我重拾信心,且堅定將人工智能作爲終身事業的“第四範式理論”,亦是我從交大畢業至今,所做事情的核心方法論。

這個理論由圖靈獎獲得者Jim Gray在2007年《科學發展的四個範式》的演講中提出,其將科學發展總結爲四個階段。

第一範式階段,實驗科學,人類記錄實驗現象,如鑽木取火、摩擦起電等。

第二範式階段,理論科學,人類開始總結理論,詮釋自然現象,如牛頓運動定律等。

第三範式階段,計算科學,人類通過計算機推演理論,模擬現象,如早期的氣象預報等。

第四範式階段,數據科學,隨着數據爆發式增長以及技術演進,科學理論由計算機從海量數據中發現。

“第四範式”徹底顛覆了“找規律”的方式,此前受限於人精力、記憶力的侷限,以及數據的匱乏,所以得出的理論模型都較爲簡單。或者說,以往的定律、原理也許都是侷限下的產物。若將“牛頓三大定律”讓計算機去找,在數據足夠多的情況下,完全可以總結三千萬條甚至更多的規律,覆蓋低速、高速等不同的速度區間。Valiant引理也得到了印證。

我意識到,我的目標不是做出那個《人工智能》電影中遙不可及的智能體,而是利用“第四範式”的方法發現各行各業的規律,幫助行業創造價值,是立即可行的。

與此同時,“第四範式”也堅定了我“將模型做大”,反“奧卡姆剃刀原理”而行之的決心。如今,我們身處於數據爆發的時代,例如搜索引擎每天超過十億次請求,我們對它總結規律,完全可以把模型參數做到千億級。在使用了這個方法後,模型效果遠遠好於傳統方法。以至於當我們想要進一步擴大模型參數時,學術界的數據集已經不夠用了,促使着我們要去工業界找數據去實現更好的效果。

爲了能儘快看到人工智能在各行各業創造出價值,我於2014年創辦了名爲第四範式的公司,就是希望把“將模型做大”的核心方法論讓更多的人認知,並最終應用到各行各業。別人會經常問我第四範式是一傢什麼樣的公司,我說第四範式是一家幫助其他企業實現第四範式的公司。這十年間,我們將“第四範式”核心方法論推廣到了22個行業,1066個企業,完成了將近兩萬個行業大模型的構建。

然而,我也深知,我們做的還遠遠不夠,希望未來能夠通過我們的努力,真正將“第四範式”應用到這個時代,加速AI for Everyone時代到來。