全網都在扒的DeepSeek團隊,是清北應屆生撐起一片天
DeepSeek-v3大模型橫空出世,以1/11算力訓練出超過Llama 3 405B的開源模型,震撼了整個AI圈。
緊接着,“雷軍開千萬年薪挖DeepSeek研究員羅福莉”的傳聞,也使得人們把目光聚焦向DeepSeek的人才
這下不只科技圈,全網都在好奇,連小紅書上都有人發帖詢問,這究竟是一怎樣的團隊?
國際上,也有人把創始人樑文鋒的訪談翻譯成英語,還加了註釋,試圖從中尋找這家公司崛起的蛛絲馬跡。
量子位整理各種資料發現,DeepSeek團隊最大的特點就是年輕
應屆生、在讀生,特別是來自清北的應屆生在其中非常活躍。
他們中的一些人,2024年一邊在DeepSeek搞研究,另一邊新鮮熱乎的博士學位論文剛評上獎。
他們中有的參與了從DeepSeek LLM v1到DeepSeek-v3的全程,有的只是實習了一段時間也做出重要成果。
爲DeepSeek提出MLA新型注意力、GRPO強化學習對齊算法等關鍵創新的,幾乎都是年輕人。
2024年5月發佈的DeepSeek-V2,是致使這家大模型公司破圈的關鍵一環。
其中最重要的創新是提出了一種新型注意力,在Transformer架構的基礎上,用MLA(Multi-head Latent Attention)替代了傳統的多頭注意力,大幅減少了計算量和推理顯存。
在一衆貢獻者中,高華佐曾旺丁爲MLA架構做出了關鍵創新。
高華佐非常低調,目前只知道是北大物理系畢業。
另外,在“大模型創業六小強”之一階躍星辰的專利信息中也可以看到這個名字,暫不確定是否是同一人。
而曾旺丁來自北郵,研究生導師是北郵人工智能與網絡搜索教研中心主任張洪剛。
DeepSeek-V2工作中還涉及到了另一項關鍵成果——GRPO
DeepSeek-V2發佈前三個月,DeepSeek-Math問世,其中提出了GRPO(Group Relative Policy Optimization)。
GRPO是PPO的一種變體RL算法,放棄了critic模型,而是從羣體得分中估算baseline,顯著減少了訓練資源的需求。
GRPO在圈內得到廣泛關注,另一家國內開源大模型阿里Qwen 2.5的技術報告中也透露用到了GRPO。
DeepSeekMath有三位核心作者是在DeepSeek實習期間完成的工作。
核心作者之一邵智宏是清華交互式人工智能(CoAI)課題組博士生,師從黃民烈教授。
他的研究領域包括自然語言處理、深度學習,特別對如何能構建一個穩健且可擴展的AI系統感興趣,這個AI系統能利用多樣化的技能整合異構信息,並能準確回答各種複雜的自然語言問題。
邵智宏之前還曾在微軟研究院工作過。
DeepSeekMath之後,他還參與了DeepSeek-Prover、DeepSeek-Coder-v2、DeepSeek-R1等項目。
另一位核心作者朱琪豪是北大計算機學院軟件研究所2024屆博士畢業生,受熊英飛副教授和張路教授指導,研究方向爲深度代碼學習。
據北大計算機學院官方介紹,朱琪豪曾發表CCF-A類論文16篇。在ASE和ESEC/FSE上分別獲得ACM SIGSOFT傑出論文獎一次,提名一次。一篇論文進入ESEC/FSE會議同年的引用前三名。
在DeepSeek團隊,朱琪豪還基於他的博士論文工作,主導開發了DeepSeek-Coder-V1。
其博士論文《語言定義感知的深度代碼學習技術及應用》也入選了2024CCF軟件工程專業委員會博士學位論文激勵計劃。
△圖源:北京大學計算機學院公衆號
還有一位核心作者同樣來自北大。
北大博士生Peiyi Wang,受北京大學計算語言學教育部重點實驗室穗志方教授指導。
除了DeepSeek-V2 MLA、DeepSeekMath GRPO這兩項關鍵破圈成果,值得一提的是,還有一些成員從v1就加入其中,一直到v3。
代表人物之一代達勱,2024年博士畢業於北京大學計算機學院計算語言所,導師同樣是穗志方教授。
△圖源:北京大學計算機學院公衆號
代達勱學術成果頗豐,曾獲EMNLP 2023最佳長論文獎、CCL 2021最佳中文論文獎,在各大頂會發表學術論文20篇+。
2024年中國中文信息學會“博士學位論文激勵計劃”共入選10篇來自中國大陸高校的博士畢業論文,其中就有他的《預訓練語言模型知識記憶的機理分析及能力增強關鍵技術研究》。
以及北大元培學院的王炳宣
王炳宣來自山東煙臺,2017年進入北大。
碩士畢業加入DeepSeek,參與了從DeepSeek LLM v1開始的一系列重要工作。
清華這邊的代表人物還有趙成鋼
趙成鋼此前是衡水中學信息學競賽班成員,CCF NOI2016銀牌得主。
之後趙成鋼進入清華,大二時成爲清華學生超算團隊正式成員,三次獲得世界大學生超算競賽冠軍。
趙成鋼在DeepSeek擔任訓練/推理基礎架構工程師,有英偉達實習經歷。
△圖源:清華新聞網
這些鮮活的個體,足以引發人們的讚歎。
但還不足以回答最初的問題,DeepSeek到底是一支怎樣的團隊?有怎樣的組織架構?
答案或許還要從創始人樑文鋒身上找。
早在2023年5月,DeepSeek剛剛宣佈下場做大模型,還沒發佈成果的時候,樑文鋒在接受36氪旗下「暗涌」採訪時透露過招人標準。
從後面一年多陸續發表的論文貢獻名單中也可以看出,確實如此,博士在讀、應屆以及畢業一兩年的成員佔很大一部分。
即使是團隊leader級別也偏年輕化,以畢業4-6年的爲主。
例如領導DeepSeek的後訓練團隊的吳俁,2019年北航博士畢業、在微軟MSRA參與過小冰和必應百科項目。
吳俁博士期間接受北航李舟軍教授和MSRA前副院長周明博士的聯合培養。
與他師出半個同門的是郭達雅,中山大學印鑑教授與MSRA周明博士聯合培養,2023年博士畢業。
2024年7月他加入DeepSeek,主要參與了一系列數學和代碼大模型的工作。
郭達雅上學期間還有一項事蹟,本科期間在MSRA實習一年裡發表兩篇頂會論文,他笑稱“在剛入學的第三天,就完成了中大博士生的畢業要求。”
除了團隊成員年輕化之外,DeepSeek在國內AI公司中突出的特點:非常重視模型算法和硬件工程的配合。
DeepSeek v3論文總共200位作者,並不都是負責AI算法或數據。
有這樣一批人從早期的DeepSeek LLM v1到v3一直都在參與,他們更多偏向算力的部分,負責優化硬件。
他們以DeepSeek AI的名義發表了論文《Fire-Flyer AI-HPC》,通過軟硬件協同設計降低訓練成本,解決傳統超算架構在AI訓練需求上的不足。
Fire-Flyer也就是幻方AI搭建的螢火2號萬卡集羣,使用英偉達A100 GPU,卻做到相比英偉達官方的DGX-A100服務器有成本和能耗的優勢。
這支團隊中有的人在英偉達工作或實習過,有的來自同在杭州的阿里雲,也有許多人從幻方AI借調又或乾脆轉崗到DeepSeek,參與了每一項大模型工作。
而如此重視軟硬件協同的成果,就是以Llama 3 405B的1/11算力,訓練出性能更高的DeepSeek-v3了。
最後,我們還發現DeepSeek開源項目中有一個特別的存在,不是語言模型相關工作,卻是3D生成相關。
這項成果由清華博士生孫景翔在DeepSeek實習期間,與導師劉燁斌以及DeepSeek成員合作完成。
像這樣實習生在DeepSeek做出重要成果的還有中山大學邏輯學專業的辛華劍
他在DeepSeek實習期間參與了用大模型證明數學定理的DeepSeek-Prover,現在在愛丁堡大學讀博士。
看過這些例子,再一次回到樑文鋒的訪談,或許更能理解這隻團隊的運作結構。
這難免讓人想起AI界另一家不可忽視的力量,沒錯就是OpenAI
同樣的用人不看經驗,本科生、輟學生只要有能力照樣招進來。
同樣的重用新人,應屆生與00後可以調動資源從無到有研究Sora。
同樣的面對潛力方向,整個公司從頂層開始設計佈局和資源推動。
DeepSeek,可能是組織形態上最像OpenAI的一家中國AI公司了。
[1]https://mp.weixin.qq.com/s/Cajwfve7f-z2Blk9lnD0hA[2]https://mp.weixin.qq.com/s/r9zZaEgqAa_lml_fOEZmjg[3]https://mp.weixin.qq.com/s/9AV6Qrm_1HAK1V3t1MZXOw[4]https://mp.weixin.qq.com/s/y4QwknL7e2Xcnk19LocR4A[5]https://mp.weixin.qq.com/s/C9sYYQc6e0EAPegLMd_LVQ