智源大會開幕，全球最大智能模型“悟道2.0”發佈
6月1日,由北京智源人工智能研究院(以下簡稱智源研究院)主辦的2021北京智源大會在北京中關村國家自主創新示範區會議中心成功開幕。
北京智源大會是智源研究院主辦的年度國際性人工智能高端學術交流活動,定位於“AI內行頂級盛會”,2019年舉辦了首屆大會,今年爲第三屆,6月1日至3日線上線下同步召開,超過3萬多名人工智能領域專業人士註冊參會。
大會開幕式上,北京市副市長靳偉、科學技術部戰略規劃司司長許倞出席並致辭。靳偉副市長在致辭中指出,近年來,北京市大力推動人工智能的加速發展,在前沿研究、人才發展、應用示範、資金支持等方面出臺了一系列有力舉措,加快建設首個國家新一代人工智能創新發展試驗區,持續推動智源研究院等新型研發機構發展。目前已擁有人工智能相關企業1500餘家,擁有人工智能學者超過四千人,產業人才超過四萬人,論文的發表和專利的申請量均居全國第一,形成了人工智能人才、成果、企業集聚的強磁場。
(北京市副市長靳偉)
靳偉副市長同時指出,當前,超大規模的預訓練模型成爲全球人工智能技術研發的熱點和競爭的焦點,有望引領未來五至十年的技術躍遷,並帶來全新的產業模式。爲了迎接“大模型+大算力”時代的到來,北京市支持智源研究院牽頭建設“超大規模人工智能模型訓練平臺”,打造“悟道”系列模型。希望國內外的廣大高校、科研機構和創新企業積極參與到大模型的研發和應用生態中,基於該平臺不斷產出具有國際領先水平的標誌性技術和應用成果。
科學技術部戰略規劃司司長許倞在致辭中指出,爲貫徹落實中央關於人工智能發展的部署要求,目前科學技術部正在加快推進新一代人工智能規劃有關任務落實,實施重大項目,支持北京等15個地方建設國家新一代人工智能創新發展試驗區,依託領軍企業建設自動駕駛、智能供應鏈、圖像感知等15個國家新一代人工智能開放創新平臺,加快人工智能在疫情防控中的廣泛應用,推動人工智能治理,發佈實施新一代人工智能治理原則,建設包括政策法規、倫理規範、技術標準等在內的人工智能治理體系。
(科學技術部戰略規劃司司長許倞)
許倞司長同時指出,當前科學技術部正在全力支持北京市建設國際科技創新中心,與北京市共同實施支持北京加快建設具有全球影響力的人工智能創新策源地行動計劃,希望北京市在加強原創性科技攻關、強化戰略科技力量、塑造良好創新生態、激發人才創新活力、推進開放合作等方面持續發力,加強能力和生態構建,構築人工智能等重點領域技術的優勢,在國際科技創新中心建設方面走出一條新路子。同時希望智源研究院加大超大規模智能模型的持續研發及產業生態建設,早日建成我國人工智能研發應用的重要基礎設施。
在大會開幕式上,智源研究院發佈了全球最大的超大規模智能模型“悟道2.0”。在爲期三天的會議中,智源研究院還將發佈支持AI創業的“源創計劃”,以及爲海內外青年AI科研人員提供學術交流平臺的“青源會”等工作計劃或建設成果。
200餘位AI頂尖專家,29個專題論壇,打造最綜合、最前沿的AI盛會
本次大會邀請到200餘位國內外人工智能領域的頂尖專家參會,包括2018年圖靈獎得主Yoshua Bengio(約書亞·本吉奧),2017年圖靈獎得主David Patterson(大衛·帕特森),2017年歐洲大腦獎得主Peter Dayan(彼得·達揚),清華大學國家金融研究院院長朱民博士,北京大學鄂維南院士,加州大學伯克利分校人工智能統計中心創始人Stuart Russell(斯圖爾特·羅素),自動駕駛之父Sebastian Thrun(塞巴斯蒂安·特龍),計算可持續性領域開創者Carla Gomes(卡拉·戈梅斯),艾倫人工智能研究所(AI2)首席執行官Oren Etzioni(歐倫·艾佐奧尼),微軟亞洲研究院副院長劉鐵巖,清華智能產業研究院首席科學家馬維英等。參會專家將圍繞人工智能領域的前沿研究進展及趨勢開展深入研討。
(2018年圖靈獎得主Yoshua Bengio)
大會圍繞國際人工智能學術前沿和產業熱點設置了“預訓練模型”“機器學習”“羣體智能”“人工智能的數理基礎”“智能體系架構與芯片”“精準智能”“智能信息檢索與挖掘”“青源學術年會”“AI創業”“AI製藥”“AI系統”“AI開放與共享”“AI科技女性”等29個專題論壇。議題範圍非常豐富,從AI基礎研究、跨界融合到產業應用,給學者、工程師、技術人員提供了一個交換和活躍想法的平臺。
在6月1日的開幕式上,圖靈獎得主Yoshua Bengio、清華大學國家金融研究院院長朱民博士,北京大學鄂維南院士分別圍繞邏輯分析系統System2、數據資產、科學與智能做主旨報告。
(清華大學國家金融研究院院長朱民博士)
(北京大學鄂維南院士)
發佈全球最大的超大規模智能模型“悟道2.0”,打造我國人工智能戰略基礎設施
構建自主技術創新體系,打造大模型時代的智力源
開幕式上,智源研究院理事長張宏江介紹了“悟道”模型研發的背景。他認爲,目前,“大模型+大算力”是邁向通用人工智能的一條可行路徑。大模型對於人工智能發展具有重大意義,未來將基於大模型形成類似電網的變革性AI產業基礎設施。AI大模型相當於“發電廠”,將數據,也就是“燃料”,轉換爲智能能力,驅動各種AI應用。如果將大模型和所有的AI應用相連接,爲用戶提供統一的智能能力,全社會將形成一個智能能力生產和使用的網絡,即“智網”。大模型就是下一個AI的基礎平臺,是未來AI發展的戰略基礎設施。
(智源研究院理事會張宏江)
目前,國際主流的大模型主要基於英文語料研發,智源研究院作爲AI基礎建設的先行者,成立了由智源研究院學術副院長唐傑教授領銜,100多位科研骨幹共同參與的“悟道”團隊,啓動面向中文的大規模智能模型研發工作。“悟道”模型系統將構建“大模型、大平臺、大生態”,持續研發超大規模智能模型,圍繞大模型研發,構建大規模算力平臺,同時對外開放模型能力,“賦智”各行業發展,構建大模型生態。今年3月20日,智源研究院發佈了中國首個超大規模智能模型“悟道1.0”,訓練出中文、多模態、認知、蛋白質預測等系列模型。經過不到3個月的持續更新迭代,“悟道2.0”實現了更高層面的跨越。
開幕式上,智源研究院學術副院長唐傑教授介紹了“悟道2.0”模型的具體情況。他提到,“悟道”超大模型智能模型旨在打造數據和知識雙輪驅動的認知智能,讓機器能夠像人一樣思考,實現超越圖靈測試的機器認知能力。“悟道”團隊在大規模預訓練模型研發上做了很多基礎性工作,形成了自主的超大規模智能模型技術創新體系,擁有從預訓練理論技術到預訓練工具,再到預訓練模型構建和最終模型測評的完整鏈條,從技術上是完整成熟的。通過一系列原始創新和技術突破,本次發佈的“悟道2.0”實現了“大而聰明”,具備大規模、高精度、高效率的特點。
(智源研究院學術副院長唐傑)
全球最大萬億參數,新一代FastMoE補齊萬億模型最後一塊短板
“悟道2.0”模型的參數規模達到1.75萬億,是GPT-3的10倍,打破了之前由Google Switch Transformer預訓練模型創造的1.6萬億參數記錄,是目前中國首個、全球最大的萬億級模型。
開創性的研發FastMoE技術,是打破國外技術瓶頸,實現“萬億模型”基石的關鍵。以往,由於Google萬億模型的核⼼技術MoE(Mixture of Experts)與其分佈式訓練框架和其定製硬件強綁定,絕大多數人無法得到使用與研究的機會。“悟道”團隊研究並開源的FastMoE是首個支持PyTorch框架的MoE系統,具有簡單易用、靈活、高性能等特點,並且支持大規模並行訓練。新一代FastMoE,支持Switch、GShard等複雜均衡策略,支持不同專家不同模型,爲萬億模型實現方案補上了最後⼀塊短板,讓夢想終成現實。
“悟道2.0”模型在中英雙語共4.9T的高質量大規模清洗數據上進行的訓練。訓練數據包含WuDaoCorpora中的1.2TB中文文本數據、2.5TB中文圖文數據,以及Pile數據集的1.2TB英文文本數據。
另外,“悟道2.0”模型一統文本與視覺兩大陣地,支撐更多任務,更加通用化。
9項頂尖智能能力,創新性的通用精準智能
“悟道2.0”在世界公認的9項Benchmark基準測試任務上取得了領先能力水平,達到了精準智能。
1. ImageNet zero-shot SOTA超過OpenAI CLIP;
2. LAMA知識探測:超過AutoPrompt;
3. LAMABADA完形填空:能力超過微軟Turing NLG;
4. SuperGLUE few-shot FewGLUE:超越GPT-3,取得當前最佳少樣本學習結果;
5. UC Merced Land-Use zero-shot SOTA,超過OpenAI CLIP;
6. MS COCO文生成圖:超越OpenAI的DALL·E;
7. MS COCO英文圖文檢索:超過 OpenAI CLIP和 Google ALIGN;
8. MS COCO多語言圖文檢索:超過目前最好的多語言多模態預訓練模型UC2,M3P;
9.Multi 30K多語言圖文檢索:超過目前最好的多語言多模態預訓練模型UC2,M3P。
“悟道2.0”的高精度來自於一系列核心技術創新。例如:
GLM2.0:是模型架構創新的典範,更通用的預訓練模型。此前,它首次打破BERT和GPT壁壘,開創性地以單一模型兼容所有主流架構,新一代版本更是以少勝多的高性能人工智能典範,以100億參數量,足以匹敵微軟170億參數的Turing-NLG模型,取得多項任務的更優成績。
P-tuning2.0算法:極大拉近少樣本學習和全監督學習的差距,少樣本學習能力遙遙領先。
CogView:文本生成圖像的新框架,克服“上下溢收斂”文圖模型關鍵難題,將VQ-VAE和Transformer進行結合,表現SOTA(當前算法性能最優的模型)!在MS COCO FID指標上性能優於DALL·E等模型。模型可直接實現類似OpenAI CLIP模型的自評分功能,生成國畫、油畫、卡通畫、輪廓畫等多元畫風。
目前,“悟道”模型的多項應用,在詩詞創作、做對聯、文本摘要、人設問答、繪畫等方面,都已接近突破圖靈測試,與人類一較高下!
高效易用,全鏈路的效率提升,增強大規模智能模型產業普遍性
大規模預訓練模型的參數規模通常遠超傳統的專用人工智能模型,在算力資源、訓練時間等方面消耗巨大。爲了提升大規模預訓練模型的產業普遍性和易用性,悟道團隊搭建高效預訓練框架,在高效編碼、高效模型、高效訓練、高效微調和高效推理等方面進行全鏈路的原創突破或迭代優化,實現效率的大幅提升。
高效編碼:研發了最高效、最抗噪的中文預訓練語言模型編碼,解決生僻字等問題;
高效模型:構建了世界首個純非歐空間模型,只需要一半的參數量即可達到近似歐式模型的效果;
高效訓練:世界首創大規模預訓練模型融合框架,形成高效訓練新模式,訓練時間縮短27.3%,速度提升37.5%;
高效微調:世界首創多類別Prompt微調,只需訓練0.001%參數即可實現下游任務適配;
高效推理:世界首創低資源大模型推理系統,單機單卡GPU即可以進行千億參數規模的模型推理。
行業貢獻,建設全球最大的語料數據庫WuDaoCorpora2.0,提出自然語言評測新標準“智源指數”
“悟道”模型研發過程中,智源研究院建設了全球最大的語料數據庫WuDaoCorpora2.0,包含全球最大的中文文本數據集、全球最大的多模態數據集、全球最大的對話數據集,爲行業內大規模智能模型的研發提供了豐富的數據支撐。
另外,智源研究院提出“智源指數”,構建以人類語言能力爲參照、全面系統的針對機器語言能力進行評測的體系。“智源指數”首次提出了基於“能力-任務-數據集”層次結構的機器語言評測體系及評測方案,包含6種主要語言能力,30餘項主流任務與相關數據集,同時也是首次基於信度、難度、效度等指標進行評價的高質量評測數據集合,形成了大模型“權威考卷。
“悟道”模型生態合作機構簽約,基於超大規模智能模型的產業生態建設加速
智源研究院推動開展“悟道”超大規模智能模型產業生態建設,將面向個人開發者、中小創新企業、行業應用企業、IT領軍企業等不同主體,分別提供模型開源、API調用、“專業版”大模型開發、大模型開發許可授權等多種形態的模型能力服務,賦能AI技術研發。
本次大會開幕式上,智源研究院與新華社、美團、小米、快手、搜狗、360、寒武紀、第四範式、好未來、智譜華章等22家“悟道”大模型產業生態戰略合作企業進行了簽約,簽約企業涵蓋行業應用企業、IT龍頭企業、中小創新企業等。同時發出組建“悟道”大模型技術創新生態聯盟的倡議,吸引更多企業加入,將以聯盟爲樞紐,以企業需求爲導向推動模型研發,共同開發基於“悟道”大模型的智能應用,以模型研發和應用促進產業集聚。
另外,智源研究院還啓動了“悟道之巔”模型應用大賽,鼓勵各類創新機構及技術人員基於“悟道”大模型開發新穎實用的智能應用,賦智更行業發展,同時不斷髮掘和培育基於超大規模智能模型的創新企業,推動本市人工智能產業可持續發展。
推動發展最優AI生態,支撐北京加快建設具有全球影響力的人工智能創新策源地
開幕式上,智源研究院院長黃鐵軍教授從創新研究、學術生態、產業發展與AI治理四個方面介紹了智源研究院的工作規劃和建設進展。
(智源研究院院長黃鐵軍)
創新研究:三大智能模型+一個智算平臺
據黃院長介紹,智源研究院已經確定將打造智能模型作爲源頭創新的核心任務,在組織架構、資源保障和機制體制上進行了系統部署,全力構建信息模型、生命模型和物理模型“智能三劍客”。
首先是“悟道”信息模型,數據是智能的素材,通過“大數據+大算力+強算法”,訓練超大規模信息模型,爲各行各業智能化提供切實可用的共性基礎智能模型,是當前及未來一段時間人工智能全面賦智經濟社會發展的中心任務。然後是“天演”生命模型:生命是智能的第一載體,模擬仿真億萬年進化而成的生物神經系統和身體,構建生命智能模型,挖掘生物智能機制機理,是發展新一代人工智能的不竭源泉。最後是“天道”物理模型:自然是生命的搖籃,地球是人類的搖籃,構建地球環境物理模型,是實現類人智能和人機共處共融的必要條件。建立宇宙物理模型,推動智能走出地球、穿越時空。
構建信息模型、物理模型和生命模型,共同需求是算力。目前北京市已支持建設超大規模智算平臺,構建體系架構先進、高速互聯互通、可擴展高效並行的軟硬件系統。
學術生態:持續實施“智源學者計劃”,成立面向海內外AI青年科研人員開展學術交流的“青源會”
“智源學者計劃”自2019年4月開始實施,目標是遴選最優秀的科學家,勇闖人工智能科技前沿“無人區”,挑戰最基礎的問題和最關鍵的難題。截至目前,已在人工智能的數理基礎、人工智能的認知神經基礎、機器學習、自然語言處理、智能信息檢索與挖掘、智能系統架構與芯片等六大研究方向,遴選智源學者94人,分別來自北大、清華、中科院等高校院所與曠視、京東等優勢企業。
智源研究院持續推動智源社區建設,着力構建人工智能學者社交網絡。今年智源社區將緊密聯繫3000名以上的人工智能頂尖學者,輻射10萬以上人工智能科研和技術人員。
特別面向青年科研人員,智源研究院今年成立了AI青年科學家學術組織“青源會”,爲海內外的AI青年科學家和技術人員建立的寬鬆、活躍的學術交流平臺,促進學科交叉,支持青年科學家提出具有引領作用的原創思想,開創新的科學前沿,建立活躍的人工智能學術和技術創新生態。
產業發展:發力智能醫療,實施“源創計劃”支持AI創業
智源研究院加快推進人工智能深度應用,孵化AI創新企業,推動人工智能產業發展。當前,健康醫療已成爲人工智能最熱門的研究和應用領域之一,北京在發展智能醫療方面,有着得天獨厚的優勢。爲推進AI原創成果在醫療行業落地,智源研究院成立了“健康醫療研究中心”,構建醫療大數據和高質量小數據等基礎數據,支持智能醫療核心技術突破,加快人工智能在健康醫療領域的深度應用。智源研究院與清華智能產業研究院(AIR)開展深度合作,推動以“個人”爲核心的、AI驅動的主動健康管理。
爲推動AI原創成果轉化落地,智源研究院去年啓動建設了創新中心,加速AI原創成果熟化及工程化,目前已建立了智能信息處理、認知知識圖譜、安全人工智能等多個創新中心。今年,智源研究院按照國家和北京市促進科技成果轉化的最新部署,積極整合技術、場景、人才、資金等資源,推出支持AI創業的“源創計劃”,爲AI創業團隊開放大模型、數據集等生態資源,爲來自學術界的AI科學家創業團隊對接應用場景,爲來自產業界的創業團隊對接業界領先的AI技術,加快形成可落地應用的AI產品。另外,還將通過設立創業基金等方式,加快孵化一批具有國際領先技術能力的AI創新企業,爲北京AI產業的持續發展儲備力量。
AI治理:推動北京共識落地,推進面向可持續發展的人工智能
當前,AI倫理和治理成全球共識,國際社會正探索建立廣泛認可的AI倫理原則,推進敏捷靈活的AI治理。智源研究院在2019年成立人工智能倫理與可持續發展研究中心,率先在國內開展AI倫理安全研究,並積極參與國際AI治理。AI倫理規範方面,2019年5月,發佈了我國首個AI發展與治理準則——《人工智能北京共識》。去年9月,又發佈了我國首個《面向兒童的人工智能北京共識》。另外,智源研究院建設了我國首個“人工智能治理公共服務平臺”,針對人工智能技術研發及應用中存在的潛在倫理問題提供檢測服務,幫助AI研發機構研發更符合AI倫理規範的技術和產品。
聯合國在2015年正式通過了可持續發展目標,共17大項,涉及社會、經濟和環境三方面的發展問題。爲推動AI技術服務於可持續發展目標的實現,智源研究院發起成立了“面向可持續發展的人工智能國際協作網絡與智庫”,目前已匯聚了來自15個國家的專家學者。同時,智源研究院也聯合百度、小米、曠視、滴滴等企業發起了“面向可持續發展的公益計劃”,目前已圍繞城市治理、自動駕駛、勞動者就業影響、青少年心理影響等方面發佈了首批4個研究題目,並已啓動研究工作。後續,完成後的研究成果將會面向全球公開,服務於人類命運共同體的構建與實現。