14歲讀大學,26歲當博導,清華大學科研女神,芯片研究再獲突破,登上Science!

今日,清華大學戴瓊海院士、方璐副教授課題組探索出一種分佈式衍射干涉混合光子計算架構——光子芯片太極,以有效地將ONN的規模提高到百萬神經元水平。

方璐

方璐,清華大學副教授、博士生導師;2003年,她以優異的成績考入國內頂尖學府中國科技大學(14歲);2007年—2011年她獲得香港科技大學電子與計算機工程學系博士學位;2012年,她先後在香港科技大學和新加坡科技與設計大學進行博士後的研究工作。此期間,還曾在美國西北大學,做了半年的訪問學者;2012年11月被母校中國科學技術大學聘爲電子工程與信息科學系副教授、博士生導師,後去清華任職。相關工作發表在Nature及子刊, IEEE TPAMI, Engineering,中國科學等期刊,和CVPR, ICCV和ICCP等會議。獲中國電子學會科技進步一等獎、MIT TR 35中國區科技創新青年、2021達摩院青橙獎。任IEEE TIP和IEEE TMM期刊編委。

戴瓊海

戴瓊海院士,清華大學自動化系教授,清華大學生命科學學院兼職教授,中國工程院院士。長期致力於立體視覺和計算攝像理論、關鍵技術研究與人才培養,主持承擔了國家科技部重大基礎研究973項目和國家基金委重大儀器項目,在立體視覺、三維重建和計算攝像儀器等方面做了基礎性和開拓性工作,獲國家技術發明一等獎、國家技術發明二等獎和國家科技進步二等獎各一項。培養研究生及博士後近百名,出版專著3部,發表論文百餘篇,授權發明專利76件

去年10月份,清華大學吳嘉敏助理教授、喬飛教授、方璐教授和戴瓊海院士提出了一種結合電子和光計算的全模擬芯片(ACCEL)。相關研究成果以題爲“All-analog photoelectronic chip for high-speed vision tasks”發表在《Nature》上。

今日,戴瓊海院士、方璐副教授成果再次發表在《Science》上,下面,就讓小編帶大家一起觀摩一下大佬的研究成果。

光子芯片太極問世

隨着人工通用智能(AGI)的快速進展,對高性能計算的需求不斷增長,特別是在處理複雜多模態信息時。但在摩爾定律的限制下,使用傳統電子設備(如GPU)進行高級AI模型計算的能效正變得不可持續。因此,尋找計算能力與能效之間的平衡成爲了一個長期目標。光子計算因其高速低耗特性而受到關注,儘管集成光子技術在推動智能任務執行方面顯示出潛力,但其在實際AGI任務中的應用仍受到固有錯誤限制,以至於只能實現簡單任務和淺層模型。

爲了支持現代AGI,清華大學自動化系戴瓊海院士、方璐副教授合作設計了光子芯片太極(Taichi)——基於集成衍射-干涉混合設計和通用分佈式計算架構的大規模光子芯片組,具有百萬級神經元能力和每瓦特160-太赫茲操作(TOPS/W)的能效。Taichi在實驗中實現了芯片上1000類別級別的分類(在1623類別的Omniglot數據集中測試準確率爲91.89%)和高保真人工智能生成內容,效率提高了兩個數量級。Taichi爲大規模光子計算和高級任務鋪平了道路,進一步開發了光子學對現代AGI的靈活性和潛力。相關成果以“Large-scale photonic chiplet Taichi empowers 160-TOPS/W artificial general intelligence”爲題發表在《Science》上,第一作者爲Zhihao Xu,Tiankuang Zhou爲共同一作。

Taichi:具有分佈式計算架構的大規模光子小芯片

Taichi引入了一種基於衍射-干涉混合光子芯片的分佈式計算架構,通過將計算資源分佈到獨立集羣併合成子任務來處理複雜任務。其光學計算架構能夠以更少的層數實現變換,設計爲淺層寬闊,以可持續高效方式擴大計算能力。Taichi芯片通過衍射單元處理大規模數據,使用MZI陣列進行可調特徵嵌入,利用光學衍射和干涉的強變形能力。通過全球編碼器和解碼器的衍射權重訓練,實現了對高維數據的有效壓縮和信息保留,爲不同數據集的AI任務提供支持。

圖 1.Taichi:採用分佈式計算架構的大規模光子芯片,用於百萬神經元片上網絡模型

Taichi的構建塊和詳細結構

Taichi芯片組採用三部分佈局:輸入衍射編碼器(DE)、干涉特徵嵌入(IE)和輸出衍射解碼器(DD),分別負責信息壓縮、矩陣乘法和信息解碼。通過這一結構,Taichi能夠以分佈式方式處理複雜任務,將大任務分解爲多個小子任務。通過不同的分佈式子網,Taichi網絡實現了任務的分配和結果的合成,提高了準確率和系統的魯棒性。此外,Taichi採用非線性計算簡化網絡內部計算負擔,使得獨立訓練小網絡變得更簡單。一個特製的芯片上路徑合成模塊用於綜合不同路徑的輸出,以提高分類的準確性。

圖 2. 構建 Taichi 的示意圖

用於 1000 類分類的片上光子計算

作者開發了由多個獨立路徑組成的可擴展Taichi系統,適用於通用分類任務。以CIFAR-10爲例,至少需要四個路徑進行10類別分類。通過採用二進制決策和基於最小歐幾里得距離的最終決策,Taichi能夠高效處理分類任務。實驗證明,通過增加路徑數,即使在物理網絡深度有限的情況下,也能顯著提高準確率。通過對比實驗,作者發現在保持參數總量相同的情況下,多路徑網絡的準確率優於傳統單路徑網絡。在進一步的擴展中,通過增加更多路徑處理更高級的任務,Taichi展現了在數值計算和實際測試中的高準確率,證明了其在處理複雜分類任務中的潛力和效能。

圖 3. 用於 1000 類分類的大規模光子小芯片

用於生成多功能內容的片上光子計算

Taichi可用於多模態的內容生成,如音樂和圖像,克服了現有光子網絡在規模和輸出限制方面的挑戰。音樂生成通過視每個音符生成爲分類問題,結合MCMC方法優化風格,成功模擬了巴赫風格的音樂。圖像生成方面,Taichi通過不同尺度的紋理生成實現了風格化圖像,並通過預訓練的VGG-16網絡驗證了風格分類結果。此外,通過字體風格轉換實驗,Taichi證明了其在模仿藝術風格及提取圖像中高級語義信息方面的能力。

圖 4. 用於生成多種內容的大規模光子小芯片

小結

本文設計了Taichi——一個靈活的大規模光子AI芯片,通過並行光子連接提高計算效率。未來,利用直接激光寫入和相變材料,實現權重的可重配置,增強系統靈活性。此外,通過技術整合,提升系統集成水平。Taichi的分佈式計算架構也可用於擴展現有光子集成電路的能力。Taichi展示了光子計算在處理複雜任務中的潛力,有望推動光學計算解決方案的發展,支持AGI的新進展。

來源:高分子科學前沿

聲明:僅代表作者個人觀點,作者水平有限,如有不科學之處,請在下方留言指正!