《半導體》聯發科推一把 全球首款繁中AI語言生成模型開源釋出

聯發創新基地負責人許大山博士表示，大型語言模型是近年來人工智慧技術進步的亮點，更是未來進步不可或缺的基石。聯發科向來重視創新及科技發展，此次結合中研院及國教院，成爲臺灣極少數能訓練大型語言模型的團隊，以透明、開放和包容的方式，善用技術、人才及資源，既發展自主訓練大型人工智慧模型的能力，也讓繁體中文的大型語言模型研究及應用更爲普及。

開放原始碼釋出的大型語言模型，目前多數仍以英文爲主要優化的對象，繁體中文的語言模型相對不足。爲此中央研究院詞庫小組在2019年開發並公開BERT和GPT-2的繁體中文優化版本，但是因爲資料量的差距，這些模型與主流的大型語言模型差距越來越大。有鑑於開放原始碼繁體中文大型語言模型的重要性與迫切性，在2022年5月，聯發創新基地、中央研究院和國家教育研究院展開合作計劃，使用大型語言模型BLOOM的繁體中文模型再訓練與優化。

爲了建立該項語言模型，國家教育研究院提供了大量高品質的繁體中文語料，作爲主要的訓練材料。聯發創新基地則建置了訓練的硬體環境，制訂各種符合國際標準的繁體中文評量指標，收集更近期的語料，並對模型進行能更有效讀懂使用者的指示(prompt)的特別訓練。中央研究院詞庫小組則針對模型生成的文字是否具有偏見或敵意等不合適的內容，進行自動偵測與改正的研究與評估。評估結果表明，這套由三方提供的一系列繁體中文語言模型，均達到開源模型前所未有的效果，較能避免具有偏見或敵意的內容。

大型語言模型近來的蓬勃發展，源自於2019年Google推出的BERT語言模型，以及同年OpenAI開始推出的一系列GPT語言模型。這些大型語言模型已經被證實具備相當的知識與能力，即使在少量訓練資料，甚至無訓練資料之下也依然能夠對新任務產生正確結果，已成爲人工智慧往前進化不可或缺的基礎。