傅盛:數據纔是大模型行業的競爭壁壘
2024年,全球MoE(混合專家)大模型數量呈爆發增長態勢,已成爲大模型領域的主流架構之一。“大模型行業競爭,真正的競爭壁壘在於數據。”獵豹移動董事長兼CEO、獵戶星空董事長傅盛日前接受記者採訪時說道,不是說芯片、算法不重要,而是大模型廠商在芯片和算法方面這兩方面很難做出差異化,而獲得高質量數據,對於大模型的規模化落地應用至關重要。當日,獵戶星空發佈了自主研發的Orion-MoE8×7B大模型(MoE指混合專家模型),並與聚雲科技推出了基於該大模型的數據服務產品——AI數據寶AirDS,提供包括數據清洗與數據標註在內的服務。
混合專家(Mixture of Experts,簡稱MoE)是一種集成學習方法,它通過將多個專業化的子模型即“專家”組合起來,形成一個整體模型,每一個“專家”都在其擅長的領域內做出貢獻。每個專家模型可以專注於解決特定的子問題,而整體模型則能夠在複雜的任務中獲得更好的性能。獵戶星空首席科學家韓堃解釋,從大模型技術發展來看,相比稠密模型的“通才”、一羣“專家”的MoE能更高效專業地完成企業複雜任務,而且在不顯著增加計算成本的前提下大幅增加模型容量。
傅盛提出,大模型如果持續使用質量不高的數據,會導致“幻覺”越來越重。當下,產業鏈裡決定大模型基礎能力的核心是標註後的數據,當下行業的重點在於如何將高質量數據找出來,與應用實現高度結合。據瞭解,此次推出的AI數據寶AirDS提供的大模型數據服務涵蓋數據收集、清洗、標註、提示詞工程以及評估等環節,已經服務包括移動通信終端、互聯網娛樂、新能源汽車等多領域的中國出海品牌。“我們本質不是靠模型掙錢,也不是靠模型的接口調用掙錢,而是希望幫助客戶做好應用、實現他的某一個需求,通過應用去賺錢。”傅盛說。
來源:北京日報客戶端
記者:孫奇茹