京東技術負責人：大模型會越做越小，甚至可細化到場景

“通用大模型靠算力堆起來，而企業大模型要靠業務跑出來。”

7月30日，在上海舉行的京東雲峰會上，京東集團技術委員會主席、京東雲事業部總裁曹鵬發表上述觀點。按照他的理解，對大模型而言，數據是養料，場景是練兵場。

過去一年大模型持續狂熱，行業經歷了“千模大戰”。據中國信通院統計，目前全球的基礎大模型有1000多個，中國大模型的數量佔全球的35%。

雖然基礎模型性能在不斷提升，但在個人用戶端，大模型尚未出現真正意義上的超級應用，反而是在很多企業端場景中，已經基於應用逐步鋪開。

峰會現場，京東雲展示了京東言犀大模型落地行業的最新實踐，併發布京東雲企業大模型服務、言犀智能體平臺、智能編程助手JoyCoder、言犀數字人3.0等八項產品。

據京東提供的數據，截至目前，京東大模型落地超百個場景，覆蓋醫療健康、電商直播、物流、金融等不同行業領域，已有衆多包括京東自有配送員、商家、醫生、採銷運營及研發人員得到了大模型應用的支持。

比如服務於醫療場景的“京醫千詢”，據京東健康智能算法部負責人介紹，目前內部做了四個不同體量的模型，一個是2b左右的微小模型，在窄域提供某個單一服務，團隊設想其“未來甚至可以放到手機上”使用；二是以14b、22b爲核心的中型體量模型，完成一些醫療諮詢和服務支持類工作；最後是以80b爲核心，專門服務複雜醫療決策和推理能力的大模型。

上述模型支持私有化部署，甚至是一體化部署，這與行業特性有關，“醫療行業很難接受完全純雲端的模式，很少有醫院能接受這種突破。”上述負責人說。

據其介紹，京醫千詢在實際醫院落地場景中，會更多關注合規情況下獨立完成患者服務，涵蓋分診、預問診、掛號、預約、診中的陪診、診後健康管理等。

“GPT出來的第一天，所有人想到的都是這一代自然的對話能力和所謂的擬人化的能力。從這個角度來看，它能否更好地成爲醫生助手就比成爲一個醫生的診斷工具更具有落地價值。”上述負責人強調。

而在美妝場景上，不同於以往純直播，京東內部目前在嘗試將數字人試妝和數字人主播結合；鞋服場景方面，將呈現前面是數字人直播、後面是主播換裝的場景，基於特定品類屬性的直播風格都會遷移到數字人上。

談及大模型的發展趨勢，多位京東技術負責人均表示，大模型會越做越小，垂域大模型是比較確定的方向，甚至可以更細化到場景大模型。其內在邏輯是因爲大模型要向場景、行業做適配，所以不能太大。

京東探索研究院院長、京東科技人工智能業務負責人何曉冬判斷，由於數據和算力限制，如果簡單地提升模型規模，可能很快達到發展天花板，導致大模型所產生的經濟效益不足以支撐本身的成本，從而難以持續。

“大模型每年以10倍的速度增長，參數從百億、千億到萬億，但商業化落地，目前看是落後的，從中長期來看終究會成爲一個問題。”他還指出，目前很多模型的幻覺率還是很高，導致不能爲後續的產業應用提供堅實的保障。

據何曉冬介紹，京東在模型自進化方面從初始策略模型出發，首先構建出初始的偏好數據集，然後利用預先訓練好的獎勵模型爲每個回答打分，並根據得分的高低構建出新的偏好數據，這些新的偏好數據將大大促進模型迭代更新。

在模型推理方面，目前大語言模型推理成本水漲船高，爲此，京東通過端到端、低比特、高精度量化技術，提升模型構建時效，在不影響模型輸出準確性和參數量的情況下，降低模型體積，提升推理性能。何曉冬稱，目前其技術方案使得模型顯存節約70%。

具體到企業落地大模型上，曹鵬認爲有三點非常關鍵。首先是簡單，場景的多樣性和碎片化支撐不了高昂的開發成本，必然要將大模型的使用門檻降到最低纔會覆蓋更多應用。其次是開放，基於開放的Agent生態、大模型生態、雲原生生態，將選擇權交給客戶。第三是安全，提供數據安全與隱私保護、AIGC內容合規、語料數據安全管理，讓企業大模型服務可信可靠。