英偉達的生成式AI微服務有什麼用？公司：在更小的GPU佔用空間上放置相同大小的模型

當地時間3月18日，在GTC（GPU Technology Conference）2024大會上，英偉達宣佈推出生成式AI微服務，供開發者在已安裝NVIDIA CUDA GPU的系統中創建和部署生成式AI助手。企業可以利用這些微服務在自己的平臺上創建和部署定製應用，同時保留對知識產權的完整所有權和控制權。

據英偉達介紹，這些雲原生微服務目錄在NVIDIA CUDA平臺上開發，其中包括NVIDIA NIM微服務，可適用於NVIDIA及合作伙伴生態系統中20多個熱門的AI模型進行推理優化。用戶將能夠從亞馬遜SageMaker、谷歌KubernetesEngine和微軟AzureAI中訪問NIM微服務，並與Deepset、LangChain和LlamaIndex等流行的AI框架集成；還能以NVIDIA CUDA-X微服務的形式使用NVIDIA加速軟件開發套件、庫和工具，用於檢索增強生成（RAG）、護欄、數據處理、HPC等。

根據英偉達的說法，包括Adobe、Cadence、CrowdStrike、GettyImages、SAP、ServiceNow和Shutterstock在內的諸多應用、數據和網絡安全平臺提供商已經率先使用了NVIDIA AI Enterprise5.0中提供的這些全新NVIDIA生成式AI微服務。

用更通俗的理解方式，英偉達的這些AI微服務能爲企業帶來什麼？3月18日，英偉達生成式AI軟件產品管理副總裁Kari Briski在媒體吹風會上提出，NIM爲企業提供的是一個能夠迅速收集數據的預訓練模型，而不是預訓練數據，可以將它視爲一種具有學習能力的模型。

由於在每一次優化和產品發佈中，Nvidia都在大語言模型上進行一些新的優化或壓縮，NIM會幫助用戶公司節省一些成本。“舉個例子，比如我們首次發佈NIM時採用的是FP16，Hopper推出後採用的則是FP8，這樣就可以在更小的GPU佔用空間上放置相同大小的模型。”Kari Briski稱。

談及開源，Kari Briski還在回答《每日經濟新聞》記者提問時表示，2023年是關於探索開源模型的一年，但許多企業開發人員缺乏將開源模型以安全方式引入生產環境的能力。NIM的出現可以避免安全性漏洞，向開發人員提供簡單的API，縮短從探索到生產的時間。“我認爲這將改變人工智能領域的格局，大部分企業在發現AGI後的第一年僅停留在概念驗證階段，但現在他們可以更快地將其轉化爲生產。”