Intel以第六代Xeon處理器、Gaudi 3推動人工智慧發展 降低持有成本
今年在Computex 2024期間展示以Intel 3製程生產、代號「Sierra Forest」，並且採全E Core設計的第六代Xeon處理器，同時也展示Gaudi 3人工智慧加速器套件之後，稍早宣佈推出採用P Core設計的第六代Xeon處理器，同時也強調Gaudi 3人工智慧加速器套件在執行LLaMa 2 700億參數模型推論時，相比NVIDIA的H100加速方案能在一樣成本下提供2倍效能。
Intel說明增加P Core設計的第六代Xeon處理器是針對處理運算密集型的工作負載所打造，並且在兼具執行效率優勢。相比前一代處理器，第六代Xeon處理器能提供2倍的效能，並且在覈心數增加，同時也使記憶體頻寬加倍，更讓人工智慧加速功能嵌入每個核心，藉此滿足邊緣運算至資料中心、和雲端環境的人工智慧效能需求。
而Gaudi 3人工智慧加速器套件則是針對大規模自動生成式人工智慧最佳化設計，本身具備可加速深度神經網路運算的64個張量處理器核心 (TPC)與8個矩陣乘法引擎 (MME)，另外也包含可用於訓練與推論的128GB容量HBM2e記憶體，以及用於可擴充網路的24個200 Gb乙太網路連接埠。
Gaudi 3更相容PyTorch框架、Hugging Face Transformer模型和diffuser模型，而Intel也與IBM合作，將Gaudi 3人工智慧加速器套件佈署至IBM Cloud，藉此讓IBM旗下客戶使用人工智慧，並且擴展人工智慧應用規模時，能在提升運算效能的同時降低總持有成本 (TCO)。
目前Intel將透過其Tiber Developer Cloud平臺提供第六代Xeon處理器預覽，讓客戶可藉此進行技術評估與測試使用。而特定客戶則可搶先體驗Gaudi 3人工智慧加速器套件，藉此驗證人工智慧模型佈署是否相容，Gaudi 3叢集則預計從下一季開始提供，並且可供大規模量產佈署應用。
另外，Intel也宣佈在自動生成式人工智慧解決方案從原型設計推進至量產就緒的過程中，將面臨即時監控 (real-time monitoring)、錯誤處理 (error handling)、記錄日誌檔 (logging)、安全性和可擴充性等方面的挑戰，因此將與OEM廠商、合作伙伴透過共同設計，推出量產就緒的擷取擴增世代 (RAG)解決方案。
這些解決方案將建立於Open Platform For Enterprise AI (OPEA)平臺之上，基於微服務架構整合至可擴充的RAG系統，並且針對Xeon處理器、Gaudi人工智慧加速器套件進行最佳化，藉此協助客戶更容易整合Kubernetes、Red Hat OpenShift AI和Red Hat Enterprise Linux AI等人工智慧應用程式。
《原文刊登於合作媒體代號「Sierra Forest」，並且採全E Core設計的第六代Xeon處理器，同時也展示Gaudi 3人工智慧加速器套件之後，稍早宣佈推出採用P Core設計的第六代Xeon處理器，同時也強調Gaudi 3人工智慧加速器套件在執行LLaMa 2 700億參數模型推論時，相比NVIDIA的H100加速方案能在一樣成本下提供2倍效能。
Intel說明增加P Core設計的第六代Xeon處理器是針對處理運算密集型的工作負載所打造，並且在兼具執行效率優勢。相比前一代處理器，第六代Xeon處理器能提供2倍的效能，並且在覈心數增加，同時也使記憶體頻寬加倍，更讓人工智慧加速功能嵌入每個核心，藉此滿足邊緣運算至資料中心、和雲端環境的人工智慧效能需求。
而Gaudi 3人工智慧加速器套件則是針對大規模自動生成式人工智慧最佳化設計，本身具備可加速深度神經網路運算的64個張量處理器核心 (TPC)與8個矩陣乘法引擎 (MME)，另外也包含可用於訓練與推論的128GB容量HBM2e記憶體，以及用於可擴充網路的24個200 Gb乙太網路連接埠。
Gaudi 3更相容PyTorch框架、Hugging Face Transformer模型和diffuser模型，而Intel也與IBM合作，將Gaudi 3人工智慧加速器套件佈署至IBM Cloud，藉此讓IBM旗下客戶使用人工智慧，並且擴展人工智慧應用規模時，能在提升運算效能的同時降低總持有成本 (TCO)。
目前Intel將透過其Tiber Developer Cloud平臺提供第六代Xeon處理器預覽，讓客戶可藉此進行技術評估與測試使用。而特定客戶則可搶先體驗Gaudi 3人工智慧加速器套件，藉此驗證人工智慧模型佈署是否相容，Gaudi 3叢集則預計從下一季開始提供，並且可供大規模量產佈署應用。
另外，Intel也宣佈在自動生成式人工智慧解決方案從原型設計推進至量產就緒的過程中，將面臨即時監控 (real-time monitoring)、錯誤處理 (error handling)、記錄日誌檔 (logging)、安全性和可擴充性等方面的挑戰，因此將與OEM廠商、合作伙伴透過共同設計，推出量產就緒的擷取擴增世代 (RAG)解決方案。
這些解決方案將建立於Open Platform For Enterprise AI (OPEA)平臺之上，基於微服務架構整合至可擴充的RAG系統，並且針對Xeon處理器、Gaudi人工智慧加速器套件進行最佳化，藉此協助客戶更容易整合Kubernetes、Red Hat OpenShift AI和Red Hat Enterprise Linux AI等人工智慧應用程式。" target="_blank">mashdigi，聯合新聞網獲授權轉載。》