AI時代已至，英特爾Gaudi2助力企業最大化釋放人工智能價值

人工智能的時代已經到來。

作為一種滲透性強且具有顛覆性的通用技術，人工智能正在成為行業數智轉型的核心，特別是生成式AI的普及，可以有效提高企業效率、完成創意工作，并最終改善整體業務表現。根據IDC的預計，全球AI計算市場規模將從2022年的195億美元增長到2026年的346.6億美元。

對企業而言，無論是基于提高工作效率的考量，還是加速創新的腳步，都有必要對AI這一關鍵業務進行部署，不過在過去很長一段時間里，水漲船高的GPU價格讓大規模部署AI多少有點不切實際，兩個月前，英特爾正式于中國市場推出第二代Gaudi深度學習加速器Habana Gaudi2，致力于以領先的性價比優勢，加速AI訓練及推理，從而成為大規模部署AI的更優解。

從規格上看，Gaudi2以第一代Gaudi高性能架構為基礎，實現了多方位的性能與能效比提升，具體性能包括24個可編程Tensor處理器核心（TPCs）、21個100Gbps（RoCEv2）以太網接口，高達96GB的HBM2E內存容量，2.4TB/秒的總內存帶寬，48MB的片上SRAM，同時集成了多媒體處理引擎。

當然，檢驗Gaudi2能力的最好方式還是看它的推理和訓練性能。日前MLCommons公布了針對60億參數大語言模型及計算機視覺與自然語言處理模型GPTJ的MLPerf推理v3.1性能基準測試結果，Gaudi2的測試結果驗證了其相當具有競爭力的性能，特別值得注意的一點是NVIDIA H100相比Gaudi2僅表現出1.09倍（服務器）和1.28 倍（離線）的輕微性能優勢。

“在MLperf 3.1的推理測試中，Gaudi2和H100的表現十分接近，主要是基于Gaudi2架構和軟件設計上的領先性以及資源的高效利用率。具體來說，Gaudi2的MME支持了BF16和FP8的加速，且結構設計合理，可以高效提升推理的能力。再加上Gaudi2的本身性能普遍高于A100，采用了FP8后與不支持FP8的A100相比，優勢就更明顯了。”Habana Labs中國區總經理于明揚表示。

從此前披露的MLPerf Training 3.0的結果來看，Gaudi2在性能、軟件以及訓練系統的成熟度上都達到了相當可觀的水平，尤其是根據HuggingFace最近發布的AI訓練性能結果，則進一步表明了Gaudi2在多模態Transformer模型BridgeTower上的優勢。

總體來看，作為市場上為數不多的公開支持GPT訓練的產品之一，Gaudi2已經充分展示了其替代H100和A100的能力，特別是在性價比和性能功耗比方面的優勢十分明顯，同時在軟件生態上，也突破了傳統CUDA的限制，做到了更好的兼容性。

這里特別要指出的是，在軟件生態上，英特爾一直秉持著開放的主張，多年以來，英特爾一直通過開發者社區與開發者互動，并為開發者提供優化后的模型、開源驅動和工具庫，同時支持PyTorch、Deepspeed等開源框架加入和維護開放生態。現如今，英特爾正在加快構建一個開放的AI軟件生態系統，從而為客戶、合作伙伴和開發人員提供早期訪問和便捷、迅速的途徑。此外，英特爾oneAPI也能提供更為開放的環境，并支持不同層面的定制化開發，英特爾和客戶都可以在軟件中添加新的加速算子，并更新到開源社區之中。

除了Gaudi2之外，英特爾的至強產品組合也同樣能夠有效降低AI的準入門檻，眾所周知，第四代至強可擴展處理器內置了用于加速深度學習實時推理和訓練性能提升的英特爾AMX加速器，在矩陣乘法運算性能上得到了大幅提升，與上一代相比，第四代英特爾至強可擴展處理器將PyTorch實時推理和訓練性能提升了10倍，將廣泛的AI工作負載的推理和訓練性能提升到了新的高度。

從AI應用的角度來看，輕負載的應用實際上對GPU的需求并沒有那么急迫，當前主流的方案有兩種，一種是把所有AI應用加載到單獨的AI加速卡上運算處理，另一種是用一種平臺解決所有問題，現在英特爾的第四代至強可擴展處理器在AMX加速器的加持后，本身CPU的AI處理能力已經達到了一個很高的水平，部分應用就可以在不配置AI加速卡的服務器中完成運算，這其實對客戶的價值是非常大的，客戶可以只使用一種平臺部署去解決中低負載的AI應用，并且取得很好的效果。

當然，如果是想要支持更大的模型規模和滿足廣泛的系統需求，異構計算的方案還是首選，無論是英特爾的GPUMax系列還是Gaudi深度學習加速器都能提供完整的硬件支持，其中英特爾至強CPUMax系列是唯一一款具有高帶寬內存的x86處理器，無需更改代碼即可加速多種HPC和AI工作負載。而Gaudi2專注于機器學習（Machine Learning）和深度學習（Deep Learning）的環境，以及未來針對大語言模型（LLMs）的市場需求。

正如英特爾公司首席執行官帕特·基辛格在近期的英特爾on技術創新大會上指出的那樣，“AI代表著新時代的到來。AI正在催生全球增長的新時代，在新時代中，算力起著更為重要的作用，讓所有人迎來更美好的未來。對開發者而言，這將帶來巨大的社會和商業機遇，以創造更多可能，為世界上的重大挑戰打造解決方案，并造福地球上每一個人。”于市場而言，無論是至強產品組合，還是Gaudi2加速器，都承載著英特爾“讓AI無處不在”的愿景，從而加速構建人工智能的美好未來。

(8337992)