AI時代已至，英特爾Gaudi2助力企業(yè)最大化釋放人工智能價值

人工智能的時代已經(jīng)到來。

作為一種滲透性強且具有顛覆性的通用技術(shù)，人工智能正在成為行業(yè)數(shù)智轉(zhuǎn)型的核心，特別是生成式AI的普及，可以有效提高企業(yè)效率、完成創(chuàng)意工作，并最終改善整體業(yè)務(wù)表現(xiàn)。根據(jù)IDC的預(yù)計，全球AI計算市場規(guī)模將從2022年的195億美元增長到2026年的346.6億美元。

對企業(yè)而言，無論是基于提高工作效率的考量，還是加速創(chuàng)新的腳步，都有必要對AI這一關(guān)鍵業(yè)務(wù)進行部署，不過在過去很長一段時間里，水漲船高的GPU價格讓大規(guī)模部署AI多少有點不切實際，兩個月前，英特爾正式于中國市場推出第二代Gaudi深度學(xué)習(xí)加速器Habana Gaudi2，致力于以領(lǐng)先的性價比優(yōu)勢，加速AI訓(xùn)練及推理，從而成為大規(guī)模部署AI的更優(yōu)解。

從規(guī)格上看，Gaudi2以第一代Gaudi高性能架構(gòu)為基礎(chǔ)，實現(xiàn)了多方位的性能與能效比提升，具體性能包括24個可編程Tensor處理器核心（TPCs）、21個100Gbps（RoCEv2）以太網(wǎng)接口，高達96GB的HBM2E內(nèi)存容量，2.4TB/秒的總內(nèi)存帶寬，48MB的片上SRAM，同時集成了多媒體處理引擎。

當(dāng)然，檢驗Gaudi2能力的最好方式還是看它的推理和訓(xùn)練性能。日前MLCommons公布了針對60億參數(shù)大語言模型及計算機視覺與自然語言處理模型GPTJ的MLPerf推理v3.1性能基準(zhǔn)測試結(jié)果，Gaudi2的測試結(jié)果驗證了其相當(dāng)具有競爭力的性能，特別值得注意的一點是NVIDIA H100相比Gaudi2僅表現(xiàn)出1.09倍（服務(wù)器）和1.28 倍（離線）的輕微性能優(yōu)勢。

“在MLperf 3.1的推理測試中，Gaudi2和H100的表現(xiàn)十分接近，主要是基于Gaudi2架構(gòu)和軟件設(shè)計上的領(lǐng)先性以及資源的高效利用率。具體來說，Gaudi2的MME支持了BF16和FP8的加速，且結(jié)構(gòu)設(shè)計合理，可以高效提升推理的能力。再加上Gaudi2的本身性能普遍高于A100，采用了FP8后與不支持FP8的A100相比，優(yōu)勢就更明顯了。”Habana Labs中國區(qū)總經(jīng)理于明揚表示。

從此前披露的MLPerf Training 3.0的結(jié)果來看，Gaudi2在性能、軟件以及訓(xùn)練系統(tǒng)的成熟度上都達到了相當(dāng)可觀的水平，尤其是根據(jù)HuggingFace最近發(fā)布的AI訓(xùn)練性能結(jié)果，則進一步表明了Gaudi2在多模態(tài)Transformer模型BridgeTower上的優(yōu)勢。

總體來看，作為市場上為數(shù)不多的公開支持GPT訓(xùn)練的產(chǎn)品之一，Gaudi2已經(jīng)充分展示了其替代H100和A100的能力，特別是在性價比和性能功耗比方面的優(yōu)勢十分明顯，同時在軟件生態(tài)上，也突破了傳統(tǒng)CUDA的限制，做到了更好的兼容性。

這里特別要指出的是，在軟件生態(tài)上，英特爾一直秉持著開放的主張，多年以來，英特爾一直通過開發(fā)者社區(qū)與開發(fā)者互動，并為開發(fā)者提供優(yōu)化后的模型、開源驅(qū)動和工具庫，同時支持PyTorch、Deepspeed等開源框架加入和維護開放生態(tài)。現(xiàn)如今，英特爾正在加快構(gòu)建一個開放的AI軟件生態(tài)系統(tǒng)，從而為客戶、合作伙伴和開發(fā)人員提供早期訪問和便捷、迅速的途徑。此外，英特爾oneAPI也能提供更為開放的環(huán)境，并支持不同層面的定制化開發(fā)，英特爾和客戶都可以在軟件中添加新的加速算子，并更新到開源社區(qū)之中。

除了Gaudi2之外，英特爾的至強產(chǎn)品組合也同樣能夠有效降低AI的準(zhǔn)入門檻，眾所周知，第四代至強可擴展處理器內(nèi)置了用于加速深度學(xué)習(xí)實時推理和訓(xùn)練性能提升的英特爾AMX加速器，在矩陣乘法運算性能上得到了大幅提升，與上一代相比，第四代英特爾至強可擴展處理器將PyTorch實時推理和訓(xùn)練性能提升了10倍，將廣泛的AI工作負(fù)載的推理和訓(xùn)練性能提升到了新的高度。

從AI應(yīng)用的角度來看，輕負(fù)載的應(yīng)用實際上對GPU的需求并沒有那么急迫，當(dāng)前主流的方案有兩種，一種是把所有AI應(yīng)用加載到單獨的AI加速卡上運算處理，另一種是用一種平臺解決所有問題，現(xiàn)在英特爾的第四代至強可擴展處理器在AMX加速器的加持后，本身CPU的AI處理能力已經(jīng)達到了一個很高的水平，部分應(yīng)用就可以在不配置AI加速卡的服務(wù)器中完成運算，這其實對客戶的價值是非常大的，客戶可以只使用一種平臺部署去解決中低負(fù)載的AI應(yīng)用，并且取得很好的效果。

當(dāng)然，如果是想要支持更大的模型規(guī)模和滿足廣泛的系統(tǒng)需求，異構(gòu)計算的方案還是首選，無論是英特爾的GPUMax系列還是Gaudi深度學(xué)習(xí)加速器都能提供完整的硬件支持，其中英特爾至強CPUMax系列是唯一一款具有高帶寬內(nèi)存的x86處理器，無需更改代碼即可加速多種HPC和AI工作負(fù)載。而Gaudi2專注于機器學(xué)習(xí)（Machine Learning）和深度學(xué)習(xí)（Deep Learning）的環(huán)境，以及未來針對大語言模型（LLMs）的市場需求。

正如英特爾公司首席執(zhí)行官帕特·基辛格在近期的英特爾on技術(shù)創(chuàng)新大會上指出的那樣，“AI代表著新時代的到來。AI正在催生全球增長的新時代，在新時代中，算力起著更為重要的作用，讓所有人迎來更美好的未來。對開發(fā)者而言，這將帶來巨大的社會和商業(yè)機遇，以創(chuàng)造更多可能，為世界上的重大挑戰(zhàn)打造解決方案，并造福地球上每一個人。”于市場而言，無論是至強產(chǎn)品組合，還是Gaudi2加速器，都承載著英特爾“讓AI無處不在”的愿景，從而加速構(gòu)建人工智能的美好未來。

(8337992)