BAT掀大模型“提效運動” 國產大模型訓練效率大幅提升

封面新聞記者 歐陽宏宇

在算力緊缺的背景下，如何提升大模型訓練和推理的效率，并降低成本，成為業界關注的焦點。

11月23日，騰訊披露其混元大模型背后的自研機器學習框架Angel再次升級。升級后，該學習框架可支持單任務萬卡級別超大規模訓練，大模型訓練效率提升至主流開源框架的2.6倍，千億級大模型訓練可節省50%算力成本。

大模型時代下，模型參數呈指數級增長，達到萬億級別，大模型逐漸從支持單一模態和任務發展為需要支持多種模態下的多種任務。該趨勢下，大模型訓練所需算力巨大，遠超單個芯片的處理速度，而多卡分布式訓練通信損耗巨大。如何提高硬件資源利用率，成為影響國產大模型技術發展和實用性的重要前提。

模型訓練效率將決定其進化速度，也是BAT等廠商比拼的核心。就在不久前舉行的第二十屆中國計算機大會上，百度首席技術官王海峰就公開透露，從今年3月發布至今，文心大模型4.0訓練算法效率已提升3.6倍；通過飛槳與文心的協同優化，周均訓練有效率超過98%，推理性能提升50倍。

阿里云通義大模型則聚焦于規模定理，基于小模型數據分布、規則和配比，研究大規模參數規模下如何提升模型能力，并通過對底層靈駿集群的優化，將模型訓練效率提升了30%，訓練穩定性提升了15%。

要提升大模型訓練效率，主要在于對芯片、框架、模型、應用四層的優化，和百度、阿里的邏輯不同，騰訊云對混元大模型的優化集中在機器學習訓練框架的調優，對預訓練、模型精調和強化學習等全流程進行加速和優化。

據介紹，基于HCC高性能計算集群，AngelPTM采用混合精度訓練技術，并優化了存儲機制，可兼容適配多款國產化硬件，能夠以更少的資源和更快的速度訓練更大的模型。同時，自研大模型推理框架AngelHCF通過擴展并行能力，實現了更快的推理性能和更低成本，相較于業界主流框架，其推理速度提高了1.3倍。在騰訊混元大模型文生圖的應用中，推理耗時從10秒縮短至3至4秒。

事實上，調優模型訓練方式，降低成本，最終的目標還是更好面向應用場景，降低終端應用的邊際成本。京東集團副總裁何曉冬就表示，目前訓練時間在兩個月左右的基礎通用大模型，成本估計在幾千萬元。對此，北京交通大學教授張宏科看來，未來用戶使用大模型算力應像用電一樣“即插即用”；斯坦福大學教授克里斯·曼寧則預測，不斷上漲的算力成本，將促使人們尋找更有效的AI算法訓練方式，比如，目前已經有數十家公司開發用于訓練和運行AI程序的專用計算機芯片。

【如果您有新聞線索，歡迎向我們報料，一經采納有費用酬謝。報料微信關注：ihxdsb，報料QQ：3386405712】