Meta推出SPDL工具：突破訓練AI模型瓶頸，吞吐量提升2-3倍

IT之家 12 月 10 日消息，訓練 AI 模型的瓶頸，目前不再僅僅是架構設計，數據管理效率也至關重要。Meta AI 最新推出了開源可擴展且高性能的數據加載（SPDL）工具，通過提升數據加載效率，最終加快 AI 訓練速度。

SPDL 工具采用多線程技術，在常規 Python 解釋器中（未啟用 freethreading 選項）實現了高吞吐量，資源占用更低，并兼容 FreeThreaded Python。

SPDL 包含任務執行器（流水線抽象）、構建流水線的實用工具以及高效且線程安全的媒體處理操作，其核心是異步事件循環，負責調度新任務和響應任務完成。SPDL 通過將同步操作委托給線程異步執行，實現真正的并發。

相比較傳統基于進程（process）的處理方式，SPDL 工具升級改用基于線程（thread）的加載方式，有效避免了進程間通信的開銷，顯著提升了數據傳輸速度。

該工具的另一個亮點在于預取和緩存技術，確保 GPU 始終有數據可供處理，最大程度減少 GPU 空閑時間，提高系統整體效率。

無論是單 GPU 還是大型集群，SPDL 支持跨分布式系統工作，可以高效處理復雜任務；SPDL 工具還無縫兼容主流 AI 框架 PyTorch，方便團隊快速采用。

Meta 表示相比傳統基于進程的方案，SPDL 吞吐量提升 23 倍；此外在禁用 GIL 的 FreeThreaded Python 環境中，SPDL 吞吐量提升 30%。

SPDL 提供性能監控和調優工具，方便用戶深入了解數據加載過程并進行優化。

IT之家附上參考地址