Meta推出Apollo開源模型，讓AI“看懂”視頻

IT之家 12 月 18 日消息，Meta 攜手斯坦福大學，推出全新 AI 模型系列 Apollo，顯著提升機器對視頻的理解能力。

IT之家注：盡管人工智能在處理圖像和文本方面取得了巨大進步，但讓機器真正理解視頻仍然是一個重大挑戰。

視頻包含復雜的動態信息，人工智能更難處理這些信息，不僅需要更多的計算能力，而且如何設計最佳 AI 視頻解讀系統，也存在諸多困難。

在視頻處理方面，研究人員發現，保持每秒恒定的幀采樣率能獲得最佳結果。因此 Apollo 模型使用兩個不同的組件，一個處理單獨的視頻幀，而另一個跟蹤對象和場景如何隨時間變化。

此外，在處理后的視頻片段之間添加時間戳，有助于模型理解視覺信息與文本描述之間的關系，保持時間感知。

在模型訓練方面，團隊研究表明訓練方法比模型大小更重要。Apollo 模型采用分階段訓練，按順序激活模型的不同部分，比一次性訓練所有部分效果更好。

此外 Meta 公司還不斷優化數據組合，發現 10~14% 的文本數據，其余部分略微偏向視頻內容，可以更好地平衡語言理解和視頻處理能力。

Apollo 模型在不同規模上均表現出色，較小的 Apollo3B 超越了 Qwen2VL 等同等規模的模型，而 Apollo7B 超過更大參數的同類模型，Meta 已開源 Apollo 的代碼和模型權重，并在 Hugging Face 平臺提供公開演示。

參考