阿里通義千問開源Qwen2-VL-2B7B-Instruct模型

IT之家 8 月 30 日消息，通義千問團隊今天對 QwenVL 模型進行更新，推出 Qwen2VL。

Qwen2VL 的一項關鍵架構改進是實現了動態分辨率支持（Naive Dynamic Resolution support）。與上一代模型 QwenVL 不同，Qwen2VL 可以處理任意分辨率的圖像，而無需將其分割成塊，從而確保模型輸入與圖像固有信息之間的一致性。這種方法更接近地模仿人類的視覺感知，使模型能夠處理任何清晰度或大小的圖像。

另一個關鍵架構增強是 Multimodal Rotary Position Embedding（MROPE）。通過將 original rotary embedding 分解為代表時間和空間（高度和寬度）信息的三個部分，MROPE 使 LLM 能夠同時捕獲和集成 1D 文本、2D 視覺和 3D 視頻位置信息。這使 LLM 能夠充當多模態處理器和推理器。

在 7B 規模下，Qwen2VL7B 保留了對圖像、多圖像和視頻輸入的支持，以更具成本效益的模型大小提供“具有競爭力”的性能。

Qwen2VL2B 模型針對潛在的移動部署進行了優化。盡管參數量只有 2B，但該模型在圖像、視頻和多語言理解方面表現出色。

IT之家附模型鏈接如下：

• Qwen2VL2BInstruct：https://www.modelscope.cn/models/qwen/Qwen2VL2BInstruct

• Qwen2VL7BInstruct：https://www.modelscope.cn/models/qwen/Qwen2VL7BInstruct