華中科技大學(xué)開源多模態(tài)大模型“Monkey”,支持看圖說話
IT之家 12 月 14 日消息,據(jù)華中科技大學(xué)消息,近日,華中科技大學(xué)軟件學(xué)院白翔教授領(lǐng)銜的 VLRLab 團(tuán)隊(duì)發(fā)布了多模態(tài)大模型 ——“Monkey”。該模型號(hào)稱能夠?qū)崿F(xiàn)對(duì)世界的“觀察”,對(duì)圖片進(jìn)行深入的問答交流和精確描述。
IT之家注:多模態(tài)大模型是一類可以同時(shí)處理和整合多種感知數(shù)據(jù)(例如文本、圖像、音頻等)的 AI 架構(gòu)。
據(jù)介紹,Monkey 模型在 18 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)中表現(xiàn)出色,特別是在圖像描述和視覺問答任務(wù)方面,超越了眾多現(xiàn)有知名的模型如微軟的 LLAVA、谷歌的 PALME、阿里的 Mplugowl 等。此外,Monkey 在文本密集的問答任務(wù)中顯示出“顯著的優(yōu)勢(shì)”,甚至在某些樣本上超越了業(yè)界公認(rèn)的領(lǐng)先者 ——OpenAI 的多模態(tài)大模型 GPT4V。
Monkey 的一個(gè)顯著特點(diǎn)是“看圖說話”能力。在詳細(xì)描述任務(wù)中,Monkey 展現(xiàn)了對(duì)圖像細(xì)節(jié)的感知能力,能夠察覺到其他多模態(tài)大模型所忽略的內(nèi)容。如對(duì)下圖進(jìn)行的文本描述中,Monkey 正確地將其識(shí)別為埃菲爾鐵塔的繪畫,并提供了構(gòu)圖和配色方案的詳細(xì)描述。而對(duì)左下角的文字,只有 Monkey 和 GPT4V 能將其準(zhǔn)確地識(shí)別為作者名。
Monkey 號(hào)稱能夠利用現(xiàn)有的工具構(gòu)建一種多層級(jí)的描述生成方法,即通過五個(gè)步驟依次對(duì)圖片進(jìn)行整體簡(jiǎn)述、空間定位、模塊化識(shí)別、描述賦分選取和最終總結(jié),此舉可以充分結(jié)合不同工具的特性,提升描述的準(zhǔn)確性和豐富程度。
“一個(gè)個(gè)工具就好比不同的零件,合理的排列組合才能使其發(fā)揮最大作用,”白翔教授說,“我們團(tuán)隊(duì)從 2003 年開始便從事圖像識(shí)別研究,去年我們又從海外引進(jìn)了專攻多模態(tài)大模型的青年人才,Monkey 的最終方案是大家一起反復(fù)討論,嘗試了 10 余種方案后最終確定的。”白翔教授說。
Monkey 的另一亮點(diǎn)是能夠處理分辨率最高 1344×896 像素的圖像,這是目前其他多模態(tài)大模型所能處理的最大尺寸的 6 倍,這意味著 Monkey 能對(duì)更大尺寸的圖片進(jìn)行更準(zhǔn)確、豐富、細(xì)致的描述甚至推理。
Monkey 多模態(tài)大模型代碼目前已在 GitHub 開源,IT之家附開源地址:
- 芯片散熱器用什么粘(最佳粘合材料推薦)。05-18
- 1海爾空氣能故障代碼大全處理方法(如何快速排查空調(diào)故障)
- 2怎么知道燃?xì)獗黼姵貨]電了(三種簡(jiǎn)單判斷方法)
- 3格力故障代E5(格力故障代E5:解析最常見故障及排查方法)
- 4格力空氣能常見故障(格力空氣能常見故障解決方案)
- 5樂堡保險(xiǎn)柜開鎖(樂堡保險(xiǎn)柜解鎖指南)
- 6富強(qiáng)勝防盜門售后-400全國免費(fèi)咨詢熱線(“領(lǐng)先防盜門品牌-400全國熱線,為您提
- 7內(nèi)開內(nèi)倒窗戶常見故障維修(如何自行修復(fù)窗戶卡頓、玻璃破損等問題)
- 8上海方太燃?xì)庠?4小時(shí)客服熱線(如何快速聯(lián)系并解決問題)
- 9立方保險(xiǎn)柜廠家電話(立方保險(xiǎn)柜廠家電話:方便快捷安全的通信方式)
- 10能率燃?xì)庠钍酆笕珖S修電話號(hào)碼查詢(全國能率燃?xì)庠钍酆缶S修電話號(hào)碼查詢
-
臺(tái)風(fēng)“蝴蝶”臨近,四地發(fā)布停課通知
2025-06-12
-
劉楚昕《泥潭》出版,余華寫推薦語
2025-06-12
-
海南廣東等地迎強(qiáng)勁臺(tái)風(fēng)雨,大范圍高溫將波及十省份
2025-06-12


