“遙遙領先”GPT-4？谷歌最強AI大模型Gemini發(fā)布一天便引質疑！公司承認6分鐘視頻經(jīng)特殊剪輯處理，非實時畫面

“遙遙領先”GPT4？谷歌最強AI大模型Gemini發(fā)布一天便引質疑！公司承認6分鐘視頻經(jīng)特殊剪輯處理，非實時畫面

每經(jīng)記者：蔡鼎 每經(jīng)編輯：蘭素英

美東時間12月6日，谷歌CEO桑達爾?皮查伊宣布迄今為止規(guī)模最大，能力最強的谷歌大模型Gemini 1.0 版正式上線。Gemini是原生多模態(tài)大模型，是谷歌大模型新時代的第一步，它包括三種量級：能力最強的 Gemini Ultra，適用于多任務的 Gemini Pro，以及適用于特定任務和端側的 Gemini Nano。

皮查伊官宣推文發(fā)布后，馬斯克也在下面評論稱，“（Gemini）令人印象深刻”。當天，谷歌還發(fā)布了一條約6分鐘的延時演示視頻，展示Gemini的多模態(tài)功能（例如，口語對話提示與圖像識別相結合）。截至發(fā)稿，該視頻在YouTube上已經(jīng)收獲141萬次觀看。

然而，Gemini發(fā)布才一天，外界已開始有聲音指控谷歌對Gemini的性能“造假”。

其中，彭博社一篇專欄文章就表示，谷歌在一段演示視頻中歪曲了Gemini的AI性能。專欄作家帕米·奧爾森（Parmy Olson）認為，在谷歌發(fā)布的這段視頻中，Gemini似乎非常強大，但有點過于強大了。對此質疑，谷歌回應時承認，這段關于Gemini性能演示的視頻并不是實時的，而是使用了原始鏡頭中的靜止圖像幀，然后編寫了文本提示，以便讓Gemini做出回應。

6分鐘演示視頻引質疑

奧爾森認為，Gemini的演示視頻確實非常令人印象深刻。Gemini能夠僅憑一些毫無規(guī)則的點就可以推斷出繪制內容是一只螃蟹，顯示出谷歌DeepMind人工智能實驗室多年來訓練的大模型推理能力。不過，奧爾森指出，谷歌這段視頻中展示的Gemini所具備的一些功能并不是其獨有的，ChatGPT Plus也具有類似的推理能力。

圖片來源：谷歌

《每日經(jīng)濟新聞》記者注意到，在這6分鐘的視頻中，Gemini似乎能夠快速識別圖像，并在幾秒鐘的時間內做出反應。然而，如果用戶點擊發(fā)布在YouTube上的這段視頻的描述，谷歌寫了一個重要的“免責聲明”，稱“為了達到Gemini的演示目的，延遲已經(jīng)被人為減少，Gemini的輸出時長也為了簡潔而被縮短。”這意味著，Gemini實際回答每個問題所花費的時間要比視頻演示中的更長。

機器學習講師Santiago Valdarrama在X平臺上發(fā)文暗示，谷歌上述視頻的“免責聲明”似乎“展示的是精心挑選的好結果，不是實時錄制而是剪輯的。”他直言，“這就是誤導，任何參與到其中的人都應該感到尷尬。”

圖片來源：X

此外，谷歌公布的MMLU多任務語言理解數(shù)據(jù)集測試顯示，Gemini Ultra不光超越GPT4，甚至超越了人類專家。然而，不少業(yè)內專家發(fā)現(xiàn)，在MMLU測試中，Gemini Ultra的結果下面有灰色小字標CoT@32，代表使用了思維鏈提示技巧、嘗試了32次后選取最好結果。而作為對比的GPT4，卻無提示詞技巧，且只嘗試了5次。

圖片來源：谷歌

否認造假，Gemini負責人稱只是為了簡潔縮短了反應時長

美國科技媒體The Verge報道中稱，公平地說，這并不是大型科技公司首次對其產(chǎn)品演示視頻進行剪輯處理，除了谷歌外，其他大型科技公司為了避免現(xiàn)場演示帶來任何技術性問題，都會稍微對視頻進行調整，這也非常普遍。

但對于視頻“造假”一說，谷歌堅決予以否認。谷歌DeepMind和深度學習副總裁、Gemini聯(lián)合負責人奧里奧爾·維亞萊斯（Oriol Vinyals）在一篇博客文章中，解釋了Gemini演示視頻的制作過程：性能演示視頻不是實時的，而是使用了原始鏡頭中的靜止圖像幀，然后編寫了文本提示，并要求它通過預測來做出回應。

“視頻中的所有用戶提示和輸出都是真實的，只是為了簡潔而縮短了（Gemini的反應時長）。這個視頻展示了使用Gemini構建的多模式用戶體驗，我們制作它是為了激勵開發(fā)者。”維亞萊斯強調。

奧爾森對此卻并不買賬。她在專欄文章中寫道：“這與谷歌描述的完全不同——谷歌稱，任何人都可以與Gemini進行流暢的語音對話，因為Gemini可以實時觀察周遭世界并做出反應。”

她同時指出，谷歌官方發(fā)布的Gemini各模態(tài)性能顯示，Gemini Ultra（下圖中藍色部分）在9項標準基準測試中的7項都優(yōu)于GPT4。這些基準測試往往用于測試人工智能模型在高中物理、專業(yè)法律和道德場景等方面的能力。

圖片來源：谷歌

然而，在大多數(shù)基準測試中，Gemini Ultra只比OpenAI的GPT4高出幾個百分點，有些甚至不到1個百分點。奧爾森認為，換句話說，谷歌這個所謂的頂級人工智能模型只對OpenAI一年前完成的工作進行了有限的改進。

需要指出的是，谷歌的6分鐘Gemini演示視頻并沒有說明演示的模型是Gemini Ultra。

奧爾森認為，一年前，谷歌這個“笨拙的搜索巨頭”被OpenAI的ChatGPT打了個措手不及，此后便一直希望趕上生成式人工智能這股浪潮。谷歌希望通過強大的營銷讓人們記住，它擁有世界上最強大的人工智能研究團隊之一，并且比其他任何人都能獲得更多的數(shù)據(jù)。但從技術角度來看，在生成式人工智能方面，谷歌仍然落后于OpenAI。

不過，在科技行業(yè)，誰也不能保證一直一帆風順，屹立不倒。早期的手機霸主諾基亞和黑莓就是例子。在蘋果推出功能更強大、更受歡迎的產(chǎn)品iPhone后，諾基亞和黑莓的市場份額便迅速被搶走。而在軟件領域，市場的成功則來自于擁有最強大性能的系統(tǒng)。

每日經(jīng)濟新聞