Sora成功是站在谷歌肩膀上嗎？業(yè)內(nèi)：關(guān)鍵是人才、算力和數(shù)據(jù)的堆砌

近日，AI（人工智能）新銳巨頭OpenAI推出文生視頻模型Sora，掀起了全球范圍內(nèi)的熱烈討論。

由于在AI生成視頻的時長上成功突破到一分鐘，再加上演示視頻的高度逼真和高質(zhì)量，Sora立刻引起了轟動，并引發(fā)外界的種種猜測：能在發(fā)布ChatGPT不到兩年后就推出Sora，OpenAI是否“藏了一手”？表現(xiàn)驚艷的Sora是否已經(jīng)具有世界模型的特點(diǎn)？

不過，OpenAI尚未宣布Sora對公眾正式開放的日期，目前也只向安全團(tuán)隊(duì)、一些視覺藝術(shù)家、設(shè)計(jì)師和電影制作人開放了Sora的使用權(quán)限。除了內(nèi)部人士不斷放出的演示片段外，OpenAI還在Sora的官網(wǎng)上放出了其技術(shù)報(bào)告。

首先，與GPT模型類似，Sora使用Transformer架構(gòu)，這被許多研究者視為其強(qiáng)大能力背后的主要功臣。

本質(zhì)上，Sora和Pika、Runway等文生視頻模型采用了相似的底層模型，即Diffusion擴(kuò)散模型。不同之處在于，Sora把其中的實(shí)現(xiàn)邏輯進(jìn)行了變化，將UNet架構(gòu)替換成了Transformer架構(gòu)。

北京郵電大學(xué)智能交互設(shè)計(jì)專業(yè)副教授譚劍為澎湃新聞記者介紹，與其他AI模型架構(gòu)相比，Transformer架構(gòu)有兩大理論優(yōu)勢：“它的核心能力是能自動構(gòu)建不同維度、不同層級的知識網(wǎng)絡(luò)或信息網(wǎng)絡(luò)，也就是一張無縫的思維導(dǎo)圖……權(quán)重關(guān)聯(lián)機(jī)制（attention機(jī)制）也是它核心能力的另一種體現(xiàn)，就是它會根據(jù)任何數(shù)據(jù)的上下文，來理解相關(guān)的高低維度信息。”

譚劍強(qiáng)調(diào)，要充分發(fā)揮Transformer架構(gòu)的核心能力，一個必要條件就是輸入數(shù)據(jù)足夠多、維度足夠大。

一位AI大模型從業(yè)人士告訴澎湃新聞記者，Sora的主要技術(shù)思路是“用視覺塊編碼（Visual Patch）的方式，把不同格式的視頻進(jìn)行統(tǒng)一編碼，然后用Transformer架構(gòu)進(jìn)行訓(xùn)練，并引入類似Diffusion的Unet方式在降維和升維的過程中做加噪和去噪”。

通過細(xì)節(jié)上的設(shè)計(jì)，Sora解決了“閃爍”（幀間細(xì)節(jié)跳變）的問題，還能直接生成高分辨率（1080p）的圖像、長達(dá)60秒的視頻，說明“訓(xùn)練的序列也比較長，訓(xùn)練時候的窗口至少也有五秒”。

不過，目前看來，OpenAI的Sora報(bào)告中依然藏有許多謎團(tuán)。

浙江大學(xué)百人計(jì)劃研究員、博士生導(dǎo)師趙俊博對澎湃新聞記者表示，Sora所采用的擴(kuò)散Transformer架構(gòu)“可能是成功的關(guān)鍵之一”，但OpenAI目前放出的內(nèi)容基本上也沒有涉及更多的技術(shù)細(xì)節(jié)：“從第一性原理出發(fā)，其實(shí)我們目前對于Transformer神經(jīng)網(wǎng)絡(luò)架構(gòu)的理解是非常不夠的，尤其是為什么這個模型在scale up（擴(kuò)大規(guī)模）之后能有如此大的魔力。”

此外，趙俊博也強(qiáng)調(diào)，數(shù)據(jù)是一個巨大的問題。對于Sora采用了怎樣的數(shù)據(jù)進(jìn)行訓(xùn)練，圈內(nèi)依然眾說紛紜，推測可能是運(yùn)用了游戲引擎生成的大規(guī)模數(shù)據(jù)：“可能是游戲引擎里面吐出來這種數(shù)據(jù)，但是它這個數(shù)據(jù)到底是怎么收集、如何生產(chǎn)加工，最后如何喂到Sora里面進(jìn)行管線化的預(yù)訓(xùn)練，我們確實(shí)不知道。”

那么，Sora的出現(xiàn)會給AI業(yè)界和學(xué)界帶來怎樣的影響？

趙俊博表示，因?yàn)镾ora在技術(shù)上仍有許多有待驗(yàn)證的地方，應(yīng)該“讓子彈再飛一會兒”：“Sora確實(shí)會對AI視頻領(lǐng)域內(nèi)的研究者和競品產(chǎn)生很大沖擊，但那畢竟只是一小部分人。目前從生成模型的應(yīng)用層面看，可控性依然是個很大的問題......所以說如果要討論產(chǎn)業(yè)沖擊，還是要搞清楚玩家是誰，什么場景，解決什么痛點(diǎn)和需求，這些產(chǎn)業(yè)化的落地思維在這里也是一樣的。”

譚劍提到，OpenAI已經(jīng)用ChatGPT和Sora充分驗(yàn)證了納什嵌入定律。所謂納什嵌入定律，簡單來說，就是指高維信息世界一定能無縫兼容低維世界，用口語來表達(dá)就是“降維打擊”：“雖然這種高維AI模型的數(shù)據(jù)和硬件等門檻很高，但已經(jīng)有了第一個跨越的公司，那么后面還會有更多團(tuán)體可能成功，我對這一點(diǎn)保持樂觀。”

值得注意的是，就在OpenAI于2月15日發(fā)布Sora的幾小時前，谷歌也發(fā)布了旗下大模型Gemini的1.5版本，其中首個登場的多模態(tài)通用模型Gemini 1.5 Pro，把穩(wěn)定處理上下文的上限擴(kuò)大至100萬tokens。然而，Gemini 1.5一出場就被Sora搶盡了風(fēng)頭。

再加上，OpenAI在Sora報(bào)告中提到的多篇核心論文都是由谷歌科研團(tuán)隊(duì)提出的，也由此引發(fā)了對于這兩家企業(yè)“恩怨情仇”的調(diào)侃，以及OpenAI是“站在谷歌肩膀上”的說法。

對此，趙俊博認(rèn)為，理論的相互分享雖然很重要，但是現(xiàn)代科技的發(fā)展環(huán)境下，單打獨(dú)斗、“一人成英雄”的時代已經(jīng)結(jié)束了：“關(guān)鍵是人才團(tuán)隊(duì)、算力和數(shù)據(jù)的堆砌，以及時間上的積累，光靠一個idea就能實(shí)現(xiàn)一個這么驚艷的系統(tǒng)已經(jīng)不現(xiàn)實(shí)了，把它當(dāng)成一個‘大裝置’來看的話，里面‘工藝’的探索和形成是最為關(guān)鍵的。”

最后，對于Sora的出現(xiàn)是否和AGI（通用人工智能）有關(guān)聯(lián)，趙俊博幾天前也在朋友圈撰文表示：“我反對很多自媒體把這個技術(shù)類比在AGI上面，我們距離AGI還差得遠(yuǎn)……我覺得一個世界模型需要有能力去輸出動作，輸出對未來的預(yù)測，輸出對當(dāng)前所處狀態(tài)的判斷。Sora大概率是學(xué)到了一些世界運(yùn)轉(zhuǎn)的模式，但是否具備其他上述能力我們不知道。但是它的embedding（嵌入）如果有一天能開出來，或許我們能知道更多。”