通義千問開源720億和18億參數(shù)兩款大語言模型

新京報(bào)貝殼財(cái)經(jīng)訊（記者羅亦丹）12月1日，阿里云舉辦通義千問發(fā)布會(huì)，開源通義千問720億參數(shù)模型Qwen72B，這是繼通義千問此前開源140億參數(shù)大語言模型后又一次開源之舉。此外，通義千問還開源了18億參數(shù)模型Qwen1.8B和音頻大模型QwenAudio。至此，通義千問共開源18億、70億、140億、720億參數(shù)的4款大語言模型，以及視覺理解、音頻理解兩款多模態(tài)大模型，實(shí)現(xiàn)了“全尺寸、全模態(tài)”的開源。

阿里云CTO周靖人在接受包括新京報(bào)貝殼財(cái)經(jīng)在內(nèi)的媒體采訪時(shí)表示，自從宣布72B模型將要開源后，就得到了很多企業(yè)持續(xù)的關(guān)注，因此這是一個(gè)“強(qiáng)企業(yè)需求”的模型，“我們已經(jīng)形成了全系列的大模型家族，能夠?yàn)殚_發(fā)者、企業(yè)提供更豐富的選擇。”

具體來看，Qwen72B基于3T tokens高質(zhì)量數(shù)據(jù)訓(xùn)練，在10個(gè)權(quán)威基準(zhǔn)測(cè)評(píng)中奪得開源模型最優(yōu)成績(jī)，在部分測(cè)評(píng)中超越閉源的GPT3.5和GPT4。

英語任務(wù)上，Qwen72B在MMLU基準(zhǔn)測(cè)試取得開源模型最高分；中文任務(wù)上，Qwen72B霸榜CEval、CMMLU、GaokaoBench等基準(zhǔn)，得分超越GPT4；數(shù)學(xué)推理方面，Qwen72B在GSM8K、MATH測(cè)評(píng)中斷層式領(lǐng)先其他開源模型；代碼理解方面，Qwen72B在HumanEval、MBPP等測(cè)評(píng)中的表現(xiàn)大幅提升，代碼能力有了質(zhì)的飛躍。此外，Qwen72B可以處理最多32k的長文本輸入，在長文本理解測(cè)試集LEval上取得了超越ChatGPT3.516k的效果。研發(fā)團(tuán)隊(duì)優(yōu)化了Qwen72B的指令遵循、工具使用等技能，使之能更好地被下游應(yīng)用集成。

此前，中國大模型市場(chǎng)還沒出現(xiàn)足以對(duì)標(biāo)Llama 270B的優(yōu)質(zhì)開源模型，對(duì)此，Qwen72B填補(bǔ)了國內(nèi)空白，基于Qwen72B，大中型企業(yè)可開發(fā)商業(yè)應(yīng)用，高校、科研院所可開展AI for Science等科研工作。

如果說Qwen72B“向上摸高”，抬升了開源大模型的尺寸和性能天花板；發(fā)布會(huì)上的另一開源模型Qwen1.8B則“向下探底”，成為尺寸最小的中國開源大模型，推理2K長度文本內(nèi)容僅需3G顯存，可在消費(fèi)級(jí)終端部署。另外，阿里云也開源了音頻理解大模型QwenAudio，該大模型能夠感知和理解人聲、自然聲、動(dòng)物聲、音樂聲等各類語音信號(hào)。用戶可以輸入一段音頻，要求模型給出對(duì)音頻的理解，甚至基于音頻進(jìn)行文學(xué)創(chuàng)作、邏輯推理、故事續(xù)寫等等，音頻理解能夠賦予大模型接近人類的聽覺能力。

從18億、70億、140億到720億參數(shù)規(guī)模，用戶可在魔搭社區(qū)直接體驗(yàn)Qwen系列模型效果，也可通過阿里云靈積平臺(tái)調(diào)用模型API，或基于阿里云百煉平臺(tái)定制大模型應(yīng)用。阿里云人工智能平臺(tái)PAI針對(duì)通義千問全系列模型進(jìn)行深度適配，推出了輕量級(jí)微調(diào)、全參數(shù)微調(diào)、分布式訓(xùn)練、離線推理驗(yàn)證、在線服務(wù)部署等服務(wù)。

周靖人在接受記者采訪時(shí)表示，開源生態(tài)對(duì)促進(jìn)中國大模型的技術(shù)進(jìn)步與應(yīng)用落地至關(guān)重要，“技術(shù)發(fā)展一定不是由一家公司完成的，技術(shù)落地背后一定還有很多工作要做，沒有創(chuàng)業(yè)者的參與，一項(xiàng)技術(shù)是難以落地的，只有擁抱開放生態(tài)，才能有效地把我們的技術(shù)能力融入到各行各業(yè)。”

校對(duì) 趙琳