給人工智能投喂了《四庫全書》等古籍文獻后，它已經(jīng)能寫古詩了

輸入指令，就能生成一首像模像樣的古詩；點幾下鼠標，難懂的古文就被翻譯成現(xiàn)代漢語。

南京農(nóng)業(yè)大學信息管理學院王東波教授研究團隊近日發(fā)布的“荀子”古籍大語言模型，是國內(nèi)首個專門應用于古籍處理與研究的智能工具，能夠?qū)崿F(xiàn)文本翻譯、實體識別、文本摘要、文本標注、標點和詞法分析、詩歌生成等任務。

今年，大模型特別火熱。在上個月的世界互聯(lián)網(wǎng)大會烏鎮(zhèn)峰會上，各個企業(yè)研發(fā)的通用大模型就成為大眾的寵兒，展示臺前總是排著長隊，大家都想體驗上一番。有文化遺產(chǎn)保護領域的專家提出，愿意提供相關數(shù)據(jù)，未來希望能夠?qū)⒋竽Ｐ秃妥约貉芯康拇怪鳖I域相結合。

“荀子”就是一種垂直領域的大模型。

王東波介紹，目前的通用大語言模型在解決領域化的問題和具體應用需求上整體性能還不突出，所以需要領域化、場景化的大語言模型，這也是構建“荀子”大語言模型的意義和價值之所在。

在王東波看來，開發(fā)古籍大語言模型是一個很大的工程。他的研究團隊基本上涵蓋了計算機、信息管理、語言學、古典文獻學和目錄學等各個領域的人員，是一個跨學校、跨專業(yè)和跨領域的團隊。在數(shù)據(jù)加工、參數(shù)調(diào)優(yōu)和場景的應用方面均經(jīng)過了反復、多次和長時間的驗證、討論和總結。“在這個過程中最難的還是高質(zhì)量數(shù)據(jù)的加工和整理，投入時間和人力最多，也是最難之處。”他說。

王東波團隊從2008年開始接觸古籍，2013年至今一直專注于人工精標注數(shù)據(jù)的工作，在大量人工標注的基礎上，再讓機器學習。團隊給“荀子”投喂了40億字大型混合語料數(shù)據(jù)，包含了《四庫全書》在內(nèi)的諸多古籍文獻。但他也坦言，“我們這個模型目前還有很多問題，關鍵是高質(zhì)量精加工數(shù)據(jù)的缺乏導致。”

之后，“荀子”古籍大語言模型也將應用在文化產(chǎn)業(yè)方面，比如數(shù)字人、游戲、文化旅游。在教育層面，能夠應用在中小學的古籍學習和教學、大學生的古籍文化傳授等方面。

隨著國內(nèi)大模型的不斷發(fā)展，對垂直模型的重視也在不斷增加，有業(yè)內(nèi)人士指出，這將是百模大戰(zhàn)的“后半場”。比如華為發(fā)布盤古金融、電力、藥物分子三個垂直領域大模型；阿里云宣布與7家企業(yè)推動大模型在油氣、電力、交通等行業(yè)落地；百度正式發(fā)布國內(nèi)首個“產(chǎn)業(yè)級”醫(yī)療AI大模型靈醫(yī)大模型；攜程集團發(fā)布首個旅游行業(yè)垂直大模型“攜程問道”等。尤其是在金融和醫(yī)療領域，垂直大模型已經(jīng)加速落地。而比起普適性的通用大模型，垂直大模型對專業(yè)度的要求更高，更能針對性地解決行業(yè)問題。“在真正的AGI（人工通用智能）未實現(xiàn)之前，垂直領域的大語言模型仍有其存在的必要和價值。”王東波說。

欄目主編：孔令君 文字編輯：孔令君 題圖來源：上觀題圖

來源：作者：劉暢