清華大學合作推出體驗式協同學習：總結歷史經驗，提高學習能力

IT之家 1 月 2 日消息，機器學習和人工智能已經在各行各業掀起了新的變革浪潮，其重點表現形式是各種大模型支撐的“智能體”（agent），指能自主活動的軟件或者硬件實體。

這些“智能體”可以和用戶進行自然對話，并根據對話內容獨立處理各種任務，展示了它們在眾多領域徹底改變任務解決方式的潛力。

不過這些人工智能驅動的“智能體”面臨的一個重大挑戰是，它們傾向于孤立運行，經常會重復錯誤，并采用低效的試錯方法，限制了它們的效率，阻礙了它們的學習過程。

雖然大語言模型陸續開發了上下文敏感記憶、多步驟規劃和戰略性工具等高級功能，但這些“智能體”在執行任務時通常無法吸取歷史經驗，從而導致其解決問題的能力效率低下。

來自清華大學、大連理工大學和北京郵電大學的科研團隊近日推出了突破性框架“體驗式協同學習”（Experiential CoLearning），目標是大幅提高“智能體”的學習能力。

這一創新方法將過去的經驗融入到“智能體”的操作結構中，從而重新定義了“智能體”的協作和學習方式。

該框架包括三個不可分割的模塊：共同追蹤（cotracking）、共同記憶（comemorizing）和共同推理（coreasoning），每個模塊都在增強“智能體”的協作和學習能力方面發揮著至關重要的作用。

“智能體”進行合作演練，對各種訓練任務的“程序軌跡”進行細致追蹤。這種跟蹤為“智能體”分享經驗和合作制定策略奠定了基礎。

根據外部環境反饋，從這些軌跡中策略性地提取“快捷方式”，從而進一步推進上述工作。這些“快捷方式”被整合到“智能體”的集體經驗庫中，使他們能夠參考過去的經驗，加強未來的任務解決策略。

結合了“智能體”的集體經驗庫，使它們能夠通過細化指令和響應進行更高級的互動。通過利用各自的經驗知識，“智能體”可為未知任務提供更有洞察力和更準確的解決方案。

團隊在部署“體驗式協同學習”之后，發現可顯著提高“智能體”的學習能力，具備更高的協作效率，大大減少了重復性錯誤和執行時間，并減少了軟件開發中對額外人力參與的需求。

“智能體”能夠從過去的經驗中回憶并應用高質量的 &34;捷徑&34;，再結合底層 LLM 的能力，證明了性能的提高。

該框架使“智能體”能夠從過去的經驗中學習并有效利用這些經驗，從而彌補了它們在操作能力上的一個關鍵差距。

這一進步提高了自主“智能體”的效率，減少了它們對人工干預的依賴，為未來的獨立智能系統鋪平了道路。

IT之家附上論文參考地址：https://arxiv.org/abs/2312.17025v1