5分鐘一鍵部署您的本地私人聊天型ChatGPT助理

5分鐘一鍵部署您的本地私人聊天型ChatGPT助理 一句話測試總結(jié)：優(yōu)點(diǎn)：可以選擇各種類型的 AI 角色進(jìn)行各種各樣的對話。練習(xí)英語聊天的絕好幫手。缺點(diǎn)：只能英語聊天！需要一定的英文基礎(chǔ)，6b 模型 4bit 量化，不夠智能，內(nèi)容容易聊偏

安裝方式：

Pygmalion AI + oobabooga +Tavern AI

平臺信息： AMD2600， 1070Ti 8G，48G 內(nèi)存（這次沒有用到）

這次模型是跑在 8G GPU 內(nèi)存上的，因?yàn)槲覜]有高級顯卡所以 Tavern AI 輸出速度比較慢，但是直接用 startwebui 腳本的對話速度很快，完全可以拿來練習(xí)英語。

安裝方式：進(jìn)入 github 下載 windows 一鍵安裝包https://github.com/oobabooga/textgenerationwebui

install 批處理文件會自動幫你安裝 conda 環(huán)境

downloadmodel 批處理文件會幫你從抱抱臉下載相應(yīng)的模型，這里我們選擇 L 然后輸入 mayaeary/pygmalion6b4bit128g 進(jìn)行下載。 最終文件夾一共 21GB 大。

最后 github 下載 Tavern AI 安裝包（這個(gè)會加載人物資料和性格，對話會很慢），想單純體驗(yàn)無限制本地角色扮演型對話的用自帶的 startwebui 腳本就夠了。

追求更多種類的對話角色何以安裝 Tavern AI 在里面選擇別人做好的 AI。

基本什么都能聊，英文好的話可以聊一天，是一款不錯(cuò)的解悶，聊天型對話模型，更多的使用姿勢有待開發(fā)。