微軟發布13億參數小模型phi-1.5

IT之家 9 月 12 日消息，微軟研究院昨日發布了名為 phi1.5 的全新預訓練語言模型，共有 13 億個參數，適用于 QA 問答、聊天格式和代碼等等場景。

phi1.5 采用來自 StackOverflow 平臺關于 Python 板塊的 Q&A 內容、code_contests 中的競爭代碼、合成 Python 教科書，gpt3.5turbo0301 生成等各種數據集，此外還包括各種 NLP 合成文本組成的新數據源。

微軟表示在測試常識、語言理解和邏輯推理的基準下，phi1.5 的表現超出了大部分參數低于 100 萬的模型。phi1.5 在 AGIEval 得分上超過了擁有 70 億參數、來自 Meta 的 llama2；在帶 LMEval Harness 的 GPT4AL 跑分套件中，可以媲美 70 億參數的 llama2。

IT之家在此附上鏈接，感興趣的用戶可以點擊閱讀。