← AI 動態
Simon Willison
介紹 Talkie：一種來自 1930 年代的 13B 老式語言模型
Talkie 是一種基於 1930 年代前英語文本的 13B 語言模型，具有聊天功能和語言生成能力
語言模型
生成式 AI
聊天機器人
Talkie 是一個新項目，由 Nick Levine、David Duvenaud 和 Alec Radford 等人開發。它基於 260B 個 1931 年前英語文本的 token 訓練，具有 13B 的參數數量。Talkie-1930-13b-base 和 talkie-1930-13b-it 是兩種不同的模型，前者是一個基本模型，後者是基於指令-響應對的數據進行微調的模型。這個項目的研究目標包括評估模型預測未來事件的能力、發現過去知識截止點以外的新事物、以及教導模型進行編程。這個項目對於語言模型的發展和應用具有重要意義，尤其是在語言生成和聊天機器人領域。