← AI 動態
The Decoder
AI先驅Sutton：用合成數據訓練大模型是巨大錯誤
強化學習之父Richard Sutton警告，現實世界無限複雜，依賴人類知識生成的合成數據將成為大模型發展的瓶頸，無法真正解決擴展難題。
合成數據
大型語言模型
強化學習
隨著大語言模型（LLM）對訓練數據的需求日益增加，許多頂級AI實驗室開始轉向使用「合成數據」來突破資料枯竭的限制。然而，圖靈獎得主暨強化學習先驅 Richard Sutton 對此策略提出強烈警告，直指這是一個「巨大的錯誤」。
Sutton 強調，真實世界具有無限的複雜性，而任何基於現有數據或人類專業知識所生成的模擬數據，都顯得過於「微觀」且具侷限性。他重申了其經典論文《苦澀的教訓》（The Bitter Lesson）的核心觀點：過度依賴人類知識來餵養AI終將遇到瓶頸。Sutton 認為，與其依賴封閉的合成數據，AI 應該轉向代理人（Agents）模式，透過在真實環境中持續互動與試錯來學習。
對一般使用者與企業而言，這意味著當前依靠「餵更多資料」來提升AI能力的路線可能即將撞牆。未來的AI突破點，可能在於具備自主探索能力的技術，這將深刻改變下一代AI產品的開發與應用邏輯。