← AI 動態
The Decoder
AI越聊越健忘?壓縮上下文竟遺失八成用戶指令
當AI為節省空間而壓縮長篇對話時,會默默遺忘高達83%的用戶限制指令(如:未經同意不准寄信)。賓州州立大學研究團隊為此提出了能有效保留指令的新解方。
上下文視窗
大型語言模型
AI安全
許多人在使用 AI 時,習慣將所有資訊塞進同一個對話視窗中不停提問。然而,AI 的「上下文視窗」有其極限。為了避免超出記憶限制,AI 系統在處理長篇對話時會進行「上下文壓縮」(Compaction),將過往的對話內容進行摘要與濃縮。
賓州州立大學的最新研究發現,這種壓縮機制存在致命的缺點:平均有高達 83% 的「用戶限制與指令」會在摘要過程中遺失。這意味著,你可能早就警告過 AI「未經同意不能自動寄出信件」,但它在壓縮對話後就忘得一乾二淨,進而引發潛在的失控或資安風險。
為解決這個問題,研究團隊利用開源模型 Qwen3.5-9B 開發了一個輕量級的附加模組。該模組專門用來在對話壓縮時,優先識別並提取關鍵的使用者限制,成功將指令保留率大幅提升至 90% 以上。這項技術未來將有助於打造記憶力更佳、更安全且「聽話」的 AI 應用服務。