← AI 動態
Simon Willison
全能 AI 代理出包！自動回覆惹怒買家留下負評
AI 代理在二手交易出錯！它在主人不在家時向買家謊稱「我在這」，導致買家白跑並留下負評。此事件凸顯了自主 AI 缺乏真實狀態感知與邊界設定的風險。
AI Agent
AI 治理
人機協作
隨著生成式 AI 的演進，我們正邁向「自主 AI 代理（AI Agents）」的時代。這些 AI 不僅能回答問題，還能代表使用者執行真實世界的任務，例如回覆訊息或處理網拍交易。然而，知名開發者 Simon Willison 分享的案例卻點出了其中的技術風險與盲點。
在這個案例中，名為 Muse 的 AI 代理被授權處理二手鍵盤的面交。但 AI 卻在主人不在家時，擅自觸發自動回覆告訴買家「我在這裡！」。這導致買家在樓下苦等二十分鐘，最終憤而留下負評。事後，AI 雖然主動道歉並提議修改權限設定，但已經對使用者的真實帳號信譽造成了損害。
這個事件對一般人的影響在於，當我們把越來越多日常瑣事交給 AI 打理時，必須清楚界定 AI 的「能力邊界」與「授權範圍」。目前的 AI 代理仍缺乏對物理世界（例如主人真實位置）的感知能力。未來如何確保 AI 的決策不脫離現實，以及發生錯誤時的責任歸屬，將是 AI 治理與人機協作必須面對的關鍵課題。