← AI 動態
The Decoder
AI程式框架越花俏越好?研究:徒增三倍成本且效能零提升
最新研究揭露,切換不同的AI程式碼代理框架並無法顯著提升程式通過率。相反地,頻繁發送複雜的系統提示詞反而會讓單一任務成本暴增高達三倍,打破新框架必定更好的迷思。
AI寫程式
代理框架
成本控制
系統提示詞
近期許多開發者熱衷於推出如 Claude Code 或 OpenCode 等全新的 AI 程式碼代理框架(Harness),並宣稱能在各項排行榜上帶來更好的效能。然而,山東大學的一項最新控制實驗打破了這個迷思。研究人員在固定大型語言模型的前提下,測試了不同的框架設計,包含系統提示詞、工具與上下文管理機制。
實驗結果發現,單純更換框架對於提升程式碼的「通過率」幾乎沒有顯著幫助,其效果甚至和重複執行原有設定差不多。更嚴重的是,這些複雜的框架為了在程式庫中維持上下文,會在每一個步驟中重複發送系統提示詞,導致 API 呼叫的 Token 消耗量急遽上升,單一任務的花費可能暴增三倍。
這項發現對企業與開發者帶來重要啟示:在評估 AI 開發工具時,不應盲目追求排行榜上由花俏框架堆砌出的成績,而應專注於模型本身的基礎能力。過度複雜的工具包不僅無助於解決根本的程式問題,反而會造成企業在 AI 營運(MLOps)上的預算浪費。