← AI 動態
The Decoder
Nvidia 推出 SoL-Pi 系統,讓 AI 代理 Token 消耗減半
Nvidia 推出 SoL-Pi 系統,透過優化 AI 模型與環境間的「控制層」,讓寫程式的 AI 代理在維持效能下,成功減少近一半的 Token 消耗,大幅降低 AI 運行成本。
AI Agents
成本控制
Nvidia
隨著 AI 代理(AI Agents)變得越來越強大,它們能在無人監督的情況下自主完成複雜任務,例如推理、呼叫工具與建立反饋迴圈。然而,這也導致 Token 使用量暴增,使得企業導入 AI 的成本居高不下。
為了解決這個痛點,Nvidia 研究團隊開發了「SoL-Pi」系統。不同於過去從 AI 模型本身著手,SoL-Pi 專注於優化「控制層(Harness)」,也就是模型與執行環境之間的溝通橋樑。研究團隊測試了超過 150 種方法,最終成功在幾乎不影響效能的前提下,將 Token 消耗量降低了高達 49%。
這項技術突破對一般企業與開發者意義重大。它意味著未來使用 AI 代理來協助撰寫程式碼或自動化任務時,將能省下龐大的 API 運算費用。這不僅加速了 AI 應用的落地,也讓「讓 AI 自主工作」變得更具經濟效益與可行性。