← AI 動態
The Decoder
AI 評測防作弊！新指標拉大開源與閉源模型差距
AI 評測機構 Artificial Analysis 大幅更新指標，改用私密測試集防範「刷榜」行為。這導致多款開源模型排名大跌，與頂尖閉源模型的差距顯著擴大。
AI模型評測
開源與閉源
大語言模型
AI 模型的評測分數一直備受爭議，因為部分開發者會透過「刷榜」（Benchmaxxing）的方式，讓模型刻意學習公開的測試題目，從而取得不真實的高分。為了呈現更準確的模型能力，知名評測機構 Artificial Analysis 在最新的第五版智慧指標中，將高達 60% 的測試集改為未公開的私有題目。
這項防弊措施引發了排行榜的強烈震盪。原本排名第四的知名模型 Kimi K3.1 Pro 慘跌至第九名，落後於八款閉源模型；Grok 4.7 的表現也受到影響。整體而言，開源陣營與頂尖閉源模型的分數差距，從原本的 3 分急劇擴大到了 12 分，顯示過去的評測方式可能高估了部分模型的實際能力。
這則新聞突顯了「模型評估」在 AI 產業中的挑戰。對一般使用者與企業來說，這意味著不應盲目迷信跑分數據。在挑選 AI 工具時，更應著重於模型在真實工作場景中的實際表現，因為真正的 AI 實力是無法靠考前死背來偽裝的。