← AI 動態
The Decoder
百度 Ernie 5.1 減少 94% 預訓練成本
百度的 Ernie 5.1 模型減少了 94% 的預訓練成本，同時保持了與頂級模型的競爭力
AI
語言模型
預訓練
百度的 Ernie 5.1 模型是一個語言模型，使用了一種新的方法來減少預訓練成本。這個方法稱為 ‘Once-For-All’，它可以從一個單一的訓練過程中提取出小型的子模型。這樣可以減少預訓練的成本和時間。Ernie 5.1 模型使用了一個四階段的訓練流程，包括專門的模型 برای程式碼、邏輯和代理任務。這個模型已經被整合到百度的平台中，可以用於各種創造性應用。然而，模型的權重仍然是封閉的，無法進行獨立的驗證。這個模型的出現對於 AI 的發展具有重要意義，因為它可以減少預訓練的成本和時間，從而使得更多的人可以使用 AI 技術。這個模型的優點是可以減少預訓練的成本和時間，同時保持了與頂級模型的競爭力。