← AI 動態
Simon Willison
騰訊推出 Hy3 模型：295B 參數的 MoE 模型
騰訊推出 Hy3 模型，一個 295B 參數的 Mixture-of-Experts 模型，在各種任務中表現出色
AI
模型
騰訊
騰訊的 Hy3 模型是一個 295B 參數的 Mixture-of-Experts 模型，具有 21B 活躍參數和 3.8B MTP 層參數。该模型在各种任务中都表現出色，甚至超越了一些類似大小的模型。Hy3 模型的全尺寸模型大小為 598GB，FP8 量化模型大小為 300GB。该模型的上下文長度為 256K。 Hy3 模型的推出對於 AI 研究和應用具有重要意義，因為它提供了一種新的模型結構和訓練方法，可以用於多種任務和應用中。另外，Hy3 模型的開源也使得更多的研究人員和開發人員可以使用和研究這個模型，進一步推動 AI 技術的發展