← AI 動態
The Decoder
騰訊開源Hy3模型：性能媲美五倍大小的模型
騰訊開源Hy3模型，采用混合專家架構，總參數295億，活躍參數21億，性能媲美五倍大小的模型
語言模型
開源
混合專家架構
騰訊近日開源了一個名為Hy3的語言模型，該模型采用混合專家架構，總參數達到295億，活躍參數為21億。Hy3的性能據稱媲美五倍大小的模型，並且在內部測試中，Hallucination率從12.5%下降到5.4%。這個模型的開源對於AI研究和開發具有重要意義，因為它可以幫助研究人員和開發者更好地理解和應用大規模語言模型。另外，Hy3的開源也可能促進AI技術的進一步發展和應用。