← AI 動態
The Decoder
輝達發布開源AI閃電版：以小參數達成極致運算速度
輝達推出開源模型 Nemotron 3.5 閃電版，僅用 36 億活躍參數就達到大型模型的智力水準。它主打極致的生成速度，展現小參數模型在終端設備高效運算的強大潛力。
Nvidia
開源模型
輕量化AI
輝達 (Nvidia) 發表了最新一代的開源語言模型「Nemotron 3.5 Lightning」。這款模型最大的亮點在於採用混合架構設計，總參數雖有 316 億，但運作時僅激活 36 億個參數。這讓它在有限的硬體資源下依然能高效運行。
儘管體積小巧，Nemotron 3.5 閃電版在智力測試中的表現卻毫不遜色，能力足以媲美參數體積大它四倍的競爭對手。更令人驚豔的是其生成速度，每秒能處理將近 670 個 token，成為同級別中最快的 AI 模型。對企業和開發者而言，這意味著能以更低的運算成本，提供近乎零延遲的 AI 服務。
對一般大眾來說，這項技術發展代表未來將有更多反應極快、且能在一般電腦或手機上直接運行的聰明 AI 助理。它打破了「模型越大才越聰明」的迷思，證實透過精巧的架構設計，小型模型也能兼顧速度與智慧，進一步推動 AI 應用的普及化。