← AI 動態
The Decoder
谷歌推出多標記預測技術，Gem4模型生成文本速度提升三倍
谷歌的Gem4模型通過多標記預測技術提升文本生成速度，使用輔助模型預測多個標記並進行單次校驗
AI
NLP
Gem4
谷歌最近推出了多標記預測技術（MTP），旨在提升其開源AI模型Gem4的文本生成速度。Gem4模型是一種大型語言模型，通常以一個標記一個標記的方式生成文本，這個過程需要從記憶中加載數十億個參數，每次等待數據的時間相當長。谷歌的MTP技術解決了這個瓶頸，使用一個小型輔助模型在主模型等待數據的同時預測多個標記，然後主模型對這些預測進行單次校驗，如果正確，則一次接受。這項技術使得Gem4模型的文本生成速度提升了三倍，具有重要意義。這項技術的推出對於自然語言處理（NLP）領域具有重要影響，可以加速文本生成、翻譯等應用，對於企業和個人使用者都具有潛在價值。