← AI 動態 The Decoder

AMD收購Taalas:把AI模型刻入晶片,解鎖極速

AMD 收購加拿大新創 Taalas。該公司將 AI 模型參數直接燒錄進實體晶片中,雖限制晶片只能跑單一模型,卻換來每秒生成超過萬字的極致推論速度。

AI晶片 大型語言模型 硬體加速
AMD收購Taalas:把AI模型刻入晶片,解鎖極速

近期 AMD 宣布收購加拿大 AI 晶片新創 Taalas。這家公司主打一種極為破格的硬體技術:把大型語言模型的架構與訓練好的參數(權重),直接「硬編碼」燒錄到晶片實體電路中。這打破了傳統運算晶片的通用性,讓每塊晶片成為特定 AI 模型的「專屬大腦」。

這種做法最大的優勢就是極致的「快」。在內部測試中,這款特製晶片運行 Llama 3.1-8B 模型時,能為單一使用者提供每秒超過 16,000 個詞元(Token)的生成速度,遠遠將現有的推論硬體拋在腦後。然而,代價是晶片被永久綁定單一模型,無法隨意更新或切換。

對一般大眾與企業而言,這預示著 AI 終端設備的新方向。據傳 Google 也正為 Gemini 開發類似技術。未來,我們身邊的設備可能會內建這些高度客製化的「專武晶片」,在不依賴雲端龐大算力的情況下,以極致的延遲速度提供強大且即時的 AI 服務。