輝達 GTC 盛會/Groq 3 LPU 也來了 補齊推理架構關鍵拼圖
輝達去年底宣布斥資200億美元收購AI晶片新創Groq,震撼市場,執行長黃仁勳16日揭露導入Groq語言處理單元(LPU)技術的新晶片「NVIDIA Groq 3 LPU」,將其納入新一代Vera Rubin。
黃仁勳並證實,Groq 3 LPU由三星代工,已進入量產階段,預計下半年出貨,打破輝達過往AI晶片都由台積電(2330)代工的局面。
黃仁勳指出,AI應用由訓練轉向推理與代理型AI,低延遲與高效率符元(token)生成成為關鍵,輝達透過與Groq的技術授權合作,補齊推理架構中的關鍵拼圖。
輝達指出,Groq 3 LPU採用靜態資料流設計,以高達500MB片上SRAM為核心,專為高速符元生成優化,具備更低延遲與更佳成本效益,特別適用於即時推理與長鏈任務場景。
黃仁勳說,此次整合使Vera Rubin系統架構由原本的六款晶片擴充至七款晶片,形成更完整的AI工廠運算平台。