群聯發表 aiDAPTIV 多層級記憶體架構技術，支援大型 AI 模型與長文推論工作
群聯電子宣布，於全球AI技術指標性盛會 NVIDIA GTC 展會上，正式發表其革命性的「aiDAPTIV 多層級記憶體架構技術（multi-tier memory architecture）」。此技術旨在協助由 NVIDIA 平台驅動的本地邊緣 AI 系統，在不擴增現有 GPU 硬體的前提下，順利支援更大型的 AI 模型與長上下文推論工作。
AI 運算面臨記憶體短缺與成本挑戰 隨著生成式 AI 的普及，市場對 AI 就緒平台的需求正以驚人的速度攀升，然而全球產業卻同時面臨日益嚴峻的記憶體供給短缺狀況。企業在針對專有資料進行 AI 模型微調與推論時，往往需要極其龐大的運算能力與記憶體資源，這使得企業在投資 AI 基礎設施與邊緣設備時面臨極大挑戰。高昂的 AI 解決方案成本與工作流程中浮現的硬體瓶頸，更進一步拖慢了企業將 AI 創新轉化為實際營收的產品上市時程。
群聯強調，aiDAPTIV 技術打破系統記憶體容量限制。而且×為了解決邊緣 AI 應用的痛點，群聯電子量身打造了 aiDAPTIV 多層級記憶體架構技術。該技術將群聯專為企業級設計的 Pascari SSD 轉化為全新的「AI 記憶體層級」，使其能夠在 GPU 記憶體、系統 RAM 與 NAND Flash 快閃記憶體之間，智慧地延伸並管理 AI 運算所需的工作記憶體。
另外，aiDAPTIV 技術特別採用了專為「持續分頁」與「上下文保存」優化設計的高耐久度快閃記憶體。這項創新使本地邊緣系統能在固定的 GPU 硬體配置下，順利執行過去可能超出系統記憶體容量限制的記憶體密集需求 AI 推論與模型微調工作負載，同時兼顧企業的資料隱私，並大幅提升長期 AI 基礎設施的投資效率。
群聯執行長潘健成表示，傳統記憶體管理機制並非為 AI 應用所設計，而今日的 AI 基礎設施也已無法再依賴通用型的記憶體管理方式。他強調，群聯透過 aiDAPTIV 打造了一個具備 AI 感知能力的記憶體架構，能在多層級記憶體之間延伸 AI 有效記憶體容量，協助企業更有效地規劃 AI 基礎設施投資。
(首圖來源：科技新報攝)