高通正式揮軍資料中心 AI 推論市場
美國晶片大廠，宣布推出新一代專為資料中心AI推論最佳化的解決方案，是以高通AI200與AI250晶片為基礎打造的加速卡及機架系統。高通強調，以其在NPU技術領域的地位為基礎，這些解決方案提供機架級效能與卓越的記憶體容量，能以出色的每美元每瓦高效能，支援快速生成式AI推論，並在推動跨產業可擴展、高效且靈活的生成式AI上邁出重大突破。
高通指出，以AI200推出專為機架級AI推論打造的解決方案，希望為大型語言模型（LLM）、多模態模型（LMM）推論及其他AI工作負載提供低總體擁有成本（TCO）與最佳化的效能。每張加速卡支援768 GB的LPDDR記憶體，實現更高容量與更低成本。
而高通AI250解決方案則將首次採用基於近記憶體運算的記憶體架構，透過提供超過10倍的有效記憶體頻寬，並大幅降低功耗，為AI推論工作負載在效率與效能上帶來躍進。此架構可實現分離式AI推論，提升硬體資源利用效率，同時滿足客戶在效能與成本上的需求。
上述兩款機架級解決方案皆配備直接液冷技術以提升散熱效率，支援PCIe垂直擴展與乙太網路橫向擴展，並具備機密運算功能，以確保AI工作負載的安全性，而整個機架的功耗為160千瓦。
高通旗下高通技術公司資深副總裁暨技術規劃、邊緣解決方案與資料中心總經理Durga Malladi表示，透過AI200與AI250，正重新定義機架級規模AI推論的可能性。
這些AI基礎架構解決方案能讓客戶以前所未有的總體擁有成本（TCO）部署生成式AI，並兼顧現代資料中心所需的靈活性與安全性。豐富的軟體堆疊與開放生態系統支援，讓開發者與企業能比以往更輕鬆地在最佳化的AI推論解決方案上整合、管理並擴展已訓練完成的AI模型。透過與主流AI框架的無縫相容性及一鍵式模型部署功能，AI200與AI250將支持企業輕鬆導入並加速創新。
高通AI200與AI250預計將分別於2026年與2027年正式上市。高通強調，未來將致力於按年度迭代節奏，持續推動資料中心產品藍圖發展，專注於提供業界領先的AI推論效能、能源效率與最佳總體擁有成本。