xAI 坐擁 55 萬顆 NVIDIA GPU，使用率傳僅 11% 落後 Meta、Google
外媒 The Information 報導，馬斯克（Elon Musk）掌控的 xAI 目前只能利用其全部 NVIDIA GPU 逾 10%，表明其 AI 軟體堆疊經過最佳化仍表現平平。
xAI 目前擁有約 55 萬顆 NVIDIA GPU，其中包括 H100 和 H200 系列。這些 GPU 部署於 xAI 的 Memphis 與 Colussus 超級電腦叢集中，部分採用液冷配置。儘管這些 GPU 比最新的 Blackwell 產品晚了一個世代，但 xAI 部署的 GPU 規模之大令市場印象深刻。
儘管總數驚人，但 xAI 目前僅能使用這 55 萬顆 GPU 中的 11%；換算下來，相當於 6 萬顆 GPU 對比 xAI 伺服器當中所安裝的 50 萬顆，是什麼原因造成這種嚴重的使用瓶頸？
首先，對於小規模的部署環境（1,000 顆至 10,000 顆 GPU）而言，這不算是大問題。然而隨著伺服器規模擴大、整合數十萬顆 GPU 後，閒置時間會迅速累積，使用率也會大幅下滑。這導致軟體堆疊中出現若干不一致的狀況，而 xAI 目前存在這樣的問題。這不只 xAI 有發生，而是整個 AI 產業普遍存在的結構性問題，因為大規模的效率提升極為困難。
某些公司全力投入自家的軟體堆疊，晶片使用率得以超過 40%，高於一般 35% 至 45% 水準，如 Meta 和 Google 的使用率分別達到 43% 和 46%。
至於 xAI 的分散式訓練網路和軟體堆疊目前仍未成熟，這導致 GPU 閒置時間拉長，資料管道和分析階段也反覆出現瓶頸。
xAI 計劃以 50% 使用率為目標來解決這樣的問題，關鍵的改變將落在基礎設施和軟體堆疊的最佳化上，而 xAI 未公布預估時程。未來將工作負載轉移至能驅動代理式 AI 需求的硬體之際，可能為其龐大的 GPU 提供租賃服務。
這方面，馬斯克帶領團隊全力投入 TeraFab 專案，自主研發多款晶片做為其 AI 系列的一部分，並利用英特爾的 14A 製程，為未來的 xAI、SpaceX 及其他事業打造先進的解決方案。
（首圖來源：xAI）