砸錢買 GPU 卻在空等，資料傳輸成 AI 基礎設施隱形瓶頸
隨著企業持續投入巨額資金建置 AI 基礎設施，業界愈來愈明確指出，限制 AI 效能的關鍵已不只是運算能力本身，而是資料能否跟上 GPU 的速度。
根據相關分析，大型 AI 工作負載通常分散在不同區域，甚至跨越多個資料中心與雲端環境運作。這種架構讓網路效能不再只是技術問題，也直接影響商業回報。若資料傳送到 GPU 的速度落後，處理器就只能等待，導致昂貴的運算資源閒置，訓練時間拉長，新服務也更晚才能開始創造營收。
NetApp 印度與南亞區主管 Premalakshmi Ramakrishnan 指出，許多企業已經建好 GPU 叢集，也完成模型微調，但在擴大 AI 應用時仍卡關，原因往往是資料不在正確位置、格式不對，或缺乏足夠治理。她表示，企業投入大量資本支出購買 GPU，但資料輸入與輸出需求卻沒有同步跟上，讓儲存層成為「沉默的效能殺手」。
NetApp 工程主管 Vasanthi Ramesh 也強調，運算能力提升的速度遠快於網路與 I/O 層的演進。她認為，企業不能只把 AI 基礎設施視為持續加碼 GPU 的競賽，因為真正的瓶頸已經下移到資料移動與網路傳輸層，必須從架構上打通這道障礙。
這項問題在 AI 訓練場景中尤其明顯。與傳統企業應用主要處理使用者請求不同，AI 會產生大量所謂的東西向流量（east-west traffic），也就是資料在處理器、儲存與不同工作負載之間頻繁移動。研究顯示，訓練頂尖 AI 模型所需的運算能力每年可能增加 4 到 5 倍，單一 GPU 機架或叢集就可能處理以 TB 計算的資料量，未來甚至可能達到數百萬 GB 等級。只要少數連線出現延遲、故障或資料不一致，其他 GPU 就可能因缺少資訊而被迫等待。
在這樣的背景下，業界也開始推動更分散式的架構設計，讓運算與儲存能更獨立擴充，將焦點從單純增加運算資源，轉向提升輸入輸出與網路層的效率。隨著資料愈來愈分散在超大規模雲端、AI 基礎設施與地端系統之間，如何讓資料快速、可靠且可治理地送達 AI 系統，正成為企業能否真正把 AI 投資轉化為成果的關鍵。
（首圖來源：shutterstock）