批 PC 配大量 DRAM「相當糟糕」!Sam Altman:應優先配置 AI 資料中心
OpenAI 執行長Sam Altman 近日談及AI 運算資源配置時,直言一般消費者將大量DRAM 配置在個人電腦(PC)中,卻只有少部分時間實際使用,是相當糟糕的做法。他認為,在全球記憶體供應吃緊的情況下,應將有限的DRAM 集中配置於資料中心,透過雲端運算提高使用率。
Altman 接受YouTube 頻道Cheeky Pint 訪談時,談到開源模型與本地端推論(Local Inference)的發展,他表示外界普遍預期未來使用者能直接透過現有個人電腦,或自行組裝硬體設備,在本地端執行AI 模型,但從全球資源配置的角度來看,這並不是最有效率的方式。
Altman 指出,從全球資源配置的角度來看,讓每個人的電腦都放著大量全球供應有限的DRAM,而且這些記憶體只有5% 的時間在使用,實際上是相當糟糕的做法,「如果你想在這個供應極度受限的環境中有效運用資源,就應該讓雲端的使用率達到最大化。但不知為何,許多人的直覺卻恰好相反」。
雖然OpenAI 已推出部分開源模型,但主要商業模式仍以透過資料中心提供閉源模型服務為主,使用者通常需要透過雲端存取模型。目前OpenAI 還不至於受筆電或個人電腦的威脅,但隨著本地端AI 發展,使用者便有機會直接在個人電腦執行AI 模型, 降低對雲端服務的依賴,甚至減少GPT-6 Luna 等AI 訂閱服務的支出。
因此,Altman 主張將更多DRAM 集中配置於資料中心,也是為了AI 業者的商業利益。對OpenAI 而言,透過雲端集中管理運算資源,不僅能提高硬體使用率,也有助於維持以訂閱及雲端服務為核心的營運模式。
不過,Altman 的說法也引發硬體愛好者對未來運算模式的疑慮。隨著AI 服務逐漸仰賴大型資料中心,若記憶體與運算資源持續向雲端集中,消費者未來可能愈來愈難以透過自行購買硬體、安裝軟體的方式掌握AI 使用權,而必須依賴租用雲端運算資源及AI 代理服務。
此外,Altman 的論點也建立在資料中心持續擴建、AI 運算需求長期成長的前提上,並認為全天候運作的AI 資料中心,能比一般個人電腦更有效率地利用記憶體資源。然而,個人電腦的DRAM 除了執行AI,也廣泛用於試算表、網頁瀏覽、遊戲及其他日常工作,不能單純以記憶體使用時間衡量其價值。
(首圖來源:shutterstock)