【吃電怪獸3-1】AI答題用電量驚人！2機櫃輝達GB300電力負載就超過整棟台電大樓
ChatGPT橫空出世後，「凡事問AI」已成眾人日常；而你是否曾經好奇，人們每問Google一個問題，每問ChatGPT一個問題，要用多少電？
日前台電公司高層舉行一場內部研討會，廣邀學者專家探討AI Data Center時代下電網韌性的挑戰與因應；中正大學電機系教授張文恭就在會中拋出以上靈魂考問。
張文恭說，以上這些疑問，在他查閱國際能源總署（IEA）刊物後得到解答；每問Google一個問題，用電量是0.3瓦特小時；若是問Chat GPT則是2.9瓦特小時，也就是說，ChatGPT用電量大概是Google的10倍。
張文恭再比喻，如果將一杯約250毫升約20℃常溫水燒開，所需要的電力大約就是向ChatGPT提問100次到150次。
而這些電力都消耗在哪個環節？張文恭經過思索後恍然大悟，原來都是AI Data Center（AI資料中心）裡的伺服器在用電。
台電董事長曾文生則具像化說明，以輝達GB300伺服器為例，1個機櫃的電力負載就1.4MW，2個機櫃就高達2.8MW，用電量遠遠高於整棟台電大樓的2.5MW。
台電總經理王耀庭也說，1個機櫃大小約2公尺高，19吋見方，相當於一個冰箱的大小，很難想像一個小房間塞滿算力機櫃的用電量。此外，為了傳輸這些算力機櫃所需電力，這樣等級的電纜是一條手臂粗的電線將三條一組纏繞一起，恐怕需要幾十條；王耀庭反問，若要布建這些電纜，台北市的地底下可以這樣無限制的開挖嗎？
王耀庭最後自我解嘲，所幸現在2個機櫃的GB300就要價1億元，成本考量之下，初期裝設量還不至太多太快。但他也預料，待未來AI應用更廣泛後，AI資料中心的設置量將呈指數型成長，這意味著將來電力需求也是指數型成長。
也就是說，若都會區極小的商辦空間設置AI算力中心，局部電網用電量將遠遠高過工廠林立的工業區，用電密度極大，對局部電網帶來非常高的挑戰。
因此，如何在發展AI的同時，又能兼顧電力供應與韌性，如何與AI資料中心這群「吃電怪獸」和平相處，成為台電公司當下最大挑戰。