邊緣 AI 興起成記憶體新挑戰，華邦電 CUBE 設計滿足客戶效能功耗需求
近期受到市場記憶體漲價風帶動，營運動能持續推進的記憶體大廠華邦電，在Semicon Taiwan活動的記憶體論壇上，總經理陳沛銘發表演講時指出，在邊緣人工智慧（Edge AI）時代，記憶體創新扮演著關鍵角色。因此，在 AI 應用正從雲端向邊緣裝置擴展情況下，這對記憶體提出了更高的要求，特別是在效能、功耗和延遲方面。
陳沛銘表示，隨著人工智慧的快速發展，人們對 AI 的需求日益成長。最初，AI 計算多在雲端進行，但由於對即時決策、低延遲和低功耗的需求，AI 正在從雲端推向邊緣裝置。邊緣 AI 的應用範圍廣泛，包括消費性電子、PC、電信、汽車以及未來的 AI 機器人。
而在傳統的微控制器（MCU）或微處理器（MPU）系統中，計算能力有限，功耗不是主要考量。然而，當 AI 推理功能被引入邊緣裝置，尤其是在 ASIC 和 MPU 層級，記憶體消耗顯著增加，功耗也可能高達 100 瓦。相較於雲端 AI（如 GB200 使用多個 HBM 和 CPU 消耗 480 GB 記憶體），邊緣 AI 更需要平衡效能、功耗和成本。記憶體因此變得至關重要。
另外，市場趨勢顯示，硬體（包括 SOC、低功耗處理器和 AI 加速器）在邊緣 AI 市場中占主導地位，預計在未來六到七年內，業務量將增長五倍，顯示出巨大的市場潛力。因此，華邦電為應對這些挑戰，記憶體架構需要創新，就包括 L1 至 L3 快取，其後是 L4 快取（SRAM 或 CUBE），再往後是 HBM、LPDDR 和 DDR。這可以滿足邊緣 AI 對功率和成本的需求，使得 3D 記憶體、堆疊和先進封裝技術成為解決方案。
陳沛銘表示，華邦電提出的 CUBE（客製化記憶體解決方案，CMS），正是為滿足邊緣 AI 時代對記憶體的需求而設計。CUBE 旨在提供高效能、高密度和低功耗的記憶體解決方案。CUBE 的核心優勢包括在超高頻寬與密度方面，華邦電致力於將頻寬從每秒 7 GB 提升至每秒 3 TB，並能處理每秒 3 萬個 token。在特定應用案例中，傳統 LPDDR4 可能需要多達八個晶片，而使用華邦電的 CUBE 方案可能僅需一到兩個晶片，即可在 50 平方毫米的微小尺寸內提供高達每秒 128 GB 的頻寬。對於需要更高密度和頻寬的應用，CUBE 可以提供高達每秒 30 TB 的頻寬和 70 GB 的密度。
另外，可以顯著降低功耗。華邦電的 CUBE 相較於傳統 LPDDR4 解決方案，能大幅降低功耗，這是邊緣 AI 裝置的關鍵優勢。而且，CUBE 不僅能做為 ISP 解決方案，替代多個 LPDDR4 晶片，還能做為混合式記憶體，與 GPU/CPU 協同工作，充當 L4 快取和部分工作記憶體，大幅提升記憶體密度。
陳沛銘強調，具備多項優勢的 CUBE 其仰賴於先進的製造技術，包括華邦電採用的晶圓對晶圓（wafer-on-wafer）堆疊技術，以及晶片對晶圓（chip-on-wafer）的解決方案，這些堆疊技術允許多層 DRAM 堆疊，達到更高密度。此外，CUBE 利用矽穿孔（TSV）技術，在每個晶圓和晶片之間建立大量互連，I/O 數可超過 600K，進而實現超高頻寬。再加上華邦電也也提供嵌入式矽電容（silicon capacitor）做為輔助工具，可以將其嵌入 CUBE 內部或電源設計中，以優化供電。
陳沛銘最後強調，隨著 AI 演算法（如 Transformer、GPT-3、GPT-5）不斷快速進步，對 CPU、GPU 和記憶體效能的需求也隨之提升。華邦電於 2023 年推出 CUBE，目標為引領記憶體產業進入 AI 時代。儘管 AI 的發展速度驚人，難以精確預測超過 2025 年的路線圖，但邊緣 AI 的前景一片光明，將極大地改善人們的生活。在此情況下，CUBE 透過其獨特的創新，將在邊緣 AI 解決方案中發揮至關重要的作用。許多記憶體公司也紛紛推出類似的解決方案，顯示 CUBE 所代表的創新方向是業界共識。因此，華邦電也持續提供 DDR4 等產品以服務利基市場，同時透過 CUBE 引領 AI 記憶體創新。
(首圖來源：科技新報攝)