HBM開始往「Z軸」發展！三星zHBM把記憶體搬到GPU上方，拼效能提高8倍
目前AI加速器多採2.5D封裝，GPU與數顆HBM並排放置，資料從HBM送進GPU時，仍要跨過兩者之間的距離。三星認為，這種配置已經開始限制延遲進一步降低，也會增加資料搬移的耗電，因此開始把目光轉向「Z軸」，把原本位在GPU旁邊的記憶體移到處理器上方，稱為「zHBM」。
三星電子記憶體產品規劃部門副總裁崔璋石（Jangseok Choi）在記憶體高峰論壇表示，「傳統HBM採用2.5D架構，記憶體與運算晶片並排放置，這會形成一道物理限制，讓延遲難以再降低。為了突破這項限制，我們正在改變架構本身。」
HBM5效能翻倍，但GPU與記憶體的位置沒有變
三星今年5月開始出貨12層HBM4E樣品，相較HBM4，每瓦效能提升16%，熱阻降低逾14%。下一代HBM5也已進入開發階段，三星設定的目標是相較HBM4E效能提高2倍、每瓦效能再提升20%，熱阻降低20%。
從HBM4E到HBM5，三星仍沿著既有產品路線提高記憶體的速度與能源效率，讓HBM能跟上AI晶片持續增加的運算需求。HBM本身會愈來愈快，但這些升級並不會改變它在AI晶片裡的位置。整組HBM完成後，目前仍放在GPU周圍，透過中介層與GPU互連。資料在HBM內部可以上下傳輸，最後送進GPU時，仍要走過一段水平路徑。
隨著GPU需要取得的資料愈來愈多，三星開始進一步處理這段距離。
zHBM改走「Z軸」，把記憶體移到GPU上方
三星提出的「zHBM」，概念是把記憶體核心晶粒移到處理器上方，中間透過一層連接結構（interlayer）互連。原本並排的記憶體與運算晶片因此改成垂直整合，資料也能走更短的路徑。
崔璋石指出，三星希望透過縮短記憶體與運算晶片之間的距離，增加垂直方向的資料傳輸能力，同時降低搬動資料所需要的能源。他也強調，「3D不只是把晶片堆疊起來，而是架構最佳化。」
三星目前為zHBM設定的目標，是相較HBM4E將效能最高提高8倍、每瓦效能提高3倍，熱阻降低75%至90%。
不過，記憶體搬到GPU上方後，原本分開處理的功耗、散熱與連接問題也會彼此牽動；zHBM要依不同GPU調整，記憶體廠與GPU業者也需要更早一起設計。
距離縮短後，散熱和共同設計成為新挑戰
崔璋石指出，每款GPU都有不同需求，因此zHBM需要依照GPU特性與工作負載調整。他表示，「記憶體與運算晶片之間，必須有緊密的合作與溝通。」記憶體廠在開發zHBM時，需要更早掌握GPU對頻寬、功耗與散熱的要求，雙方合作的時間點也會跟著往前。
散熱尤其直接。GPU本身就是高功耗元件，記憶體移到上方後，熱會集中在更小的空間，也必須穿過更複雜的堆疊結構排出。這也是三星為zHBM設定大幅降低熱阻目標的原因，資料路徑縮短後，能不能有效把熱帶走，會直接影響這套架構能維持多少效能。
要讓記憶體與GPU垂直整合，晶片之間的連接方式也必須跟著改變。三星目前採用晶圓對晶圓鍵合（Wafer-on-Wafer Bonding）與混合銅鍵合（Hybrid Copper Bonding，HCB），提高垂直互連密度，同時改善熱阻，讓記憶體與處理器之間能傳輸更多資料。
從HBM5走到zHBM，三星處理的範圍逐漸從記憶體本身延伸到整顆AI晶片。HBM持續提高速度與能源效率，記憶體與GPU之間的位置、散熱、鍵合與共同設計，也開始一起影響下一階段能做到的效能。