力拚韓國，工研院用老技術升級記憶體！提高晶片效率、降低成本 開啟邊緣AI應用想像
作者：財訊雙週刊／林宏達
AI晶片是現在最火熱的商機，但AI用記憶體卻一直是韓廠天下。根據《財訊》雙週刊報導，2024年，台灣工研院推出的MOSAIC 3D AI晶片技術，企圖打破這個局面，讓台灣的成熟製程和記憶體廠也能參與邊緣AI的大商機，目前已有金融科技業者和工研院合作，要用這個新平台，利用邊緣AI推出新金融服務。
工研院電光所所長張世杰受訪時解釋，AI要普及到手機等各種邊緣裝置上，仍有一件事情要克服：AI晶片很貴。1顆H100晶片要價兩萬美元，其中，不但用到昂貴的矽中界層（SILICON INTERPOSER），還需要HBM（高頻寬記憶體），「這種記憶體不只貴，一般公司要開發AI晶片，連買HBM都買不到。」目前，業界傳出的行情，H100裡所用的HBM，售價高達1500美元。
老技術新應用 成本降9成
HBM價格很貴，但是能高速存取大量資料，供邏輯晶片計算。HBM剛推出時，每秒能傳輸128 GB資料；但DDR1記憶體每秒只能傳輸2.7 GB的資料；現在工研院推出的MOSAIC 3D AI晶片技術，可讓台灣生產的DDR 1記憶體，結合40奈米成熟邏輯製程晶片，能達到第1代HBM記憶體的頻寬，更重要的是，成本只有傳統HBM的1/10。
要做到這件事，背後是相當複雜的技術變革。《財訊》雙週刊指出，首先，研發團隊用一項成熟技術，晶圓堆疊技術（Wafer on Wafer），也稱作記憶體與邏輯晶片堆疊技術（Memory on Logic）讓記憶體直接疊在成熟製程邏輯晶片上，捨棄矽中界層，因為記憶體和邏輯晶片直接連接，透過縮短兩者的距離，只要在邏輯晶片上透過3D晶片堆疊兩顆記憶體，頻寬就能增加兩倍，放上4顆，資料頻寬就增加4倍。
不過，如果答案如此簡單，為何台積電採用的矽中界層能成為主流？關鍵在於，晶圓堆疊技術必須維持每1層晶圓的面積一致，在設計上的彈性不佳，「如果兩片晶圓貼在一起之後，要更改設計的難度非常高。」一位業界人士評價。
軟體再定義 達成異質整合
張世杰解釋，為了克服晶圓堆疊技術，對IC設計彈性的限制，工研院團隊重新設計了記憶體控制器，他們把記憶體的大小設計得更小，讓另一邊無論是對接什麼樣的邏輯晶片，都可以輕易讓兩邊線路接上。同時，新型控制器可以利用軟體，靈活調配資料儲存的位置，即使貼上去的記憶體有部分損壞，但控制器可以關掉這些部分，不會像HBM一樣，如果貼上壞掉的記憶體，整顆GPU就報廢。
更多財訊雙週刊文章
華航最年輕總經理！航空業鋼琴王子陳漢銘 有套「不靠譜」的管理學
美烏兩國吵愈凶 IHI股價漲愈多！經歷造假風波 日本百年軍工股絕處逢生