請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

理財

華為發表 AI 新技術「UCM」,擺脫 HBM 依賴、AI 推理速度暴增 90%

科技新報

更新於 1小時前 • 發布於 2小時前

由於美國出口限制,中國很難獲得 HBM 等關鍵資源。對此,華為打算幫助中國科技市場不再依賴 HBM。根據市場消息,華為開發一款名為「統一快取管理器」(Unified Cache Manager,簡稱 UCM)的新軟體工具,無需使用 HBM 即可加速大型語言模型(LLM)的訓練與推理。

華為週二(12 日)在 2025 金融 AI 推理應用落地與發展論壇上發表 UCM 工具。該軟體根據不同記憶體類型的延遲特性,以及各類 AI 應用的延遲需求,將 AI 資料分配在 HBM、標準 DRAM 與 SSD 之間。

華為資料儲存產品副總裁躍峰指出,目前 AI 推理面臨三大問題:「推不動」(輸入內容太長超出處理範圍)、「推得慢」(回應速度太慢)、「推得貴」(運算成本太高)。

UCM 透過「分層記憶」的 Key-Value 快取架構,根據系統的可用資源速度最大化。

據介紹,華為這次發布的 UCM,是做為一款以 KV 快取(KV Cache)為中心的推理加速套件,融合多類型緩存加速演算法工具,分級管理推理過程中產生的 KV 快取記憶數據,擴大推理上下文視窗,實現高吞吐、低時延的推理體驗,並降低每 Token 推理成本。

UCM 在發表前已進行過長時間的實際應用測試。周躍峰指出,UCM 曾在中國銀聯中試用,應用場景包括「客戶語音分析、行銷規劃與辦公協助」。根據華為數據,搭配傳統快取與儲存技術的系統,在 AI 推理任務中使用 UCM,可將延遲降低最高達 90%,吞吐量提升至 22 倍。

華為計劃 9 月正式開源 UCM,屆時將在魔擎社區首發,後續逐步貢獻給業界主流推理引擎社群,並共享給業內所有 Share Everything(共享架構)儲存廠商和生態夥伴。

由於目前 HBM 晶片幾乎全由 SK 海力士、三星及美光生產,而美國一直致力於阻撓中國購買或自製 HBM,而 UCM 的出現有望擺脫美國牽制,加速中國晶片技術自主化。

(首圖來源:Flickr/Web Summit CC BY 2.0)

立刻加入《科技新報》LINE 官方帳號,全方位科技產業新知一手掌握!

查看原始文章

更多理財相關文章

01

價值7.1億!全球央行「最大金磚」在台灣 央行:220公斤獲世界認證

太報
02

「新護國神山是它!」專家看股價翻漲8成表現:外資眼中的AI基建核心台廠

風傳媒
03

發錢了!年輕人符合3條件 最高可領4萬5

EBC 東森新聞
04

覺得價格太高又在買,專家:股市大傻瓜出現

科技新報
05

退休金在職就能領?勞退新制申請條件公開 公司不幫辦、二度就業有錢拿嗎

風傳媒
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
查看更多

留言 0

沒有留言。

最新消息

Google 宣布最新奧克拉荷馬州投資案,擴建雲端與 AI 基礎設施

科技新報

外匯速報 - 美元/墨西哥披索(USDMXN) 大漲1.17%,報18.8253元

anue鉅亨網

馬斯克罕見盛讚 Google 為 AI 領導者,xAI 手握 120 億美元迎戰

科技新報

新模型 R2 延後主因!DeepSeek 嘗試華為晶片失敗,還是得靠 NVIDIA

科技新報

投資人不用等!富蘭克林華美投信 7 檔基金首推「基金轉換 T+1」服務

科技新報

Apple Watch Ultra 3 推出時程近了?有望解決與 Series 10 規格落差

科技新報

蘋果 Vision Pro 2 搭載的晶片可能比想像中好

科技新報

外匯速報 - 美元/韓元(USDKRW) 大漲0.78%,報1390.51元

anue鉅亨網

美7月PPI超預期飆高!Fed大降息2碼沒戲了 預料僅降1碼

anue鉅亨網

踢足球機器人(圖)

中央通訊社

擂台機器人(圖)

中央通訊社

世界人形機器人運動會開幕式(圖)

中央通訊社

彈鋼琴機器人(圖)

中央通訊社

世界人形機器人運動會北京開幕 武術踢球走秀紛登場

中央通訊社

韓國遊戲廠攜手智冠 MyCard 支付!〈阿瑞斯〉第四季台港澳上線

科技新報

盤中速報 - GTC大跌22.37%,報0.413美元

anue鉅亨網

還在等著領股息?「這方法」才是資產升級關鍵

民視新聞網

【快報】關稅影響來襲!高頻儀表板帶你掌握全球變化

財經M平方短評

長和:出售港口交易需時將更長 2025年不會完成

中央通訊社

美CPI低於預期「Fed降息」呼聲高 台積電再創高

民視新聞網

盤中速報 - 交易台(TTD-US)大跌5.26%,報51.5美元

anue鉅亨網

周五阿拉斯加峰會後川普、普丁將召開聯合記者會

anue鉅亨網

AI 資安解方!CloudMile 萬里雲成為台灣 Google SecOps 白金級 MSSP

科技新報

標榜MIT!宏達電AI眼鏡亮相 力拚小米、META

EBC 東森新聞

比特幣創新高後遇PPI打壓回落 分析師:上漲動能未盡

anue鉅亨網

電競需求帶動今年 OLED 監視器出貨年增 86%,占比北美降、歐洲/中國升

科技新報

生產者物價指數增速高於預期 美股3大指數開盤小跌

民視新聞網

鉅亨速報 - Factset 最新調查:詹姆斯哈迪工業公司(JHX-US)EPS預估下修至1.32元,預估目標價為28.57元

anue鉅亨網

鉅亨速報 - Factset 最新調查:連貫(COHR-US)EPS預估上修至4.52元,預估目標價為112.50元

anue鉅亨網

鉅亨速報 - Factset 最新調查:EQT公司(EQT-US)EPS預估下修至3.19元,預估目標價為66.00元

anue鉅亨網

鉅亨速報 - Factset 最新調查:連貫COHR-US的目標價調升至112.5元,幅度約3.21%

anue鉅亨網

鉅亨速報 - Factset 最新調查:雅詩蘭黛EL-US的目標價調升至87.5元,幅度約3.55%

anue鉅亨網

鉅亨速報 - Factset 最新調查:群光(2385-TW)EPS預估下修至10.85元,預估目標價為154.5元

anue鉅亨網

鉅亨速報 - Factset 最新調查:富世達(6805-TW)EPS預估上修至28.08元,預估目標價為1170元

anue鉅亨網

鉅亨速報 - Factset 最新調查:智伸科(4551-TW)EPS預估下修至6.37元,預估目標價為185元

anue鉅亨網

鉅亨速報 - Factset 最新調查:智伸科(4551-TW)目標價調升至185元,幅度約25.85%

anue鉅亨網

蘋果血氧功能美國解禁!Apple Watch軟體更新啟用

anue鉅亨網

國巨搶親積極 邀芝浦8/19參訪高雄廠 9月回訪芝浦泰國廠

anue鉅亨網

今彩539第114197期 頭獎1注中獎

中央通訊社

威力彩第114065期 頭獎槓龜

中央通訊社