Arm SME2 技術加速 Android AI 升級，驅動行動應用之次世代功能革新

更新於 07月18日10:13 • 發布於 07月18日01:00 • 產業動態

從按下快門前就對照片進行即時銳化，到通話過程中即時消除背景雜音，再到離線狀態下與AI 助理互動，裝置端 AI 正在重塑使用者的行動體驗。而 Arm 運算平台正是實現這些無縫互動體驗的強勁驅動力。

隨著 AI 工作負載變得日益複雜且已廣泛地應用於各個領域，行動開發者面臨的需求也與日俱增：他們需要在記憶體、電力和熱能條件等嚴格且多樣化的限制下，實現即時且高效率的效能表現，還要確保不為應用程式及其工作負載增加額外的複雜性。

為因應這些挑戰，Arm 推可擴展矩陣延伸指令集 2（Scalable Matrix Extension 2, SME2）技術，以直接在行動 CPU 上加速高強度的矩陣運算工作負載 – 這些工作負載對電腦視覺和生成式 AI 應用相當重要。SME2 是 Armv9 架構中的一組高階 CPU 指令集，它是基於 SME 升級、能夠在 AI 異質運算框架下，支援影像處理、自然語言處理、語音生成等在行動端的即時推論任務。

開發者如何運用 SME2 的優勢

行動開發者無需更動現有程式碼、模型或應用程式，即可直接取得 SME2 帶來的效能提升。這可歸功於 Arm 的軟體加速層 – Arm KleidiAI，它能夠無縫整合到主流 Runtime 函式庫和 AI 框架中，為開發者提供立即可用的效能體驗。

由於 KleidiAI 深入且廣泛的整合，SME2 已在 Google 專為 Android 系統最佳化的神經網路推論函式庫 XNNPACK 中提供支援。此外，SME2 也被整合至多個框架中，包括阿里巴巴 MNN、Google LiteRT 和 MediaPipe、微軟 ONNX Runtime，以及 llama.cpp。這些整合代表 SME2 已深度嵌入到軟體堆疊中。當裝置支援並啟用 SME2 時，XNNPACK 會自動透過 KleidiAI 將矩陣運算密集型任務導引至 SME2，進而讓開發者在無需更動任何應用邏輯或基礎架構的情況下即可直接提升效能。

同時，KleidiAI 不僅著眼於目前的效能加速，更是為滿足未來需求而設計。隨著 Arm 不斷推出全新特性與架構升級，KleidiAI 將持續為其所支援的 AI 框架和 Runtime 函式庫自動提升效能，無需開發者再投入額外精力。

大規模 AI 效能與能源效率最佳化

搭載 SME2 強化硬體的 Android 新機即將上市，開發者可率先透過硬體加速使 AI 效能躍升。同時，SME2 已支援最新的 iOS 裝置（完整支援機型列表詳見此處），只要其應用中使用整合 SME2 的 AI 框架，效能即可自動提升。

在搭載 SME2 強化硬體的裝置上運行 Google Gemma 3 模型時，其聊天互動中的 AI 回應速度與未啟用 SME2 的同款裝置相比快六倍。此外，僅用單個 CPU 核心，Gemma 3 便可在不到一秒的時間內啟動多達 800 字的文本摘要任務。目前，一家領先的獨立軟體供應商（ISV）已承諾將其應用中的大部分詞元（token）生成工作負載從雲端遷移到行動端，其中一部分也歸功於裝置端 AI 能力的持續突破。

Google Android 傑出軟體工程師 Iliyan Malchev 表示：「借助 SME2 強化的硬體，更先進的 AI 模型（如 Gemma 3）就能直接在各類裝置上運行。隨著 SME2 的持續擴展，行動開發者能夠在不同生態系中無縫部署次世代 AI 功能，進而為終端產品使用者帶來低延遲、廣泛可用的智慧手機體驗。」

除了效能提升，SME2 還為 Arm 生態系（如 iOS 與 Android）提供可移植的解決方案。目前，已有 900 萬款應用在 Arm 運算平台上運行，超過 2,200 萬名軟體開發者基於 Arm 平台建構他們的應用和工作負載。