高通在 9 月 9 日預覽的新版 Hexagon NPU，透露出下一代旗艦 Snapdragon 平台的明確方向：讓手機能在裝置端處理更長時間、多模態、可使用工具的 AI 代理（AI agent）工作流程，而不必把每一步都交給雲端。核心改動包括針對 Transformer 的新硬體，以及更大的本機共享記憶體。 1

Hexagon NPU 改了什麼？

新版 NPU 加入 Element Accelerator，這是一個專門處理 Transformer 工作負載的區塊。Transformer 是大型語言模型與許多生成式、多模態 AI 系統的基礎。它並非取代既有運算單元，而是與原有的純量、向量及張量運算資源搭配運作。 111

高通也表示，NPU 的共享記憶體較上一代增加 50%。目的在於讓模型經常存取的資料留在更靠近 NPU 的位置，減少 AI 代理在處理長上下文、多工具與併行任務時，反覆往系統記憶體擷取資料的需求。至於共享記憶體的實際容量，高通目前尚未公布。 15

3.2 萬 token 上下文，對使用者代表什麼？

高通稱，新架構可支援最多 32,000 token 的上下文長度，並具備鍵值快取（KV cache）加速。簡單說，上下文愈長，模型在一次裝置端工作階段中能保留的對話內容、文件段落或任務歷程就愈多，不必那麼快「忘記」前文。 1112

此外，高通宣稱 INT4 模型的 prefill 速度最高可提升 50%。prefill 是模型先讀取使用者提示詞、整理並建立工作上下文的階段，發生在開始生成答案之前；因此，這項數字不等同於每一款 App 或模型的逐 token 輸出速度都會快 50%。新版 NPU 支援 INT2、INT4、INT8、FP8 與 FP16 等精度格式。 16

「300 億參數」不等於每次都跑完整模型

高通提到可支援總參數規模最高 300 億 的 Mixture-of-Experts（MoE，混合專家）模型；其舉例中，每個 token 約會啟用 30 億參數。 6

兩者的差別很重要。MoE 模型會透過路由機制，針對特定 token 或任務只挑選部分「專家」參與運算。因此，這不代表手機每生成一個 token，都對全部 300 億參數做推論；實際可行性仍取決於模型設計、軟體實作與裝置配置。 113

CPU、GPU、NPU：高通的三引擎分工

此次 NPU 預覽，接續高通先前對下一代 CPU 與 GPU 的揭露。即將推出的八核心 Oryon CPU，配置為兩顆最高 5GHz 的 Prime 核心與六顆 Performance 核心；FlexCache 則讓不同類型 CPU 核心可共用動態配置的快取池。 2122

圖形方面，新 Adreno GPU 導入 Matrix Cores，並配備 18MB Adreno High Performance Memory。其 Neural Fusion 技術將神經運算、AI 超解析度與影格生成整合進圖形管線。高通稱，在適用的渲染工作負載中，這項技術最多可降低 40% 功耗；但這仍是廠商宣稱，並非獨立測試結果。 1723

這些資訊共同描述的是異質化的裝置端 AI 策略：

• Hexagon NPU： 著重 AI 模型推論，以及長時間運作的 AI 代理類工作負載。
• Oryon CPU： 處理一般運算、應用程式邏輯，以及不適合交由專用加速器執行的任務。
• Adreno GPU： 負責平行化的視覺與圖形 AI，例如 AI 輔助渲染。

關鍵不在於未來每一項手機 AI 功能都會只在 NPU 上執行，而是高通希望手機製造商能依工作類型，在 CPU、GPU 與 NPU 之間分配工作。

還有哪些關鍵細節待確認？

目前公布的是架構預覽，尚非完整平台規格。高通的 Snapdragon Summit 預定於 9 月 22 日至 24 日在夏威夷茂宜島舉行。 31

在此之前，使用者與開發者應把這些資訊視為技術方向，而不是完整的效能成績單。高通尚未公布新版 NPU 共享記憶體的絕對容量，也未提供完整且可由第三方驗證的效能與能耗數據。 5 最終仍要等正式平台發表，才能確認各項能力會如何配置於實際 Snapdragon 產品，以及最終會如何落實在上市手機上。

高通在 9 月 9 日預覽的新版 Hexagon NPU，透露出下一代旗艦 Snapdragon 平台的明確方向：讓手機能在裝置端處理更長時間、多模態、可使用工具的 AI 代理（AI agent）工作流程，而不必把每一步都交給雲端。核心改動包括針對 Transformer 的新硬體，以及更大的本機共享記憶體。 1

Hexagon NPU 改了什麼？

新版 NPU 加入 Element Accelerator，這是一個專門處理 Transformer 工作負載的區塊。Transformer 是大型語言模型與許多生成式、多模態 AI 系統的基礎。它並非取代既有運算單元，而是與原有的純量、向量及張量運算資源搭配運作。 111

高通也表示，NPU 的共享記憶體較上一代增加 50%。目的在於讓模型經常存取的資料留在更靠近 NPU 的位置，減少 AI 代理在處理長上下文、多工具與併行任務時，反覆往系統記憶體擷取資料的需求。至於共享記憶體的實際容量，高通目前尚未公布。 15

3.2 萬 token 上下文，對使用者代表什麼？

高通稱，新架構可支援最多 32,000 token 的上下文長度，並具備鍵值快取（KV cache）加速。簡單說，上下文愈長，模型在一次裝置端工作階段中能保留的對話內容、文件段落或任務歷程就愈多，不必那麼快「忘記」前文。 1112

此外，高通宣稱 INT4 模型的 prefill 速度最高可提升 50%。prefill 是模型先讀取使用者提示詞、整理並建立工作上下文的階段，發生在開始生成答案之前；因此，這項數字不等同於每一款 App 或模型的逐 token 輸出速度都會快 50%。新版 NPU 支援 INT2、INT4、INT8、FP8 與 FP16 等精度格式。 16

「300 億參數」不等於每次都跑完整模型

高通提到可支援總參數規模最高 300 億 的 Mixture-of-Experts（MoE，混合專家）模型；其舉例中，每個 token 約會啟用 30 億參數。 6

兩者的差別很重要。MoE 模型會透過路由機制，針對特定 token 或任務只挑選部分「專家」參與運算。因此，這不代表手機每生成一個 token，都對全部 300 億參數做推論；實際可行性仍取決於模型設計、軟體實作與裝置配置。 113

CPU、GPU、NPU：高通的三引擎分工

此次 NPU 預覽，接續高通先前對下一代 CPU 與 GPU 的揭露。即將推出的八核心 Oryon CPU，配置為兩顆最高 5GHz 的 Prime 核心與六顆 Performance 核心；FlexCache 則讓不同類型 CPU 核心可共用動態配置的快取池。 2122

圖形方面，新 Adreno GPU 導入 Matrix Cores，並配備 18MB Adreno High Performance Memory。其 Neural Fusion 技術將神經運算、AI 超解析度與影格生成整合進圖形管線。高通稱，在適用的渲染工作負載中，這項技術最多可降低 40% 功耗；但這仍是廠商宣稱，並非獨立測試結果。 1723

這些資訊共同描述的是異質化的裝置端 AI 策略：

• Hexagon NPU： 著重 AI 模型推論，以及長時間運作的 AI 代理類工作負載。
• Oryon CPU： 處理一般運算、應用程式邏輯，以及不適合交由專用加速器執行的任務。
• Adreno GPU： 負責平行化的視覺與圖形 AI，例如 AI 輔助渲染。

關鍵不在於未來每一項手機 AI 功能都會只在 NPU 上執行，而是高通希望手機製造商能依工作類型，在 CPU、GPU 與 NPU 之間分配工作。

還有哪些關鍵細節待確認？

目前公布的是架構預覽，尚非完整平台規格。高通的 Snapdragon Summit 預定於 9 月 22 日至 24 日在夏威夷茂宜島舉行。 31

在此之前，使用者與開發者應把這些資訊視為技術方向，而不是完整的效能成績單。高通尚未公布新版 NPU 共享記憶體的絕對容量，也未提供完整且可由第三方驗證的效能與能耗數據。 5 最終仍要等正式平台發表，才能確認各項能力會如何配置於實際 Snapdragon 產品，以及最終會如何落實在上市手機上。