Qualcomm 新 Hexagon NPU 主攻手機端 AI 代理：支援 32K 上下文，但 300 億參數要睇清楚

Qualcomm 9 月 9 日預告嘅新一代 Hexagon NPU，重點唔只係跑分，而係要令手機可以喺裝置本機處理更長時間、多模態嘅生成式 AI 同「AI 代理」工作。呢類代理可以理解為會根據對話、文件同工具結果，分步完成任務嘅 AI；Qualcomm 嘅方向係盡量減少來回雲端處理。

核心改動有兩項：為 Transformer 模型而設嘅 Element Accelerator，以及比舊設計大 50% 嘅 NPU 共享記憶體。 1

Element Accelerator 做乜？

Transformer 係現時文字生成、聊天機械人同多模態模型常見嘅核心架構。新加入嘅 Element Accelerator 就係為呢類工作而設，並唔係取代原有單純量（scalar）、向量（vector）同張量（tensor）運算資源，而係同佢哋並行配合。 111

共享記憶體增加 50%，目標係將模型常用資料留喺更接近 NPU 嘅位置，減少 AI 代理處理長對話、調用多項工具或同時做幾項工作時，反覆由系統記憶體讀取資料。Qualcomm 目前未有公布呢個共享記憶體嘅實際容量。 15

32K 上下文：即係一段對話可以「記得」更多

Qualcomm 指新架構可支援最多 32,000 個 token 上下文，亦加入 key-value cache（KV cache）加速。對用家嚟講，較大上下文代表模型喺一次本機工作期間，可以保留更多對話內容、文件資料或者任務歷程，而唔使太快遺忘前文。 1112

公司亦聲稱，INT4 模型嘅 prefill（預填充） 速度最高可快 50%。Prefill 即係模型先讀入你最初輸入嘅提示詞，建立工作上下文嘅階段；所以呢個數字唔應解讀成每款 app、每個模型嘅逐字輸出速度都會快 50%。新 NPU 支援 INT2、INT4、INT8、FP8 同 FP16 等精度格式。 16

「300 億參數上手機」有一個關鍵前提

Qualcomm 提到可支援最多 300 億總參數嘅混合專家模型（Mixture-of-Experts，MoE）。不過，公司舉嘅例子係每個 token 約啟動 30 億參數。 6

呢個分別好重要。MoE 模型會經由路由機制，按每個 token 或任務需要，只揀部分「專家」參與運算。因此，呢項說法唔代表手機每生成一個 token，都會把 300 億個參數全部跑一次；實際可行性仍取決於模型設計、軟件實作同裝置配置。 113

唔係得 NPU：Snapdragon 會將 AI 工作拆畀三個引擎

Hexagon NPU 係下一代 Snapdragon 預告嘅其中一環。Qualcomm 早前亦披露，八核心 Oryon CPU 將有兩個最高 5GHz 嘅 Prime 核心，以及六個 Performance 核心；FlexCache 讓不同類型 CPU 核心按工作需要動態共用快取記憶體。 2122

圖像部分，新 Adreno GPU 會有 Matrix Cores，同時配備 18MB Adreno High Performance Memory。Neural Fusion 會將神經運算、AI 超解像同插幀整合到圖像管線；Qualcomm 聲稱，適用嘅渲染工作耗電最高可減少 40%，但呢個屬廠方數字，並非獨立測試結果。 1723

簡單講，Qualcomm 描繪嘅係分工合作：

• Hexagon NPU：以較高效率運行 AI 模型、長時間本機推理及代理式工作；
• Oryon CPU：處理一般程式邏輯、控制流程，以及唔適合交畀專用加速器嘅工作；
• Adreno GPU：處理平行化視覺 AI 同 AI 輔助圖像渲染。

重點唔係所有 AI 功能都必然交畀 NPU 跑，而係讓手機廠按功能需要，將不同部分分配到 CPU、GPU 或 NPU。

仲要等 Snapdragon Summit 補完資料

而家公布嘅屬架構預告，未係完整平台規格。Snapdragon Summit 定於 9 月 22 至 24 日喺夏威夷茂宜島舉行。 31

喺活動前，呢啲資訊較適合作為技術方向參考，未足以構成完整性能結論。Qualcomm 尚未公開新 NPU 共享記憶體嘅絕對容量，亦未提供完整、可獨立核實嘅性能同效能數據。 5 最終仍要睇正式 Snapdragon 產品點樣配置，以及手機廠實際將功能帶到哪些出貨裝置。