高通新一代 Hexagon NPU瞄准端侧AI智能体：支持3.2万Token上下文

高通9月9日对下一代高端骁龙平台的预告，重点并不只是让手机“跑AI更快”，而是希望手机能在本地持续处理更复杂的生成式与智能体AI任务。为此，重新设计的Hexagon NPU加入了面向Transformer模型的专用硬件，并扩大本地共享内存，以应对更长的上下文、更多工具调用及并发任务。1

新增Element Accelerator：为Transformer而设

这代Hexagon NPU新增了Element Accelerator（元素加速器）。Transformer是当前大语言模型和多模态模型的核心架构，聊天机器人、图文理解和AI智能体等常见功能大多以此为基础。

高通并非用这一单元取代原有计算资源，而是将其与标量、向量及张量相关处理单元配合使用：前者针对Transformer负载进行专门加速，后者继续承担不同类型的AI计算与控制任务。111

另一个关键变化是，NPU共享内存较上一代增加50%。高通的思路是把模型运行时频繁读取的数据尽量放在离NPU更近的位置，减少反复访问系统内存的需求，从而降低长上下文、多任务处理中的数据搬运开销。15

需要注意的是，高通目前尚未公布这部分共享内存的绝对容量，也没有给出完整的NPU算力数据。5

3.2万Token上下文，重点在长对话与长任务

高通称，新架构可支持最高**32,000 Token（3.2万Token）**的上下文长度，并加入KV缓存加速。通俗来说，上下文越长，模型在一次本地会话中能保留的对话内容、文档信息或任务历史就越多，不必过早“忘记”前文。1112

公司还宣称，INT4模型的预填充（prefill）阶段最高可提速50%。预填充是模型读取用户输入、建立当前工作上下文的初始环节，通常影响用户发出较长提示词后、模型开始回应前的等待时间。

不过，这一数据不能直接理解为所有应用或模型的逐Token生成速度都会提高50%。实际表现仍取决于模型结构、量化精度、软件实现及终端具体配置。新NPU支持INT2、INT4、INT8、FP8和FP16等多种精度格式。16

“支持300亿参数”不代表每次都计算300亿参数

高通还强调，新NPU可支持总参数规模最高300亿的MoE（Mixture-of-Experts，混合专家）模型。其举例中，每生成一个Token，大约激活30亿参数。6

这一区别很重要。MoE模型会通过路由机制，针对不同Token或任务只调动部分“专家”参数参与计算。因此，手机端运行“300亿参数MoE模型”不意味着每个Token都要对全部300亿参数进行推理；是否可行，取决于被激活的专家数量、模型实现方式及具体设备配置。113

NPU不是唯一AI引擎：CPU、GPU也各有分工

此次NPU预告之前，高通已披露下一代平台的CPU和GPU部分信息。Oryon CPU将采用八核设计，包括两颗频率最高达5GHz的Prime核心及六颗Performance核心；FlexCache则让不同类型的CPU核心访问可动态分配的共享缓存池。2122

图形部分，Adreno GPU将引入Matrix Cores，并配备18MB Adreno High Performance Memory（HPM）。其Neural Fusion技术把神经处理、AI超分辨率和插帧整合进图形渲染管线。高通称，在适用的渲染负载中，这项技术最高可降低40%的功耗；这一数字属于厂商宣称，尚非独立测试结论。1723

从这些信息看，高通正将端侧AI分配给不同计算单元：

• Hexagon NPU：侧重高能效的模型推理，以及AI智能体一类持续运行的任务；
• Oryon CPU：负责通用计算、应用逻辑，以及不适合交由专用加速器处理的工作；
• Adreno GPU：承担并行视觉计算和图形AI，例如AI辅助渲染。

重点不在于手机的每项AI功能都必须跑在NPU上，而是设备厂商能够按任务特点，在CPU、GPU与NPU之间分配计算资源，组合出不同的端侧体验。

仍待公布：完整规格、绝对性能与实际机型表现

目前这些内容仍属于架构预览，并非完整平台规格。高通骁龙峰会定于9月22日至24日在美国夏威夷毛伊岛举行。31

在此之前，消费者和开发者应将这些披露视为技术方向，而非完整性能结论。新NPU的共享内存绝对容量、完整性能与能效数据，以及这些能力最终会如何配置到实际骁龙产品和量产手机中，仍有待后续发布确认。5