多步推理模型过去很难直接放进嵌入式设备：要么模型能力受限，要么响应速度难以接受。NVIDIA 在 2026 年 9 月 4 日发布的开发者指南认为，这一局面正在改变。通过优化后的开放模型、低精度推理与更高效的解码方式，Jetson AGX Orin 和 Jetson AGX Thor 已能在本地运行具备推理与智能体能力的模型。1

最受关注的数据是：在 Jetson AGX Thor 上，NVFP4 量化与推测式解码结合后，解码吞吐量最高可达到 BF16 基线的 6.28 倍。这是一项与具体模型和工作负载相关的测试结果，并不等同于所有模型、所有提示词下都能获得固定倍数的加速；但它说明，本地智能体用于机器人、车辆和工业设备正变得更具可行性。1

本地部署的三层组合：vLLM、低精度与更快解码

NVIDIA 将 Nemotron 3.5 Lightning 和 Qwen3.8-27B 列为 Jetson AGX Orin 与 Jetson AGX Thor 的可选模型。开发者可在 Jetson 上通过 vLLM 提供模型服务，再结合两项互补技术提高推理效率。1

NVFP4：以更少的内存和计算运行模型

NVFP4 使用 4 位浮点表示来降低模型运算所需的内存与计算负担。对嵌入式推理而言，瓶颈常常不只是算力，还包括生成过程中能否足够快地搬运模型权重和激活值；因此，降低内存传输需求尤其重要。1

Jetson Thor 特别适合这一方法。NVIDIA 表示，其 Blackwell GPU 通过 Transformer Engine 提供原生 FP4 支持。3

推测式解码：先提议，再由主模型确认

推测式解码会让较小的草稿模型先提出多个后续 token，再由主模型一次性验证。最终决策仍由主模型作出；若多个候选 token 被接受，生成便可在一次验证中向前推进多个 token，而不必逐个生成。1

效果取决于草稿 token 的接受率，因此会随模型、提示词及解码配置而变化。它应被视为针对具体工作负载的优化手段，而非可直接套用的固定性能倍增器。

Nemotron 3.5 Lightning 与 Qwen3.8-27B：关键不只是参数总量

两者体现了不同的边缘部署取舍。

Nemotron 3.5 Lightning：大容量，但每步激活更少参数

Nemotron 3.5 Lightning 是一款总参数量 300 亿的混合专家模型（MoE），但每生成一个 token 只激活其中 30 亿参数。NVIDIA 将其定位为长期、持续运行智能体的执行层模型。2

这种架构适合需要频繁输出、反复处理操作闭环的智能体，例如：理解一条事件、调用获准工具、检查工具结果，再决定继续执行还是上报异常。此时，除了总参数量外，每 token 的激活参数规模和持续生成速度同样关键。

Qwen3.8-27B：全量激活的稠密计算

Qwen3.8-27B 是稠密模型，即每个 token 都会动用全部 270 亿参数。NVIDIA 将其与 Nemotron 3.5 Lightning 一同定位为 Jetson 的有力选项。1

对于决策次数较少、但每次判断都更复杂的应用，稠密模型可能更合适；代价是每个 token 都激活整个网络，计算需求可能高于稀疏 MoE 模型。

应按工作流选型，而不是只看参数量

NVIDIA 的建议归根结底是：用真实应用来测试，包括提示词长度、输出长度、工具调用方式、时延预算、内存限制和决策模式。1

输出频繁的智能体，可能更适合生成速度快的稀疏模型；判断次数较少、但对单次决策质量要求更高的系统，则可能愿意接受更慢的生成速度，以换取稠密模型带来的实际表现。没有一种架构天然适合所有边缘场景。

6.28 倍结果究竟意味着什么

NVIDIA 报告称，在 Jetson AGX Thor 上，NVFP4 与推测式解码结合后，解码吞吐量相对 BF16 最高提升 6.28 倍。不同模型的最佳推测式解码配置并不相同：Nemotron 3.5 Lightning 最适合 DSpark，Qwen3.8-27B 则最适合 DFlash2。1

对交互式智能体而言，逐 token 产生输出的解码阶段，往往直接决定用户感受到的响应快慢。不过，这一数字不能被解读为覆盖每种提示词、模型或部署方式的通用速度承诺。草稿模型质量、token 接受率、批处理大小、上下文长度和运行时配置，都会影响实际吞吐量。1

为什么本地推理能改变边缘 AI 的设计方式

模型在设备端运行，意味着每一次推理请求都不必依赖远端数据中心。对于物理系统，这可能带来更少的网络相关延迟、在网络不稳定时仍可继续运行，以及让传感器数据流和运行日志留在设备本地的能力。NVIDIA 特别强调，在数据本地性和实时响应重要的场景中，边缘推理与智能体 AI 具有价值。1

这并不意味着云基础设施不再重要。模型训练、设备集群管理、大规模分析，以及超出设备内存与算力上限的任务，仍可能放在中心化系统中完成。变化在于：数据中心连接不必再成为每一次关键决策的必经环节。

哪些应用最适合

NVIDIA 列举了车舱内助手、实时异常检测，以及在恶劣或偏远环境中运行的机器人等用例。1

它们的共同点是：系统必须理解本地上下文，并在足够短的时间内作出有用响应。适合的方向包括：

• 需要根据观测结果和任务状态进行推理的机器人；
• 解读设备事件或运行日志的工业系统；
• 需要在车内交互中及时响应的车辆助手；
• 不能假设网络始终可靠的远程巡检与监测设备。

真正有价值的候选系统，不只是“能运行大语言模型”的设备，而是那些对响应时间、数据本地性或离线韧性存在直接业务需求的系统。

AGX Thor 在 Jetson 产品线中的位置

Jetson AGX Thor 是 NVIDIA 面向高需求物理 AI 工作负载的高端平台。NVIDIA 称，它搭载 Blackwell GPU 和 128 GB 内存，在 130 W 功耗范围内可提供最高 2,070 FP4 TFLOPS 的算力。3

这一硬件配置与指南的重点高度一致：NVFP4、高吞吐解码，以及更大规模的本地推理模型。AGX Orin 仍适合已有的成熟嵌入式部署；Thor 则面向更高要求的生成式与多模态工作负载。

在入门级市场，NVIDIA 还宣布了 Jetson Orin Nano 2，面向机器人、配送与巡检无人机，以及视觉 AI 系统。NVIDIA 表示，该模块和开发者套件预计于 2027 年上半年推出。1

整体来看，Jetson 正形成分层布局：更小型的平台服务入门级边缘 AI，AGX Orin 面向成熟的嵌入式项目，AGX Thor 则承接需要更大内存和更高算力的本地生成式推理任务。

结论：性能数字是起点，真实基准才是答案

NVIDIA 的指南并未宣称所有前沿模型如今都能轻松运行在每一款嵌入式模块上。它提出的是一个更具体、也更实用的结论：紧凑型推理模型、vLLM 部署、NVFP4 量化和推测式解码的组合，能够让 Jetson 级硬件运行具备能力的本地智能体。1

对开发者而言，下一步不是只看理论峰值，而是在目标 Jetson 设备上，用产品真实的提示词、工具、上下文窗口和响应时间要求进行测试。6.28 倍的结果展示了优化的潜力；是否能成为可用的边缘 AI 系统，仍要由实际应用基准来回答。1

多步推理模型过去很难直接放进嵌入式设备：要么模型能力受限，要么响应速度难以接受。NVIDIA 在 2026 年 9 月 4 日发布的开发者指南认为，这一局面正在改变。通过优化后的开放模型、低精度推理与更高效的解码方式，Jetson AGX Orin 和 Jetson AGX Thor 已能在本地运行具备推理与智能体能力的模型。1

最受关注的数据是：在 Jetson AGX Thor 上，NVFP4 量化与推测式解码结合后，解码吞吐量最高可达到 BF16 基线的 6.28 倍。这是一项与具体模型和工作负载相关的测试结果，并不等同于所有模型、所有提示词下都能获得固定倍数的加速；但它说明，本地智能体用于机器人、车辆和工业设备正变得更具可行性。1

本地部署的三层组合：vLLM、低精度与更快解码

NVIDIA 将 Nemotron 3.5 Lightning 和 Qwen3.8-27B 列为 Jetson AGX Orin 与 Jetson AGX Thor 的可选模型。开发者可在 Jetson 上通过 vLLM 提供模型服务，再结合两项互补技术提高推理效率。1

NVFP4：以更少的内存和计算运行模型

NVFP4 使用 4 位浮点表示来降低模型运算所需的内存与计算负担。对嵌入式推理而言，瓶颈常常不只是算力，还包括生成过程中能否足够快地搬运模型权重和激活值；因此，降低内存传输需求尤其重要。1

Jetson Thor 特别适合这一方法。NVIDIA 表示，其 Blackwell GPU 通过 Transformer Engine 提供原生 FP4 支持。3

推测式解码：先提议，再由主模型确认

推测式解码会让较小的草稿模型先提出多个后续 token，再由主模型一次性验证。最终决策仍由主模型作出；若多个候选 token 被接受，生成便可在一次验证中向前推进多个 token，而不必逐个生成。1

效果取决于草稿 token 的接受率，因此会随模型、提示词及解码配置而变化。它应被视为针对具体工作负载的优化手段，而非可直接套用的固定性能倍增器。

Nemotron 3.5 Lightning 与 Qwen3.8-27B：关键不只是参数总量

两者体现了不同的边缘部署取舍。

Nemotron 3.5 Lightning：大容量，但每步激活更少参数

Nemotron 3.5 Lightning 是一款总参数量 300 亿的混合专家模型（MoE），但每生成一个 token 只激活其中 30 亿参数。NVIDIA 将其定位为长期、持续运行智能体的执行层模型。2

这种架构适合需要频繁输出、反复处理操作闭环的智能体，例如：理解一条事件、调用获准工具、检查工具结果，再决定继续执行还是上报异常。此时，除了总参数量外，每 token 的激活参数规模和持续生成速度同样关键。

Qwen3.8-27B：全量激活的稠密计算

Qwen3.8-27B 是稠密模型，即每个 token 都会动用全部 270 亿参数。NVIDIA 将其与 Nemotron 3.5 Lightning 一同定位为 Jetson 的有力选项。1

对于决策次数较少、但每次判断都更复杂的应用，稠密模型可能更合适；代价是每个 token 都激活整个网络，计算需求可能高于稀疏 MoE 模型。

应按工作流选型，而不是只看参数量

NVIDIA 的建议归根结底是：用真实应用来测试，包括提示词长度、输出长度、工具调用方式、时延预算、内存限制和决策模式。1

输出频繁的智能体，可能更适合生成速度快的稀疏模型；判断次数较少、但对单次决策质量要求更高的系统，则可能愿意接受更慢的生成速度，以换取稠密模型带来的实际表现。没有一种架构天然适合所有边缘场景。

6.28 倍结果究竟意味着什么

NVIDIA 报告称，在 Jetson AGX Thor 上，NVFP4 与推测式解码结合后，解码吞吐量相对 BF16 最高提升 6.28 倍。不同模型的最佳推测式解码配置并不相同：Nemotron 3.5 Lightning 最适合 DSpark，Qwen3.8-27B 则最适合 DFlash2。1

对交互式智能体而言，逐 token 产生输出的解码阶段，往往直接决定用户感受到的响应快慢。不过，这一数字不能被解读为覆盖每种提示词、模型或部署方式的通用速度承诺。草稿模型质量、token 接受率、批处理大小、上下文长度和运行时配置，都会影响实际吞吐量。1

为什么本地推理能改变边缘 AI 的设计方式

模型在设备端运行，意味着每一次推理请求都不必依赖远端数据中心。对于物理系统，这可能带来更少的网络相关延迟、在网络不稳定时仍可继续运行，以及让传感器数据流和运行日志留在设备本地的能力。NVIDIA 特别强调，在数据本地性和实时响应重要的场景中，边缘推理与智能体 AI 具有价值。1

这并不意味着云基础设施不再重要。模型训练、设备集群管理、大规模分析，以及超出设备内存与算力上限的任务，仍可能放在中心化系统中完成。变化在于：数据中心连接不必再成为每一次关键决策的必经环节。

哪些应用最适合

NVIDIA 列举了车舱内助手、实时异常检测，以及在恶劣或偏远环境中运行的机器人等用例。1

它们的共同点是：系统必须理解本地上下文，并在足够短的时间内作出有用响应。适合的方向包括：

• 需要根据观测结果和任务状态进行推理的机器人；
• 解读设备事件或运行日志的工业系统；
• 需要在车内交互中及时响应的车辆助手；
• 不能假设网络始终可靠的远程巡检与监测设备。

真正有价值的候选系统，不只是“能运行大语言模型”的设备，而是那些对响应时间、数据本地性或离线韧性存在直接业务需求的系统。

AGX Thor 在 Jetson 产品线中的位置

Jetson AGX Thor 是 NVIDIA 面向高需求物理 AI 工作负载的高端平台。NVIDIA 称，它搭载 Blackwell GPU 和 128 GB 内存，在 130 W 功耗范围内可提供最高 2,070 FP4 TFLOPS 的算力。3

这一硬件配置与指南的重点高度一致：NVFP4、高吞吐解码，以及更大规模的本地推理模型。AGX Orin 仍适合已有的成熟嵌入式部署；Thor 则面向更高要求的生成式与多模态工作负载。

在入门级市场，NVIDIA 还宣布了 Jetson Orin Nano 2，面向机器人、配送与巡检无人机，以及视觉 AI 系统。NVIDIA 表示，该模块和开发者套件预计于 2027 年上半年推出。1

整体来看，Jetson 正形成分层布局：更小型的平台服务入门级边缘 AI，AGX Orin 面向成熟的嵌入式项目，AGX Thor 则承接需要更大内存和更高算力的本地生成式推理任务。

结论：性能数字是起点，真实基准才是答案

NVIDIA 的指南并未宣称所有前沿模型如今都能轻松运行在每一款嵌入式模块上。它提出的是一个更具体、也更实用的结论：紧凑型推理模型、vLLM 部署、NVFP4 量化和推测式解码的组合，能够让 Jetson 级硬件运行具备能力的本地智能体。1

对开发者而言，下一步不是只看理论峰值，而是在目标 Jetson 设备上，用产品真实的提示词、工具、上下文窗口和响应时间要求进行测试。6.28 倍的结果展示了优化的潜力；是否能成为可用的边缘 AI 系统，仍要由实际应用基准来回答。1