SemiAnalysis 发布的 AgentX 1.0，试图回答一个比“哪款 GPU 峰值吞吐更高”更接近实际部署的问题：当编码智能体不断携带超长上下文、多轮调用，并要求维持即时响应时，英伟达和 AMD 的推理成本效率究竟如何？

结论很鲜明，但不能简单概括为“英伟达全面击败 AMD”：在较容易部署的 SGLang 配置中，英伟达的软硬件协同优势非常明显；而在采用 AMD 专用推理引擎的特定场景中，AMD 仍然能够追平甚至胜出。12

AgentX 测试了什么？

AgentX 1.0 是 SemiAnalysis InferenceX v3 基准测试套件的一部分。与固定输入、固定输出长度的传统推理测试不同，它回放的是多轮编码智能体流量，包含接近 100 万 token 的超长上下文场景。13

v1.0 数据集由 393 个经过自愿授权、匿名化处理的 Claude Code 会话组成。符合条件的会话至少包含 20 个请求；数据处理还移除了重复请求、部分客户端专用调用，以及重建后超过 990,000 token 的输入。每个请求的输入 token 数中位数为 142,000，输出 token 数中位数为 444；44% 的会话包含子智能体。8

这种流量与一次性“输入一个长提示词、生成一段长答案”不同。编码代理会反复提交不断变化的对话、代码库和工具调用结果，因此测试重点是：系统能否在大量并发会话中持续维护大规模缓存，同时快速生成相对较短的回复。

英伟达领先了多少？

在较为通用的 SGLang 服务配置中，最显著的差距出现在两个模型上：

• **GLM 5.3：**在 AgentX 测试工作点上，SemiAnalysis 报告称，英伟达硬件的成本效率最高约为 AMD 的 5 倍；相关比较包含每用户每秒 150 个输出 token 的目标。2
• **Qwen 3.5：**在每用户每秒 90 个输出 token 的目标下，引用的 SGLang 对比显示，英伟达性能比 AMD 高出 20 倍以上。6

这些数字应被理解为特定运行点的对比，而不是对整个产品线给出一个统一排名。InferenceX 会按照不同平台实际观察到的服务能力范围计算成本，并在指定的交互性目标下比较每百万 token 的成本。79

这也解释了为什么 8k 输入、1k 输出之类的固定长度测试，可能无法反映真实编码代理中的关键瓶颈。某款加速器在单次请求吞吐量上看起来很有竞争力，但当系统需要同时维护大量相互重复、规模庞大的上下文时，表现可能完全不同。

为什么长上下文代理更有利于英伟达的软件栈？

前缀缓存复用改变了推理模式

AgentX 流量会在相邻请求之间反复复用大部分上下文。SemiAnalysis 表示，在这些代理轨迹中，前缀缓存或 KV 缓存的命中率经常超过 95%。1

这意味着系统并不是每次都从头处理一段全新的提示词，而是在保留大规模缓存状态的基础上继续生成内容。如何存储、定位、传输和复用这些状态，直接影响吞吐量、延迟和成本。

DRAM 容量决定多少缓存能留在加速器上

可用的高带宽内存容量决定了多少 KV 缓存能够常驻加速器。当工作集超过设备内存时，服务系统可能需要把数据转移到主机内存，或通过其他较慢路径管理缓存状态。1

主机内存卸载可以扩大平台可支持的会话数量，但也会带来额外的带宽消耗和延迟。能够让更多活跃缓存留在设备上，或更高效地安排数据移动的平台，更容易在相同成本下维持较高的交互性。

短输出、多轮请求放大了分词开销

SemiAnalysis 还特别提到了 TensorRT-LLM 的“边界感知增量分词”机制。它不会在每次请求中重新分词整段不断增长的提示词，而是识别稳定的边界，只处理新增内容。1

这项优化尤其适合编码代理：请求可能携带数十万 token 的上下文，却只输出几百个 token。在这种模式下，CPU 侧预处理和重复分词会成为不可忽视的服务开销。

更大的启示是，推理性价比并不是单一硬件指标，而是以下因素的乘积：

硬件 × 运行时 × 模型 × 工作负载 × 延迟目标。

仅看算力、内存带宽或某一个吞吐量数字，很难完整解释最终结果。

AMD 并非没有胜场

AgentX 没有证明英伟达在所有配置中都获胜。SemiAnalysis 报告称，在部分模型、吞吐量和推理引擎组合中，AMD 实现了明显领先或接近持平的结果，尤其是 MI355X 搭配 AMD 的 ATOM 服务引擎时。1

测试遥测数据分别列出了 MI355X 在 ATOM、SGLang、vLLM 等不同配置下的表现。这一区分非常关键：所谓“AMD 的成绩”，很大程度上取决于使用了哪一种服务引擎、模型实现和优化方案。4

ATOM 的专用调度、缓存管理以及面向 AMD 的内核，在模型和工作负载适配 MI355X 内存配置时，可以取得很好的表现。换句话说，只要运营方愿意采用针对 AMD 优化的运行时，AMD 硬件仍然可能具备很强的竞争力。

为什么多数买家更应关注上游 vLLM 和 SGLang？

专用引擎可以展示一款硬件在有利条件下的能力上限，但基础设施采购通常不只看最佳内核成绩。买家还需要考虑模型覆盖范围、版本迭代、工具链、部署经验以及长期维护成本。

SemiAnalysis 表示，其测试方案主要遵循上游 vLLM 和 SGLang 的指导，以衡量客户能够较现实地部署的配置，而不是只依赖为基准测试量身定制的软件栈。1

因此，对大多数潜在 AMD 买家来说，更有决策价值的问题是：MI355X 在上游 vLLM 和 SGLang 中表现如何，而不是 ATOM 能否在专门优化后取得最佳成绩。ATOM 的结果证明 AMD 硬件在合适的软件环境中可以跑得很好，但它不能直接等同于通用上游服务层的可用性能。

这是一种关于采用门槛和软件可获得性的区别，并不意味着 ATOM 无效，也不意味着专用运行时没有价值。

软件更新可能在几天内改变硬件排名

这项测试还展示了推理基准的一个现实：结果很容易过时。遥测数据中包含一组标记为 8 月 21 日的 AMD MI355X MoRI/SGLang 配置，其他 AMD 配置则在不同日期测量。4

SemiAnalysis 指出，一次 8 月 21 日的软件更新改变了至少一组对比中的排名。这说明调度、内核、缓存移动机制和模型支持的改进，可能在几天内改变人们对硬件层级的判断。14

SemiAnalysis 此前针对 MI355X 和 Qwen 3.5 的工作也给出了类似警示：在 13 周时间里，连续发布的 SGLang 版本带来了显著性能提升。12

对采购团队而言，比较加速器时应记录完整的运行时版本、服务配置、模型量化方式、并发范围，以及目标交互性。脱离这些条件的硬件结论，很可能会随着软件升级迅速失真。

这项结果有哪些局限？

AgentX 是衡量长上下文编码代理的有价值代理指标，但并不是所有生产工作负载的代表性普查。其数据来自内部、自愿授权的轨迹库，样本是经过筛选的 393 个会话，并不等同于全部企业智能体流量。8

在以下场景中，结果可能明显不同：

• 短上下文聊天；
• 检索增强生成（RAG）；
• 批量推理；
• 图像或视频工作负载；
• 其他智能体框架；
• 不同的上下文长度分布；
• 不同的延迟和吞吐量要求。

此外，初始比较结果没有纳入 Google TPU，因此 AgentX v1.0 不能据此得出英伟达、AMD 与 Google 三方的完整结论。1

这场竞争也仍在变化。SemiAnalysis 已将英伟达 Rubin、AMD MI455X UALoE72 以及更新一代 TPU 系统列为未来的比较对象；这些硬件加入后，竞争格局可能发生改变。111

开源发布的长期价值

SemiAnalysis 已将 AgentX 数据集、测试工具、配置、遥测数据及相关材料以 Apache 2.0 许可证开放发布。1

这项工作的长期意义，可能不只是制造一个“英伟达对 AMD”的新闻标题。SemiAnalysis 表示，AgentX 已经成为 70 多个上游 Pull Request 的目标工作负载，涉及 vLLM、SGLang、TensorRT-LLM、ATOM、AITER、Dynamo、LMCache 和 Mooncake 等项目。1

这为推理框架开发者提供了一种可复现的优化方向：围绕真实代理行为改进前缀缓存、KV 缓存传输与卸载、调度、多轮请求正确性以及分词效率，而不是只追求合成测试中的峰值吞吐量。

结论：英伟达赢在生态，但 AMD 仍有可用的突破口

AgentX 强化了这样一个判断：在长上下文编码代理推理中，英伟达的 CUDA、内存管理和服务软件生态仍构成重要优势。在测试的 SGLang 对比中，英伟达在 GLM 5.3 上的成本效率最高约领先 5 倍，在 Qwen 3.5、每用户每秒 90 个输出 token 的目标下，性能则高出 20 倍以上。26

但这并不意味着英伟达永远胜出。AMD MI355X 搭配 ATOM 在部分专用配置中展示了具有竞争力甚至更好的性价比；同时，推理软件的快速迭代也可能随时改变排名。

对基础设施团队来说，最可靠的做法不是根据一个醒目的倍数直接选定赢家，而是使用自己的模型、运行时、上下文分布和延迟目标，重新复现这场比较。

SemiAnalysis 发布的 AgentX 1.0，试图回答一个比“哪款 GPU 峰值吞吐更高”更接近实际部署的问题：当编码智能体不断携带超长上下文、多轮调用，并要求维持即时响应时，英伟达和 AMD 的推理成本效率究竟如何？

结论很鲜明，但不能简单概括为“英伟达全面击败 AMD”：在较容易部署的 SGLang 配置中，英伟达的软硬件协同优势非常明显；而在采用 AMD 专用推理引擎的特定场景中，AMD 仍然能够追平甚至胜出。12

AgentX 测试了什么？

AgentX 1.0 是 SemiAnalysis InferenceX v3 基准测试套件的一部分。与固定输入、固定输出长度的传统推理测试不同，它回放的是多轮编码智能体流量，包含接近 100 万 token 的超长上下文场景。13

v1.0 数据集由 393 个经过自愿授权、匿名化处理的 Claude Code 会话组成。符合条件的会话至少包含 20 个请求；数据处理还移除了重复请求、部分客户端专用调用，以及重建后超过 990,000 token 的输入。每个请求的输入 token 数中位数为 142,000，输出 token 数中位数为 444；44% 的会话包含子智能体。8

这种流量与一次性“输入一个长提示词、生成一段长答案”不同。编码代理会反复提交不断变化的对话、代码库和工具调用结果，因此测试重点是：系统能否在大量并发会话中持续维护大规模缓存，同时快速生成相对较短的回复。

英伟达领先了多少？

在较为通用的 SGLang 服务配置中，最显著的差距出现在两个模型上：

• **GLM 5.3：**在 AgentX 测试工作点上，SemiAnalysis 报告称，英伟达硬件的成本效率最高约为 AMD 的 5 倍；相关比较包含每用户每秒 150 个输出 token 的目标。2
• **Qwen 3.5：**在每用户每秒 90 个输出 token 的目标下，引用的 SGLang 对比显示，英伟达性能比 AMD 高出 20 倍以上。6

这些数字应被理解为特定运行点的对比，而不是对整个产品线给出一个统一排名。InferenceX 会按照不同平台实际观察到的服务能力范围计算成本，并在指定的交互性目标下比较每百万 token 的成本。79

这也解释了为什么 8k 输入、1k 输出之类的固定长度测试，可能无法反映真实编码代理中的关键瓶颈。某款加速器在单次请求吞吐量上看起来很有竞争力，但当系统需要同时维护大量相互重复、规模庞大的上下文时，表现可能完全不同。

为什么长上下文代理更有利于英伟达的软件栈？

前缀缓存复用改变了推理模式

AgentX 流量会在相邻请求之间反复复用大部分上下文。SemiAnalysis 表示，在这些代理轨迹中，前缀缓存或 KV 缓存的命中率经常超过 95%。1

这意味着系统并不是每次都从头处理一段全新的提示词，而是在保留大规模缓存状态的基础上继续生成内容。如何存储、定位、传输和复用这些状态，直接影响吞吐量、延迟和成本。

DRAM 容量决定多少缓存能留在加速器上

可用的高带宽内存容量决定了多少 KV 缓存能够常驻加速器。当工作集超过设备内存时，服务系统可能需要把数据转移到主机内存，或通过其他较慢路径管理缓存状态。1

主机内存卸载可以扩大平台可支持的会话数量，但也会带来额外的带宽消耗和延迟。能够让更多活跃缓存留在设备上，或更高效地安排数据移动的平台，更容易在相同成本下维持较高的交互性。

短输出、多轮请求放大了分词开销

SemiAnalysis 还特别提到了 TensorRT-LLM 的“边界感知增量分词”机制。它不会在每次请求中重新分词整段不断增长的提示词，而是识别稳定的边界，只处理新增内容。1

这项优化尤其适合编码代理：请求可能携带数十万 token 的上下文，却只输出几百个 token。在这种模式下，CPU 侧预处理和重复分词会成为不可忽视的服务开销。

更大的启示是，推理性价比并不是单一硬件指标，而是以下因素的乘积：

硬件 × 运行时 × 模型 × 工作负载 × 延迟目标。

仅看算力、内存带宽或某一个吞吐量数字，很难完整解释最终结果。

AMD 并非没有胜场

AgentX 没有证明英伟达在所有配置中都获胜。SemiAnalysis 报告称，在部分模型、吞吐量和推理引擎组合中，AMD 实现了明显领先或接近持平的结果，尤其是 MI355X 搭配 AMD 的 ATOM 服务引擎时。1

测试遥测数据分别列出了 MI355X 在 ATOM、SGLang、vLLM 等不同配置下的表现。这一区分非常关键：所谓“AMD 的成绩”，很大程度上取决于使用了哪一种服务引擎、模型实现和优化方案。4

ATOM 的专用调度、缓存管理以及面向 AMD 的内核，在模型和工作负载适配 MI355X 内存配置时，可以取得很好的表现。换句话说，只要运营方愿意采用针对 AMD 优化的运行时，AMD 硬件仍然可能具备很强的竞争力。

为什么多数买家更应关注上游 vLLM 和 SGLang？

专用引擎可以展示一款硬件在有利条件下的能力上限，但基础设施采购通常不只看最佳内核成绩。买家还需要考虑模型覆盖范围、版本迭代、工具链、部署经验以及长期维护成本。

SemiAnalysis 表示，其测试方案主要遵循上游 vLLM 和 SGLang 的指导，以衡量客户能够较现实地部署的配置，而不是只依赖为基准测试量身定制的软件栈。1

因此，对大多数潜在 AMD 买家来说，更有决策价值的问题是：MI355X 在上游 vLLM 和 SGLang 中表现如何，而不是 ATOM 能否在专门优化后取得最佳成绩。ATOM 的结果证明 AMD 硬件在合适的软件环境中可以跑得很好，但它不能直接等同于通用上游服务层的可用性能。

这是一种关于采用门槛和软件可获得性的区别，并不意味着 ATOM 无效，也不意味着专用运行时没有价值。

软件更新可能在几天内改变硬件排名

这项测试还展示了推理基准的一个现实：结果很容易过时。遥测数据中包含一组标记为 8 月 21 日的 AMD MI355X MoRI/SGLang 配置，其他 AMD 配置则在不同日期测量。4

SemiAnalysis 指出，一次 8 月 21 日的软件更新改变了至少一组对比中的排名。这说明调度、内核、缓存移动机制和模型支持的改进，可能在几天内改变人们对硬件层级的判断。14

SemiAnalysis 此前针对 MI355X 和 Qwen 3.5 的工作也给出了类似警示：在 13 周时间里，连续发布的 SGLang 版本带来了显著性能提升。12

对采购团队而言，比较加速器时应记录完整的运行时版本、服务配置、模型量化方式、并发范围，以及目标交互性。脱离这些条件的硬件结论，很可能会随着软件升级迅速失真。

这项结果有哪些局限？

AgentX 是衡量长上下文编码代理的有价值代理指标，但并不是所有生产工作负载的代表性普查。其数据来自内部、自愿授权的轨迹库，样本是经过筛选的 393 个会话，并不等同于全部企业智能体流量。8

在以下场景中，结果可能明显不同：

• 短上下文聊天；
• 检索增强生成（RAG）；
• 批量推理；
• 图像或视频工作负载；
• 其他智能体框架；
• 不同的上下文长度分布；
• 不同的延迟和吞吐量要求。

此外，初始比较结果没有纳入 Google TPU，因此 AgentX v1.0 不能据此得出英伟达、AMD 与 Google 三方的完整结论。1

这场竞争也仍在变化。SemiAnalysis 已将英伟达 Rubin、AMD MI455X UALoE72 以及更新一代 TPU 系统列为未来的比较对象；这些硬件加入后，竞争格局可能发生改变。111

开源发布的长期价值

SemiAnalysis 已将 AgentX 数据集、测试工具、配置、遥测数据及相关材料以 Apache 2.0 许可证开放发布。1

这项工作的长期意义，可能不只是制造一个“英伟达对 AMD”的新闻标题。SemiAnalysis 表示，AgentX 已经成为 70 多个上游 Pull Request 的目标工作负载，涉及 vLLM、SGLang、TensorRT-LLM、ATOM、AITER、Dynamo、LMCache 和 Mooncake 等项目。1

这为推理框架开发者提供了一种可复现的优化方向：围绕真实代理行为改进前缀缓存、KV 缓存传输与卸载、调度、多轮请求正确性以及分词效率，而不是只追求合成测试中的峰值吞吐量。

结论：英伟达赢在生态，但 AMD 仍有可用的突破口

AgentX 强化了这样一个判断：在长上下文编码代理推理中，英伟达的 CUDA、内存管理和服务软件生态仍构成重要优势。在测试的 SGLang 对比中，英伟达在 GLM 5.3 上的成本效率最高约领先 5 倍，在 Qwen 3.5、每用户每秒 90 个输出 token 的目标下，性能则高出 20 倍以上。26

但这并不意味着英伟达永远胜出。AMD MI355X 搭配 ATOM 在部分专用配置中展示了具有竞争力甚至更好的性价比；同时，推理软件的快速迭代也可能随时改变排名。

对基础设施团队来说，最可靠的做法不是根据一个醒目的倍数直接选定赢家，而是使用自己的模型、运行时、上下文分布和延迟目标，重新复现这场比较。