MLPerf Inference v6.1 与其说是一张“谁家芯片最快”的榜单，不如说是 AI 推理服务正在变化的一次切片。AMD 展示了 MI355X 的超大规模部署能力，NVIDIA 首次公布 Vera Rubin 的预览数据，Intel 扩展了更易部署的推理系统覆盖；同时，基准新增了检索增强生成（RAG）和边缘智能体推理测试。

这些结果指向同一个结论：比较对象不再只是一块 GPU，而应是在既定延迟约束下、实际可获得并可运营的完整推理系统。

AMD 的 MI355X 成绩：聚合规模成为焦点

AMD 的代表性成绩来自 Crusoe 的 512 GPU Instinct MI355X 配置：它在 v6.1 轮次中交出了最高的聚合 token 吞吐数据。5 这不仅是加速卡性能展示，也考验了超大规模部署下的分布式推理、网络互连与整机系统集成。

但这并不等同于任何场景下的“平台总冠军”。512 GPU 的聚合成绩，不能与单机架或较小集群直接横比；至少要先统一 GPU 数量、模型、测试场景和服务等级要求。对大型推理集群而言，聚合吞吐确实是重要指标；但具体落地时，单卡吞吐、机架密度、能耗、供货可得性及运维复杂度也同样关键。

ROCm 的进步为何重要

AMD 的亮点也是一个软件故事。该公司强调，在 MI355X 硬件不变的前提下，相比上一轮 MLPerf，ROCm 优化带来了更高性能。这意味着编译器、算子内核、模型运行时和分布式服务软件，能够在不更换硬件的情况下提高既有集群的有效产能。

AMD 还承诺以 6 周为周期发布 ROCm。若这一节奏能稳定带来可部署的改进，软件迭代速度就可能直接进入采购方的“每 token 成本”账本。不过，MLPerf 的提升仍需结合自身模型组合、量化方式、框架、流量形态与延迟目标验证：某项基准中的进步，并不会自动一比一复现到生产环境。

NVIDIA 用 Vera Rubin 展示下一代平台的潜力

NVIDIA Vera Rubin NVL72 首次进入 MLPerf Inference，提交类别为预览（preview）。NVIDIA 表示，在 Qwen3-VL 上，其吞吐最高可达 GB300 NVL72 的 3.7 倍；同时，一套横跨 4 个 GB300 NVL72 机架、共 288 GPU 的提交实现了 99% 的扩展效率。2

这里的关键限定是可用性。预览结果可用于观察架构方向和软件成熟度，但不能自动视为与已全面可得系统完全对等的采购比较。本轮预览提交所用的集群规模也并不一致，因此，比起总系统吞吐，按 GPU 归一化或采用其他统一尺度的比较更有参考意义。8

在近期实际部署中，Blackwell 和 Blackwell Ultra 仍处于核心位置。例如，CoreWeave 报告称，其多种 Blackwell 与 Blackwell Ultra 配置在 Qwen3-VL、DeepSeek-R1 和 GPT-OSS-120B 等工作负载上取得了领先的云服务商成绩。4

更贴近现实的解读不是寻找唯一赢家，而是承认不同场景需要不同配置：超大集群的聚合能力、机架级推理、多模态任务和交互式低延迟服务，未必会由同一套系统占优。

Intel 扩大了推理硬件的覆盖范围

Intel 的提交让 CPU 和工作站级 GPU 推理得到更多呈现。其 4 张 Arc Pro B70 GPU 的节点合计配备 128GB 显存，并提交了 Llama、GPT-OSS-120B、Whisper 以及新的端到端 RAG 工作负载结果。Intel 还表示，同一 Arc Pro B70 配置相比上一轮实现了软件驱动的性能提升。3

这并不意味着 Arc Pro 可直接替代面向超大规模部署的加速器集群。但对于正在评估较小规模、更低成本或更灵活方案的组织，这类结果让基准更具代表性——尤其是在显存容量、本地推理或既有服务器基础设施会左右决策的情况下。

新增 RAG 与智能体测试，让基准更接近部署现实

MLCommons 表示，v6.1 共吸引创纪录的 30 家提交机构，发布 486 项数据中心和边缘结果。本轮加入了数据中心端到端 RAG 基准，以及边缘智能体推理基准，反映 AI 应用正从一次性提示词回答转向多阶段流程。9

这项扩展很重要。智能体类工作负载会暴露传统离线 token 吞吐测试不一定能揭示的瓶颈：多轮交互、工具调用、编排开销，以及各步骤之间的响应速度。MLCommons 将边缘测试描述为反映智能体编程等复杂、多轮任务。9

它们仍是受控基准，不能完整复刻在线生产服务；但评估方向已经更接近许多团队正尝试上线的 AI 应用形态。

MLPerf Endpoints 可能带来的变化

MLCommons 还预览了 MLPerf Endpoints 这一潜在方向。它的核心区别，在于定期提交的基准成绩与持续可观察的在线推理端点表现之间的差异。成熟的端点导向评测，可能会更重视负载下的行为、延迟稳定性、可用性和运营可重复性，而不仅是一次固定跑分中的峰值表现。

目前，采购方应将其视为尚在发展的评测方向，而非对既有提交机制的最终替代。v6.1 的结果本身已说明其价值所在：部署质量远不止“每秒最高生成多少 token”。

采购启示：比较整套技术栈，而不是只看标题数字

MLPerf v6.1 说明，推理竞争正由三项相互关联的因素共同塑造：加速器能力、软件改进和系统集成。AMD 的大规模 MI355X 提交凸显了规模价值；NVIDIA 的 Vera Rubin 预览展示下一阶段性能潜力，而 Blackwell 服务当下部署；Intel Arc Pro B70 扩大了硬件覆盖范围；MLCommons 的新测试则承认，RAG 与智能体应用有不同的性能需求。

评估平台时，应先定义工作负载和运行目标：模型、上下文长度、并发量、延迟服务等级目标（SLO）、功耗预算、部署规模，以及每单位有效输出的成本。之后，再在相同规模和相近可用性的前提下比较系统。这样的判断方式，比把任何一条 MLPerf 标题成绩当作普适答案更有用。

MLPerf Inference v6.1 与其说是一张“谁家芯片最快”的榜单，不如说是 AI 推理服务正在变化的一次切片。AMD 展示了 MI355X 的超大规模部署能力，NVIDIA 首次公布 Vera Rubin 的预览数据，Intel 扩展了更易部署的推理系统覆盖；同时，基准新增了检索增强生成（RAG）和边缘智能体推理测试。

这些结果指向同一个结论：比较对象不再只是一块 GPU，而应是在既定延迟约束下、实际可获得并可运营的完整推理系统。

AMD 的 MI355X 成绩：聚合规模成为焦点

AMD 的代表性成绩来自 Crusoe 的 512 GPU Instinct MI355X 配置：它在 v6.1 轮次中交出了最高的聚合 token 吞吐数据。5 这不仅是加速卡性能展示，也考验了超大规模部署下的分布式推理、网络互连与整机系统集成。

但这并不等同于任何场景下的“平台总冠军”。512 GPU 的聚合成绩，不能与单机架或较小集群直接横比；至少要先统一 GPU 数量、模型、测试场景和服务等级要求。对大型推理集群而言，聚合吞吐确实是重要指标；但具体落地时，单卡吞吐、机架密度、能耗、供货可得性及运维复杂度也同样关键。

ROCm 的进步为何重要

AMD 的亮点也是一个软件故事。该公司强调，在 MI355X 硬件不变的前提下，相比上一轮 MLPerf，ROCm 优化带来了更高性能。这意味着编译器、算子内核、模型运行时和分布式服务软件，能够在不更换硬件的情况下提高既有集群的有效产能。

AMD 还承诺以 6 周为周期发布 ROCm。若这一节奏能稳定带来可部署的改进，软件迭代速度就可能直接进入采购方的“每 token 成本”账本。不过，MLPerf 的提升仍需结合自身模型组合、量化方式、框架、流量形态与延迟目标验证：某项基准中的进步，并不会自动一比一复现到生产环境。

NVIDIA 用 Vera Rubin 展示下一代平台的潜力

NVIDIA Vera Rubin NVL72 首次进入 MLPerf Inference，提交类别为预览（preview）。NVIDIA 表示，在 Qwen3-VL 上，其吞吐最高可达 GB300 NVL72 的 3.7 倍；同时，一套横跨 4 个 GB300 NVL72 机架、共 288 GPU 的提交实现了 99% 的扩展效率。2

这里的关键限定是可用性。预览结果可用于观察架构方向和软件成熟度，但不能自动视为与已全面可得系统完全对等的采购比较。本轮预览提交所用的集群规模也并不一致，因此，比起总系统吞吐，按 GPU 归一化或采用其他统一尺度的比较更有参考意义。8

在近期实际部署中，Blackwell 和 Blackwell Ultra 仍处于核心位置。例如，CoreWeave 报告称，其多种 Blackwell 与 Blackwell Ultra 配置在 Qwen3-VL、DeepSeek-R1 和 GPT-OSS-120B 等工作负载上取得了领先的云服务商成绩。4

更贴近现实的解读不是寻找唯一赢家，而是承认不同场景需要不同配置：超大集群的聚合能力、机架级推理、多模态任务和交互式低延迟服务，未必会由同一套系统占优。

Intel 扩大了推理硬件的覆盖范围

Intel 的提交让 CPU 和工作站级 GPU 推理得到更多呈现。其 4 张 Arc Pro B70 GPU 的节点合计配备 128GB 显存，并提交了 Llama、GPT-OSS-120B、Whisper 以及新的端到端 RAG 工作负载结果。Intel 还表示，同一 Arc Pro B70 配置相比上一轮实现了软件驱动的性能提升。3

这并不意味着 Arc Pro 可直接替代面向超大规模部署的加速器集群。但对于正在评估较小规模、更低成本或更灵活方案的组织，这类结果让基准更具代表性——尤其是在显存容量、本地推理或既有服务器基础设施会左右决策的情况下。

新增 RAG 与智能体测试，让基准更接近部署现实

MLCommons 表示，v6.1 共吸引创纪录的 30 家提交机构，发布 486 项数据中心和边缘结果。本轮加入了数据中心端到端 RAG 基准，以及边缘智能体推理基准，反映 AI 应用正从一次性提示词回答转向多阶段流程。9

这项扩展很重要。智能体类工作负载会暴露传统离线 token 吞吐测试不一定能揭示的瓶颈：多轮交互、工具调用、编排开销，以及各步骤之间的响应速度。MLCommons 将边缘测试描述为反映智能体编程等复杂、多轮任务。9

它们仍是受控基准，不能完整复刻在线生产服务；但评估方向已经更接近许多团队正尝试上线的 AI 应用形态。

MLPerf Endpoints 可能带来的变化

MLCommons 还预览了 MLPerf Endpoints 这一潜在方向。它的核心区别，在于定期提交的基准成绩与持续可观察的在线推理端点表现之间的差异。成熟的端点导向评测，可能会更重视负载下的行为、延迟稳定性、可用性和运营可重复性，而不仅是一次固定跑分中的峰值表现。

目前，采购方应将其视为尚在发展的评测方向，而非对既有提交机制的最终替代。v6.1 的结果本身已说明其价值所在：部署质量远不止“每秒最高生成多少 token”。

采购启示：比较整套技术栈，而不是只看标题数字

MLPerf v6.1 说明，推理竞争正由三项相互关联的因素共同塑造：加速器能力、软件改进和系统集成。AMD 的大规模 MI355X 提交凸显了规模价值；NVIDIA 的 Vera Rubin 预览展示下一阶段性能潜力，而 Blackwell 服务当下部署；Intel Arc Pro B70 扩大了硬件覆盖范围；MLCommons 的新测试则承认，RAG 与智能体应用有不同的性能需求。

评估平台时，应先定义工作负载和运行目标：模型、上下文长度、并发量、延迟服务等级目标（SLO）、功耗预算、部署规模，以及每单位有效输出的成本。之后，再在相同规模和相近可用性的前提下比较系统。这样的判断方式，比把任何一条 MLPerf 标题成绩当作普适答案更有用。