Claude 在 SWE-bench 上的高分，究竟说明了什么？

Claude 的编程基准成绩曲线确实很陡：升级版 Claude 3.5 Sonnet 在 2025 年初于 SWE-bench Verified 达到 49.0%；数月后，Claude 4 系列报告为约 72.5%—72.7%；到 2026 年，部分排行榜已给出接近基准上限的成绩。23249

但更准确的结论不是“Claude 已解决软件工程”，而是：Claude 已在公开的编程代理评测中成为极具竞争力、且经常领先的选择。 当一个有限且公开的基准逐渐逼近 100%，真正值得问的问题便变成：哪种评测最能预测它在你自己的代码仓库、工具链和代码审查流程中的表现？

三类评测，分别在测什么？

基准	代理要做什么	覆盖范围与计分方式	参考价值
SWE-bench Verified	获取一个真实 GitHub Issue 与仓库快照，产出修复补丁。	500 个经人工筛选的 SWE-bench 实例，主要来自热门开源 Python 仓库；补丁在评测环境中通过测试即计为解决。 1216	衡量在真实代码库中处理明确问题的能力，是目前认知度很高的基线。
SWE-bench Pro	在标准化代理脚手架下完成更难、周期更长的仓库任务。	据报道有 1,865 个任务，覆盖 41 个仓库、123 种编程语言，通常以 Pass@1 计分。 312	旨在突破 Verified 偏重公开 Python 任务的局限，并降低数据污染风险。
Terminal-Bench 4.0	在命令行终端完成端到端技术任务。	任务要求调查、执行命令、编辑、测试及失败后的恢复，而非只针对一个 GitHub Issue 交补丁。 3844	更强调工具使用与操作流程，更接近实际代理工作方式。

这里的“代理脚手架”很关键：它包括提示词、工具权限、检索方式、执行循环、时间与 token 预算等。它不是模型本体的一部分，却能明显改变最终分数。

Claude 在 SWE-bench Verified 上的跃升

Anthropic 曾报告，升级版 Claude 3.5 Sonnet 在 SWE-bench Verified 上达到 49.0%，高于此前报告的 45% 最佳成绩。当时 Anthropic 指出，尚没有模型突破 50%。2337

2025 年 5 月，Anthropic 报告 Claude Opus 4 为 72.5%、Claude Sonnet 4 为 72.7%；这两项数值均是在未启用扩展思考的条件下给出。24

到 2026 年，榜单格局发生了很大变化。Vals AI 报告 Claude Opus 5 为 97.0%，且已有 7 个受测模型达到 95% 以上，DeepSeek V4 Pro 0813 为 96.4%。9 因此，把“Opus 5 达到约 96%”理解为一个高 90% 区间的概括基本合理；但它并非唯一权威数值，因为模型版本、代理脚手架、预算和评测设置都会影响结果。

为什么 97% 不能照单全收

在一个只有 500 题的集合里，97% 意味着剩余的区分空间已经很小。更重要的是，Verified 由公开仓库中的有限公开任务构成。相关基准指南将其归为数据污染风险较高、并正走向饱和的评测。3

这不代表分数毫无价值。它仍是“该代理能否修复一类定义较清楚、可由测试验证的问题”的有力证据；但它并不是对私有、持续演进的代码库中全新工作的完整预测。

SWE-bench Pro：更难，也更宽

SWE-bench Pro 被定位为更难、且更抗数据污染的替代评测。据报道，它覆盖 1,865 个任务、41 个仓库和 123 种编程语言；相比之下，Verified 有 500 个经人工筛选的实例，主要集中于热门 Python 仓库。1216

2026 年 9 月发布的聚合排行榜列出 Claude Fable 5.1 为 81.2%，高于 Claude Mythos 5 的 80.3% 和 Claude Fable 5 的 80.0%。53 按该榜单，Claude 占据前三位。

不过，这里有一项不能忽略的保留：并非所有 Pro 分数都能直接横向比较。 有来源区分了 Scale 的标准化公开集与厂商聚合榜：前者领先成绩为 59.1%，后者则出现更高的厂商聚合数值。这说明代理运行环境和报告方法足以显著改变结论。13 另有来源明确警示，Fable 5.1 的 81.2% 缺少直接发布的、模型专属的 SWE-bench 结果支持，可能存在聚合或版本归属问题。55

实际使用时，应把 81.2% 视为“被报告的排行榜数值”，而不是关于基础模型能力的、已经独立复现并无争议的定论。

Terminal-Bench 4.0：被频繁引用的 Claude 与 OpenAI 差距

Terminal-Bench 测量的是命令行环境下的技术代理工作，例如构建软件、训练机器学习模型等。与 SWE-bench Verified 的“问题—补丁”形式相比，它更关注完整的操作过程。38

所引用的对比结果为：Claude Fable 5.1 为 55.8%，GPT-5.6 Sol 为 37.3%，相差 18.5 个百分点。44 这可作为证据，表明该 Claude 配置在该项评测中表现更好。

但它不能据此证明 Anthropic 在 OpenAI、Google、Cognition 或 AWS 之间存在普遍且确定的整体领先。若要得出这类结论，至少需要相同模型条件、相同代理脚手架、可比的 token 与时间预算，以及多套独立任务集上的结果；现有材料并未提供这样的完整对照。

这些结果能证明什么，不能证明什么？

现有结果可以支持三项较谨慎的判断：

1. Claude 在 SWE-bench Verified 上出现了显著的报告成绩提升：从升级版 Claude 3.5 Sonnet 的 49.0%，到与 Opus 5 相关的高 90% 榜单成绩。239
2. Claude 位于或接近已发布的 SWE-bench Pro 聚合榜单前列，但每个具体数值的来源和方法都应核查。5355
3. 在所引的 Terminal-Bench 4.0 对比中，Claude Fable 5.1 配置优于 GPT-5.6 Sol。 44

它们无法证明 Claude 能自主交付数周规模的项目、可靠理解未文档化的内部系统、做出稳健的架构取舍，或在无人审查下安全上线。SWE-bench 的任务拥有可验证的测试结果；而真实的软件工程还包括需求澄清、权衡、系统集成、安全、部署和团队协作。

比起 Verified 再多一分，评测设计更重要

SWE-bench Verified 的重要性在于，它超越了短小的编程题：代理需要在真实仓库中阅读 Issue、修改代码，并由测试给出结果。138 但 Anthropic 对代理评测的讨论称，模型在一年内已从约 40% 进步到 80% 以上。38

在这个阶段，更有用的评估组合应包括：

• 公开 Issue 修复任务：以 SWE-bench Verified 等作为可重复比较的基线；
• 更广泛、保留程度更高的仓库任务：例如 SWE-bench Pro；
• 终端与工具使用任务：测试迭代执行和从失败中恢复的能力；
• 私有且具代表性的内部任务：覆盖本组织实际使用的语言、构建系统、权限、测试体系和代码审查标准。

Anthropic 将 SWE-bench Verified 和 Terminal-Bench 都列为代理评测示例，也强调 Claude 4 的长时任务能力。3842 但现有证据不足以证明 Anthropic 已正式、全面地从 SWE-bench 转向更长周期评测；这一更强的说法仍不应视为已证实事实。

结论

截至 2026 年 9 月，Claude 的报告基准表现使其成为值得重点评估的强势编程代理选项。最醒目的里程碑，是从 2025 年初 SWE-bench Verified 的 49%，到 Opus 5 在一个排行榜上的 97.0%，同时还有 SWE-bench Pro 上被报告为 81.2% 的领先成绩。23953

选型时，不要只看一个醒目的分数。可以用这些成绩筛选候选代理，但最终应在自己的仓库中，以具有代表性的任务进行受控测试。接近饱和的公开基准说明模型已能修复很多已知类型的问题；仅凭这些基准，仍不足以证明它能在生产组织中可靠地独立完成软件工程。