OpenAI 连续抛弃两大编程基准：SWE-bench 崩塌背后

OpenAI 的结论毫不含糊：“SWE-bench Verified 上的改进不再反映模型在真实世界软件开发能力方面的有意义提升。它们越来越多地反映模型在训练时接触基准的程度”。

OpenAI 当时明确推荐 SWE-bench Pro——一个由 Scale AI 从私有和版权宽松的代码库构建的更大规模基准——作为替代方案 。

第二阶段：SWE-bench Pro 推荐的撤回（2026年7月）

2026 年 7 月 8 日，OpenAI 报告了对 SWE-bench Pro 的详细审计结果——而这个基准正是它刚刚力推的“更强大”方案。调查结果令人震惊 ：

• 约 30% 的任务存在根本性缺陷。 OpenAI 使用了自动化流水线和人工分类两种方式审计 SWE-bench Pro。自动化流水线标记了 27.4% 的任务为无效；人工审查员则标记了 34.1%。OpenAI 估计约 30% 的 SWE-bench Pro 任务在评估上不成立 。
• 根本原因。 报告指出，GitHub 的问题和拉取请求最初是为人类协作设计的，而不是作为能可靠地隔离评估 AI 能力的干净独立测试任务 。

这迫使 OpenAI 撤回之前对 SWE-bench Pro 的采用建议，使得整个行业失去了一个可信的继任基准 。

AI 编程测量领域的更广泛危机

OpenAI 的两步撤退并非孤立事件。它是 AI 领域在评估编程能力方面系统性危机的一部分：

• 生态效度缺口。 来自斯坦福 HAI、arXiv 评论以及独立团体的研究人员都记录了一个根本性脱节：在 SWE-bench Verified 上得分 70-80% 甚至更高的模型，在实际应用中的可靠性却低得多，尤其是在处理复杂、多步骤或模糊任务时 。一份分析直截了当地指出：“当前用于评估 AI 编程代理的基准面临根本性的生态效度危机。虽然模型在 SWE-bench（70%+）和 HumanEval（90%+）上取得了令人瞩目的分数，但这些指标无法预测真实世界的实用性”。
• 训练-测试泄漏普遍存在。 由于 SWE-bench 从可能出现在训练语料中的公共 GitHub 数据中提取，基准分数越来越多地反映记忆而非推理能力 。斯坦福 AI 指数 2026 将 SWE-bench Verified 的改进速度描述为污染的信号，而非真正能力的增长 。
• 更广泛的测量危机。 斯坦福 AI 指数 2026 警告说，AI 领域正在“以远超我们测量能力的速度发展”，随着基准饱和和泄漏，跨领域的模型评估变得不可靠 。arXiv 的评论文章“软件工程中 AI 模型的基准测试”指出知识碎片化、缺乏标准化以及根本性设计缺陷是行业层面的问题 。

这意味着什么

OpenAI 的连环撤退——先是放弃自己的基准，随后又否认替代品——使得 AI 编程评估领域失去了可信的领导者。社会各界越来越认识到，高基准分数已不能再可靠预测一个 AI 编程代理能否处理真实世界的软件工程任务 。新的评估方法——如任务特定、对抗性或持续更新的基准——迫切需要，但尚未成熟 。

目前，任何试图评估 AI 编程代理的人都无法找到一个可以信赖的单一标准。SWE-bench Verified 和 SWE-bench Pro 的崩塌不仅仅是两个有缺陷的测试的故事。这是一个关于一个以远超测量能力的速度发展的行业的故事。