OpenAI 雙雙棄守自家程式編寫基準：SWE-bench 崩潰始末

OpenAI 的結論毫不含糊：「SWE-bench Verified 上的進步，不再反映模型在真實世界軟體開發能力上的實質提升。它們愈來愈反映模型在訓練時接觸該基準的程度」。

OpenAI 當時明確推薦 SWE-bench Pro——由 Scale AI 基於私有和 copyleft 儲存庫構建的更大規模基準——作為替代方案 。

第二階段：撤回對 SWE-bench Pro 的推薦（2026 年 7 月）

2026 年 7 月 8 日，OpenAI 公佈了對 SWE-bench Pro 的詳細稽核結果——而這正是它剛剛才大力推薦、號稱更穩健的基準。調查結果同樣令人震驚 ：

• 約 30% 的任務從根本上就是壞的。 OpenAI 同時使用自動化流程和人工分類來稽核 SWE-bench Pro。自動化流程標記了 27.4% 的任務為無效；人工審查員則標記了 34.1%。OpenAI 估計，SWE-bench Pro 中約有 30% 的任務無法作為有效的評測項目 。
• 根本原因。 報告指出，GitHub 的問題（Issue）和拉取請求（Pull Request）本質上是為了人類協作而設計的，並非作為能夠乾淨、獨立地衡量 AI 能力而存在的評測任務 。

這迫使 OpenAI 撤回先前對 SWE-bench Pro 的推薦，使得整個產業頓時沒了一個可信賴的繼任基準 。

AI 編碼評測的更深層危機

OpenAI 的兩步撤退並非單一事件，而是 AI 領域在評估程式編寫能力時所面臨系統性危機的一部分：

• 生態效度缺口。 來自史丹佛 HAI、arXiv 評論以及獨立研究團隊的報告都記錄了這個根本脫節：在 SWE-bench Verified 上得分 70–80% 或更高的模型，在真實世界的可靠性卻遠低於此，特別是在處理複雜、多步驟或模糊不清的任務時 。一份分析直言：「目前的 AI 編碼代理評測基準正面臨一場根本的生態效度危機。雖然模型在 SWE-bench（70%+）和 HumanEval（90%+）上取得了驚人的分數，但這些指標完全無法預測其在真實世界中的效用」。
• 訓練-測試資料外洩已成常態。 由於 SWE-bench 的資料來自可能已出現在訓練語料庫中的公開 GitHub 資料，基準分數愈來愈反映的是模型的記憶能力，而非真正的推理能力 。史丹佛 AI 指數 2026 指出，SWE-bench Verified 上的進步速度本身就暗示了資料污染，而非真實能力的增長 。
• 更廣泛的評測危機。 史丹佛 AI 指數 2026 警告，AI 領域正處於「建構速度遠超測量能力」的狀態，隨著各領域的基準飽和與資料外洩，模型評估已變得不可靠 。arXiv 上發表的評論《Benchmarking AI Models in Software Engineering》也指出，知識碎片化、缺乏標準化以及基本的設計缺陷，是整個產業共同面臨的問題 。

這意味著什麼

OpenAI 先後放棄自己的基準、再否認其替代方案的舉動，已讓 AI 編碼評測領域陷入群龍無首的局面。業界愈來愈認識到，亮麗的基準分數已不再能可靠地預測一個 AI 編碼代理能否處理真實世界的軟體工程任務 。新的評測方法——例如針對特定任務的、對抗性的或持續更新的基準——雖然迫切需要，但尚未成熟 。

就目前而言，任何試圖評估 AI 編碼代理的人都找不到一個可以信賴的單一標準。SWE-bench Verified 和 SWE-bench Pro 的崩潰，不只是一個關於兩個有缺陷的測試的故事。它是一個關於一個產業「建構速度遠超其測量能力」的故事。