• 測試案例有缺陷。 團隊對 o3 模型都解決唔到嘅 138 個最難問題（佔總數 27.6%）進行審計，發現 至少 59.4% 嘅測試會拒絕功能上正確嘅修補——即係模型明明解決咗個問題，但都被判錯 。
• 大規模數據污染。 所有測試過嘅前沿模型——包括 GPT-5.2、Claude Opus 4.5、Gemini 3 Flash——都可以喺某啲任務上完整重複人手寫嘅「黃金修補碼」，明顯表示呢 500 個任務已經洩漏咗去訓練數據 。
• 飽和。 分數由 2024 年嘅大約 60% 人類基準，喺短短一年內升到接近 100%，令到呢個基準冇辦法再分辨唔同前沿模型嘅優劣 。根據 Stanford AI Index 2026，分數「由 2024 年嘅大約 60% 上升到 2025 年嘅接近 100%」。

OpenAI 嘅結論非常清晰：「SWE-bench Verified 嘅進步，唔再反映模型喺真實世界軟件開發能力上嘅有意義改進。佢哋愈來愈反映模型喺訓練時接觸咗呢個基準幾多」。

OpenAI 當時明確推薦 SWE-bench Pro——一個由 Scale AI 建立、使用私有同 copyleft 代碼庫嘅更大基準——作為替代品 。

第二階段：SWE-bench Pro 推薦被撤回（2026 年 7 月）

2026 年 7 月 8 日，OpenAI 公布咗對 SWE-bench Pro 嘅詳細審計結果——呢個正正係佢哋幾個月前先吹捧為「更穩陣」嘅基準。結果係災難性嘅 ：

• 大約 30% 嘅任務根本上係爛嘅。 OpenAI 用自動化管道同人手分類去審計 SWE-bench Pro。自動化管道標記咗 27.4% 嘅任務為無效；人手審批員就標記咗 34.1%。OpenAI 估計有大約 30% 嘅 SWE-bench Pro 任務根本唔適合用嚟做評測 。
• 根本原因。 報告指出，GitHub 嘅議題同 Pull Request 原本係為咗人類協作而設，唔係為咗乾淨、獨立噉量度 AI 能力而設計嘅評測任務 。

呢個結果令 OpenAI 被迫撤回對 SWE-bench Pro 嘅推薦，令到成個行業冇咗一個可信嘅繼任基準 。

AI 編碼評測嘅更廣泛危機

OpenAI 嘅兩步撤退唔係單一事件，而係 AI 領域評測編碼能力嘅系統性危機一部分：

• 生態效度差距。 來自 Stanford HAI、arXiv 評論文章同獨立組織嘅研究都記錄咗一個根本性脫節：喺 SWE-bench Verified 攞到 70–80% 或以上分數嘅模型，喺真實世界嘅可靠性低好多，尤其係複雜、多步驟或者模糊嘅任務 。有分析直言：「而家用嚟評測 AI 編碼代理嘅基準，正面臨一個根本性嘅生態效度危機。雖然模型喺 SWE-bench（70%+）同 HumanEval（90%+）攞到亮眼分數，但呢啲指標完全無法預測真實世界嘅實用性」。
• 訓練-測試數據洩漏係常態。 因為 SWE-bench 嘅資料嚟自公開 GitHub 數據，呢啲數據好可能出現喺訓練語料庫入面，所以基準分數愈來愈反映記憶力而唔係推理能力 。Stanford AI Index 2026 形容 SWE-bench Verified 嘅進步速度，顯示嘅係數據污染而唔係真正嘅能力增長 。
• 更廣泛嘅評測危機。 Stanford AI Index 2026 警告，AI 行業「起得快過我哋嘅測量能力」，跨領域嘅模型評測因為基準飽和同數據洩漏而變得唔可靠 。arXiv 嘅評論文章《Benchmarking AI Models in Software Engineering》指出，知識碎片化、缺乏標準化同基本設計缺陷係全行業嘅問題 。

呢個代表啲乜？

OpenAI 連續兩次撤退——先放棄自己嘅基準，再否定埋自己推薦嘅替代品——令到 AI 編碼評測領域冇咗一個可信嘅領導者。業界愈來愈意識到，高基準分數已經唔再可靠噉預測一個 AI 編碼代理能否處理真實世界嘅軟件工程任務 。新嘅評測方法——例如任務特定型、對抗型或者持續更新型嘅基準——係好迫切嘅需要，但仲未成熟 。

對於而家想評測 AI 編碼代理嘅人嚟講，已經冇一個單一標準可以信得過。SWE-bench Verified 同 SWE-bench Pro 嘅崩盤，唔止係兩個有缺陷嘅測試嘅故事。佢係一個關於「行業起得快過佢哋嘅量度能力」嘅故事。

• 測試案例有缺陷。 團隊對 o3 模型都解決唔到嘅 138 個最難問題（佔總數 27.6%）進行審計，發現 至少 59.4% 嘅測試會拒絕功能上正確嘅修補——即係模型明明解決咗個問題，但都被判錯 。
• 大規模數據污染。 所有測試過嘅前沿模型——包括 GPT-5.2、Claude Opus 4.5、Gemini 3 Flash——都可以喺某啲任務上完整重複人手寫嘅「黃金修補碼」，明顯表示呢 500 個任務已經洩漏咗去訓練數據 。
• 飽和。 分數由 2024 年嘅大約 60% 人類基準，喺短短一年內升到接近 100%，令到呢個基準冇辦法再分辨唔同前沿模型嘅優劣 。根據 Stanford AI Index 2026，分數「由 2024 年嘅大約 60% 上升到 2025 年嘅接近 100%」。

OpenAI 嘅結論非常清晰：「SWE-bench Verified 嘅進步，唔再反映模型喺真實世界軟件開發能力上嘅有意義改進。佢哋愈來愈反映模型喺訓練時接觸咗呢個基準幾多」。

OpenAI 當時明確推薦 SWE-bench Pro——一個由 Scale AI 建立、使用私有同 copyleft 代碼庫嘅更大基準——作為替代品 。

第二階段：SWE-bench Pro 推薦被撤回（2026 年 7 月）

2026 年 7 月 8 日，OpenAI 公布咗對 SWE-bench Pro 嘅詳細審計結果——呢個正正係佢哋幾個月前先吹捧為「更穩陣」嘅基準。結果係災難性嘅 ：

• 大約 30% 嘅任務根本上係爛嘅。 OpenAI 用自動化管道同人手分類去審計 SWE-bench Pro。自動化管道標記咗 27.4% 嘅任務為無效；人手審批員就標記咗 34.1%。OpenAI 估計有大約 30% 嘅 SWE-bench Pro 任務根本唔適合用嚟做評測 。
• 根本原因。 報告指出，GitHub 嘅議題同 Pull Request 原本係為咗人類協作而設，唔係為咗乾淨、獨立噉量度 AI 能力而設計嘅評測任務 。

呢個結果令 OpenAI 被迫撤回對 SWE-bench Pro 嘅推薦，令到成個行業冇咗一個可信嘅繼任基準 。

AI 編碼評測嘅更廣泛危機

OpenAI 嘅兩步撤退唔係單一事件，而係 AI 領域評測編碼能力嘅系統性危機一部分：

• 生態效度差距。 來自 Stanford HAI、arXiv 評論文章同獨立組織嘅研究都記錄咗一個根本性脫節：喺 SWE-bench Verified 攞到 70–80% 或以上分數嘅模型，喺真實世界嘅可靠性低好多，尤其係複雜、多步驟或者模糊嘅任務 。有分析直言：「而家用嚟評測 AI 編碼代理嘅基準，正面臨一個根本性嘅生態效度危機。雖然模型喺 SWE-bench（70%+）同 HumanEval（90%+）攞到亮眼分數，但呢啲指標完全無法預測真實世界嘅實用性」。
• 訓練-測試數據洩漏係常態。 因為 SWE-bench 嘅資料嚟自公開 GitHub 數據，呢啲數據好可能出現喺訓練語料庫入面，所以基準分數愈來愈反映記憶力而唔係推理能力 。Stanford AI Index 2026 形容 SWE-bench Verified 嘅進步速度，顯示嘅係數據污染而唔係真正嘅能力增長 。
• 更廣泛嘅評測危機。 Stanford AI Index 2026 警告，AI 行業「起得快過我哋嘅測量能力」，跨領域嘅模型評測因為基準飽和同數據洩漏而變得唔可靠 。arXiv 嘅評論文章《Benchmarking AI Models in Software Engineering》指出，知識碎片化、缺乏標準化同基本設計缺陷係全行業嘅問題 。

呢個代表啲乜？

OpenAI 連續兩次撤退——先放棄自己嘅基準，再否定埋自己推薦嘅替代品——令到 AI 編碼評測領域冇咗一個可信嘅領導者。業界愈來愈意識到，高基準分數已經唔再可靠噉預測一個 AI 編碼代理能否處理真實世界嘅軟件工程任務 。新嘅評測方法——例如任務特定型、對抗型或者持續更新型嘅基準——係好迫切嘅需要，但仲未成熟 。

對於而家想評測 AI 編碼代理嘅人嚟講，已經冇一個單一標準可以信得過。SWE-bench Verified 同 SWE-bench Pro 嘅崩盤，唔止係兩個有缺陷嘅測試嘅故事。佢係一個關於「行業起得快過佢哋嘅量度能力」嘅故事。