OpenAI、自社開発のコーディングベンチマークを2つ連続で放棄—SWE-bench崩壊の全貌

OpenAIの結論は明白でした。「SWE-bench Verifiedのスコア向上は、モデルの現実世界のソフトウェア開発能力における意味のある進歩を反映していない。むしろ、訓練時にモデルがベンチマークにどれだけ露出したかを反映するものになっている」。

そしてOpenAIは、後継としてScale AIが構築した大規模なベンチマーク「SWE-bench Pro」（プライベートリポジトリとコピーレフトリポジトリから作成）を明確に推奨しました 。

第2段階：SWE-bench Pro推奨の撤回（2026年7月）

2026年7月8日、OpenAIは自らが「より堅牢」と宣伝したSWE-bench Proの詳細な監査結果を発表しました。その結果は衝撃的なものでした 。

• タスクの約30%が根本的に壊れている：OpenAIは自動パイプラインと人間による分類の両方でSWE-bench Proを監査しました。自動パイプラインはタスクの27.4%を「無効」と判定。人間のレビュアーは34.1%に問題があると判断しました。これらを総合し、OpenAIはSWE-bench Proのタスクの約30%が評価項目として成立しないと推定しています 。
• 根本原因：レポートは、GitHubのIssueやプルリクエストはそもそも人間同士の共同開発のために設計されたものであり、AIの能力をきれいに測定する独立した課題として作られたものではないと指摘しています 。

この分析結果を受け、OpenAIはSWE-bench Proの採用推奨を撤回。業界は信頼できる後継ベンチマークを失うことになりました 。

AIコーディング測定を襲う、より広範な危機

OpenAIの二段階撤退は、単独の不祥事ではありません。これは、AI分野におけるコーディング能力評価のシステム全体を蝕む危機の一部です。

• 生態学的妥当性（Ecological Validity）のギャップ：スタンフォードHAI、arXivのレビュー、独立系グループによる研究は、基本的な矛盾を浮き彫りにしています。SWE-bench Verifiedで70～80%以上の高スコアを記録するモデルでも、複雑で多段階、あるいは曖昧な実世界のタスクでは信頼性が著しく低下するのです 。ある分析は「現在のAIコーディングエージェント評価用ベンチマークは、根本的な生態学的妥当性の危機に直面している。モデルがSWE-bench（70%以上）やHumanEval（90%以上）で印象的なスコアを達成しても、これらの指標は実世界での有用性を予測できない」と断言しています 。
• 訓練データとテストデータの漏洩は常態化：SWE-benchは公開GitHubデータから作られているため、そのデータがモデルの訓練コーパスに含まれている可能性が高く、ベンチマークスコアは推論能力ではなく記憶能力を反映する傾向が強まっています 。スタンフォードAI Index 2026は、SWE-bench Verifiedにおける改善ペースの速さ自体が、能力の真の成長ではなくデータ汚染を示唆していると指摘しています 。
• より広範な測定の危機：スタンフォードAI Index 2026は、AI分野が「測定する速度よりも速く構築している」と警告。ベンチマークの飽和とデータ漏洩により、コーディング以外の領域でもモデル評価の信頼性が低下しています 。arXivに掲載されたレビュー論文「ソフトウェア工学におけるAIモデルのベンチマーク評価」は、知識の断片化、標準化の欠如、基本的な設計上の欠陥を業界全体の問題として指摘しています 。

この出来事が意味すること

OpenAIの連続撤退——最初に自社のベンチマークを放棄し、次にその代替品を否定する——により、AIコーディング評価の世界は信頼できる指標を失いました。コミュニティでは、高いベンチマックスコアが、AIコーディングエージェントが実際のソフトウェアエンジニアリングタスクを処理できるかどうかを、もはや確実に予測しないという認識が広がっています 。タスク固有、敵対的（adversarial）、継続的に更新されるベンチマークなど、新しい評価方法論が緊急に求められていますが、まだ成熟していません 。

現時点では、AIコーディングエージェントを評価しようとする誰もが、信頼できるたった一つの基準を持っていません。SWE-bench VerifiedとSWE-bench Proの崩壊は、単に二つの欠陥のあるテストの話ではありません。それは、測定する速度よりも速くシステムを構築してしまった業界の物語なのです。