OpenAI、自社開発のコーディングベンチマークを2つ連続で放棄—SWE-bench崩壊の全貌

わずか7ヶ月の間に、OpenAIは自ら推進してきた2つのコーディングベンチマークから撤退しました。2026年2月、OpenAIが共同開発し業界標準となっていた「SWE-bench Verified」を廃止。続いて同年7月、その後継として推奨していた「SWE-bench Pro」の推奨を撤回しました。この異例の連続撤退は、単なる評価ツールの不具合にとどまらず、AI業界がコーディング能力を測る方法そのものが根本的に崩壊していることを示しています。

第1段階：SWE-bench Verifiedの放棄（2026年2月）

SWE-bench Verifiedは2024年8月に公開されました。これはプリンストン大学が開発したオリジナルのSWE-benchから、実際のGitHubの Issue をもとにした500件のPythonタスクを人間が検証して選んだベンチマークです 。約18ヶ月にわたり、AIコーディングエージェントが実世界のソフトウェア問題をどの程度解決できるかを測る主要な指標として使われてきました 。

2026年2月23日、OpenAIのFrontier Evalsチームはこのベンチマークを正式に非推奨としました 。その理由は以下の通りです。

• 欠陥のあるテストケース：モデルo3が解けなかった最も難しい138問（全体の27.6%）を内部監査した結果、少なくとも59.4%に、機能的に正しい修正を不合格とする欠陥テストケースが含まれていることが判明しました 。
• 広範なデータ汚染：テストされたすべての frontier モデル（GPT-5.2、Claude Opus 4.5、Gemini 3 Flash）が、一部のタスクで人間の書いた「模範解答」を一字一句再現できました。これは、500タスクのセットが訓練データに漏洩（リーク）していた明確な証拠です 。
• 飽和：スコアは2024年の人間ベースラインの約60%から、わずか1年でほぼ100%にまで急上昇。これにより、最先端モデル間の実力差を識別する能力を完全に失いました 。スタンフォード大学のAI Index 2026は、「SWE-bench Verifiedの成績は、2024年の約60%から2025年には100%近くに上昇した」と報告しています 。

OpenAIの結論は明白でした。「SWE-bench Verifiedのスコア向上は、モデルの現実世界のソフトウェア開発能力における意味のある進歩を反映していない。むしろ、訓練時にモデルがベンチマークにどれだけ露出したかを反映するものになっている」。

そしてOpenAIは、後継としてScale AIが構築した大規模なベンチマーク「SWE-bench Pro」（プライベートリポジトリとコピーレフトリポジトリから作成）を明確に推奨しました 。

第2段階：SWE-bench Pro推奨の撤回（2026年7月）

2026年7月8日、OpenAIは自らが「より堅牢」と宣伝したSWE-bench Proの詳細な監査結果を発表しました。その結果は衝撃的なものでした 。

• タスクの約30%が根本的に壊れている：OpenAIは自動パイプラインと人間による分類の両方でSWE-bench Proを監査しました。自動パイプラインはタスクの27.4%を「無効」と判定。人間のレビュアーは34.1%に問題があると判断しました。これらを総合し、OpenAIはSWE-bench Proのタスクの約30%が評価項目として成立しないと推定しています 。
• 根本原因：レポートは、GitHubのIssueやプルリクエストはそもそも人間同士の共同開発のために設計されたものであり、AIの能力をきれいに測定する独立した課題として作られたものではないと指摘しています 。

この分析結果を受け、OpenAIはSWE-bench Proの採用推奨を撤回。業界は信頼できる後継ベンチマークを失うことになりました 。

AIコーディング測定を襲う、より広範な危機

OpenAIの二段階撤退は、単独の不祥事ではありません。これは、AI分野におけるコーディング能力評価のシステム全体を蝕む危機の一部です。

• 生態学的妥当性（Ecological Validity）のギャップ：スタンフォードHAI、arXivのレビュー、独立系グループによる研究は、基本的な矛盾を浮き彫りにしています。SWE-bench Verifiedで70～80%以上の高スコアを記録するモデルでも、複雑で多段階、あるいは曖昧な実世界のタスクでは信頼性が著しく低下するのです 。ある分析は「現在のAIコーディングエージェント評価用ベンチマークは、根本的な生態学的妥当性の危機に直面している。モデルがSWE-bench（70%以上）やHumanEval（90%以上）で印象的なスコアを達成しても、これらの指標は実世界での有用性を予測できない」と断言しています 。
• 訓練データとテストデータの漏洩は常態化：SWE-benchは公開GitHubデータから作られているため、そのデータがモデルの訓練コーパスに含まれている可能性が高く、ベンチマークスコアは推論能力ではなく記憶能力を反映する傾向が強まっています 。スタンフォードAI Index 2026は、SWE-bench Verifiedにおける改善ペースの速さ自体が、能力の真の成長ではなくデータ汚染を示唆していると指摘しています 。
• より広範な測定の危機：スタンフォードAI Index 2026は、AI分野が「測定する速度よりも速く構築している」と警告。ベンチマークの飽和とデータ漏洩により、コーディング以外の領域でもモデル評価の信頼性が低下しています 。arXivに掲載されたレビュー論文「ソフトウェア工学におけるAIモデルのベンチマーク評価」は、知識の断片化、標準化の欠如、基本的な設計上の欠陥を業界全体の問題として指摘しています 。

この出来事が意味すること

OpenAIの連続撤退——最初に自社のベンチマークを放棄し、次にその代替品を否定する——により、AIコーディング評価の世界は信頼できる指標を失いました。コミュニティでは、高いベンチマックスコアが、AIコーディングエージェントが実際のソフトウェアエンジニアリングタスクを処理できるかどうかを、もはや確実に予測しないという認識が広がっています 。タスク固有、敵対的（adversarial）、継続的に更新されるベンチマークなど、新しい評価方法論が緊急に求められていますが、まだ成熟していません 。

現時点では、AIコーディングエージェントを評価しようとする誰もが、信頼できるたった一つの基準を持っていません。SWE-bench VerifiedとSWE-bench Proの崩壊は、単に二つの欠陥のあるテストの話ではありません。それは、測定する速度よりも速くシステムを構築してしまった業界の物語なのです。