OpenAI gibt beide Coding-Benchmarks auf: Der Kollaps von SWE-bench

OpenAIs Schlussfolgerung war eindeutig: „Verbesserungen bei SWE-bench Verified spiegeln keine sinnvollen Fortschritte bei den realen Softwareentwicklungsfähigkeiten der Modelle mehr wider. Sie zeigen zunehmend, wie stark das Modell dem Benchmark während des Trainings ausgesetzt war" ^O.

OpenAI empfahl damals ausdrücklich SWE-bench Pro als Ersatz – einen größeren Benchmark, der von Scale AI aus privaten und Copyleft-Repositories erstellt worden war ^OT.

Phase 2: Die Rücknahme der Empfehlung für SWE-bench Pro (Juli 2026)

Am 8. Juli 2026 veröffentlichte OpenAI die Ergebnisse eines detaillierten Audits von SWE-bench Pro – genau des Benchmarks, den es gerade noch als robuster bezeichnet hatte. Die Ergebnisse waren verheerend ^TG:

• Rund 30 % der Aufgaben sind grundlegend fehlerhaft. OpenAI nutzte sowohl eine automatisierte Pipeline als auch eine manuelle Klassifizierung, um SWE-bench Pro zu prüfen. Die automatisierte Pipeline wies 27,4 % der Aufgaben als ungültig aus; die menschlichen Prüfer stuften 34,1 % als problematisch ein. OpenAI schätzt, dass etwa 30 % der SWE-bench-Pro-Aufgaben als Evaluierungsgegenstand unbrauchbar sind ^TG.
• Ursache. Der Bericht stellte fest, dass GitHub-Issues und Pull-Requests ursprünglich für die Zusammenarbeit von Menschen gedacht sind, nicht als saubere, unabhängige Bewertungsaufgaben, die die KI-Fähigkeiten isoliert zuverlässig messen können ^TG.

Dies zwang OpenAI, seine Empfehlung für SWE-bench Pro zurückzuziehen. Die Branche steht nun ohne vertrauenswürdigen Nachfolge-Benchmark da ^G.

Eine tiefgreifende Krise in der KI-Coding-Messung

OpenAIs zweistufiger Rückzug ist kein isolierter Fehler. Er ist Teil einer systemischen Krise, wie die KI-Branche Coding-Fähigkeiten bewertet:

• Ökologische Validitätslücke. Forscher der Stanford HAI, von arXiv-Reviews und unabhängige Gruppen dokumentieren eine grundlegende Kluft: Modelle, die in SWE-bench Verified 70–80 % oder mehr erreichen, zeigen in der Realität eine weitaus geringere Zuverlässigkeit, besonders bei komplexen, mehrschrittigen oder mehrdeutigen Aufgaben ^GA. Eine Analyse bringt es auf den Punkt: „Aktuelle Benchmarks zur Bewertung von KI-Coding-Agenten leiden unter einer fundamentalen ökologischen Validitätskrise. Während Modelle beeindruckende Ergebnisse in SWE-bench (70 %+) und HumanEval (90 %+) erzielen, können diese Metriken den tatsächlichen Nutzen nicht vorhersagen" ^G.
• Trainings-Test-Vermischung ist endemisch. Da SWE-bench auf öffentlichen GitHub-Daten basiert, die in Trainingskorpus vorkommen können, spiegeln Benchmark-Ergebnisse zunehmend Auswendiglernen und nicht logisches Denken wider ^BSX. Der Stanford AI Index 2026 bezeichnet das Tempo der Verbesserung bei SWE-bench Verified als Zeichen für Kontamination, nicht für echten Fähigkeitszuwachs ^HA.
• Breitere Messkrise. Der Stanford AI Index 2026 warnt, dass die KI-Branche „schneller baut, als wir messen können", und dass Modellbewertungen in allen Bereichen unzuverlässig werden, da Benchmarks gesättigt sind und Datenlecks auftreten ^A. Der arXiv-Review „Benchmarking AI Models in Software Engineering" weist auf fragmentiertes Wissen, fehlende Standardisierung und grundlegende Designfehler als branchenweite Probleme hin ^A.

Was das bedeutet

OpenAIs Rückzug – erst die Aufgabe des eigenen Benchmarks, dann die Rücknahme der Empfehlung für den Ersatz – hat die Landschaft der KI-Coding-Bewertung ohne einen vertrauenswürdigen Standard zurückgelassen. Die Fachwelt erkennt zunehmend, dass hohe Benchmark-Ergebnisse nicht mehr zuverlässig vorhersagen, ob ein KI-Coding-Agent reale Softwareentwicklungsaufgaben bewältigen kann ^GA. Neue Bewertungsmethoden – wie aufgabenspezifische, adversarial oder kontinuierlich aktualisierte Benchmarks – werden dringend benötigt, sind aber noch nicht ausgereift ^GAA.

Für den Moment hat jeder, der einen KI-Coding-Agenten bewerten will, keinen einzigen Standard, dem er vertrauen kann. Der Kollaps von SWE-bench Verified und SWE-bench Pro ist nicht nur die Geschichte von zwei fehlerhaften Tests. Es ist die Geschichte einer Branche, die schneller gebaut hat, als sie messen konnte.