OpenAI gibt beide Coding-Benchmarks auf: Der Kollaps von SWE-bench

In nur sieben Monaten hat OpenAI beide Coding-Benchmarks aufgegeben, die es selbst propagiert hatte. Zuerst wurde im Februar 2026 SWE-bench Verified eingestellt – ein Benchmark, den OpenAI mitentwickelt hatte und der zum Industriestandard geworden war. Dann, im Juli 2026, zog OpenAI seine eigene Empfehlung für den beabsichtigten Ersatz, SWE-bench Pro, zurück. Dieser doppelte Rückzieher ist mehr als ein logistisches Problem für Modellentwickler – er ist ein Signal, dass die Art und Weise, wie die KI-Branche Coding-Fähigkeiten misst, grundlegend kaputt ist.

Phase 1: Das Ende von SWE-bench Verified (Februar 2026)

SWE-bench Verified wurde im August 2024 als ein von Menschen validierter Teilbereich des ursprünglichen Princeton SWE-bench veröffentlicht. Es umfasste 500 Python-Aufgaben, die von echten GitHub-Issues stammten . Rund 18 Monate lang diente es als wichtigster Maßstab dafür, wie gut KI-Coding-Agenten reale Softwareprobleme lösen konnten .

Am 23. Februar 2026 stellte das Frontier-Evals-Team von OpenAI den Benchmark offiziell ein . Die Gründe waren gravierend:

• Fehlerhafte Testfälle. Ein internes Audit der 138 schwierigsten Probleme, die das Modell o3 nicht lösen konnte (ein Anteil von 27,6 %), ergab, dass mindestens 59,4 % dieser Tests funktional korrekte Patches ablehnten – die Modelle wurden also als falsch bewertet, obwohl sie die Aufgabe richtig gelöst hatten .
• Flächendeckende Kontamination. Jedes getestete Frontier-Modell – GPT-5.2, Claude Opus 4.5, Gemini 3 Flash – konnte bei manchen Aufgaben den von Menschen geschriebenen „Gold-Patch" wortwörtlich reproduzieren. Das ist der eindeutige Beweis, dass der 500-Aufgaben-Pool in die Trainingsdaten eingeflossen war .
• Sättigung. Die Ergebnisse waren von etwa 60 % der menschlichen Basislinie im Jahr 2024 auf nahezu 100 % in nur einem Jahr gestiegen. Damit war der Benchmark unbrauchbar, um die Spitzenmodelle noch zu unterscheiden .

OpenAIs Schlussfolgerung war eindeutig: „Verbesserungen bei SWE-bench Verified spiegeln keine sinnvollen Fortschritte bei den realen Softwareentwicklungsfähigkeiten der Modelle mehr wider. Sie zeigen zunehmend, wie stark das Modell dem Benchmark während des Trainings ausgesetzt war" .

OpenAI empfahl damals ausdrücklich SWE-bench Pro als Ersatz – einen größeren Benchmark, der von Scale AI aus privaten und Copyleft-Repositories erstellt worden war .

Phase 2: Die Rücknahme der Empfehlung für SWE-bench Pro (Juli 2026)

Am 8. Juli 2026 veröffentlichte OpenAI die Ergebnisse eines detaillierten Audits von SWE-bench Pro – genau des Benchmarks, den es gerade noch als robuster bezeichnet hatte. Die Ergebnisse waren verheerend :

• Rund 30 % der Aufgaben sind grundlegend fehlerhaft. OpenAI nutzte sowohl eine automatisierte Pipeline als auch eine manuelle Klassifizierung, um SWE-bench Pro zu prüfen. Die automatisierte Pipeline wies 27,4 % der Aufgaben als ungültig aus; die menschlichen Prüfer stuften 34,1 % als problematisch ein. OpenAI schätzt, dass etwa 30 % der SWE-bench-Pro-Aufgaben als Evaluierungsgegenstand unbrauchbar sind .
• Ursache. Der Bericht stellte fest, dass GitHub-Issues und Pull-Requests ursprünglich für die Zusammenarbeit von Menschen gedacht sind, nicht als saubere, unabhängige Bewertungsaufgaben, die die KI-Fähigkeiten isoliert zuverlässig messen können .

Dies zwang OpenAI, seine Empfehlung für SWE-bench Pro zurückzuziehen. Die Branche steht nun ohne vertrauenswürdigen Nachfolge-Benchmark da .

Eine tiefgreifende Krise in der KI-Coding-Messung

OpenAIs zweistufiger Rückzug ist kein isolierter Fehler. Er ist Teil einer systemischen Krise, wie die KI-Branche Coding-Fähigkeiten bewertet:

• Ökologische Validitätslücke. Forscher der Stanford HAI, von arXiv-Reviews und unabhängige Gruppen dokumentieren eine grundlegende Kluft: Modelle, die in SWE-bench Verified 70–80 % oder mehr erreichen, zeigen in der Realität eine weitaus geringere Zuverlässigkeit, besonders bei komplexen, mehrschrittigen oder mehrdeutigen Aufgaben . Eine Analyse bringt es auf den Punkt: „Aktuelle Benchmarks zur Bewertung von KI-Coding-Agenten leiden unter einer fundamentalen ökologischen Validitätskrise. Während Modelle beeindruckende Ergebnisse in SWE-bench (70 %+) und HumanEval (90 %+) erzielen, können diese Metriken den tatsächlichen Nutzen nicht vorhersagen" .
• Trainings-Test-Vermischung ist endemisch. Da SWE-bench auf öffentlichen GitHub-Daten basiert, die in Trainingskorpus vorkommen können, spiegeln Benchmark-Ergebnisse zunehmend Auswendiglernen und nicht logisches Denken wider . Der Stanford AI Index 2026 bezeichnet das Tempo der Verbesserung bei SWE-bench Verified als Zeichen für Kontamination, nicht für echten Fähigkeitszuwachs .
• Breitere Messkrise. Der Stanford AI Index 2026 warnt, dass die KI-Branche „schneller baut, als wir messen können", und dass Modellbewertungen in allen Bereichen unzuverlässig werden, da Benchmarks gesättigt sind und Datenlecks auftreten . Der arXiv-Review „Benchmarking AI Models in Software Engineering" weist auf fragmentiertes Wissen, fehlende Standardisierung und grundlegende Designfehler als branchenweite Probleme hin .

Was das bedeutet

OpenAIs Rückzug – erst die Aufgabe des eigenen Benchmarks, dann die Rücknahme der Empfehlung für den Ersatz – hat die Landschaft der KI-Coding-Bewertung ohne einen vertrauenswürdigen Standard zurückgelassen. Die Fachwelt erkennt zunehmend, dass hohe Benchmark-Ergebnisse nicht mehr zuverlässig vorhersagen, ob ein KI-Coding-Agent reale Softwareentwicklungsaufgaben bewältigen kann . Neue Bewertungsmethoden – wie aufgabenspezifische, adversarial oder kontinuierlich aktualisierte Benchmarks – werden dringend benötigt, sind aber noch nicht ausgereift .

Für den Moment hat jeder, der einen KI-Coding-Agenten bewerten will, keinen einzigen Standard, dem er vertrauen kann. Der Kollaps von SWE-bench Verified und SWE-bench Pro ist nicht nur die Geschichte von zwei fehlerhaften Tests. Es ist die Geschichte einer Branche, die schneller gebaut hat, als sie messen konnte.