OpenAI dumpt beide eigen codeer-benchmarks: de ondergang van SWE-bench uitgelegd

• Gebrekkige testcases. Een interne audit van de 138 moeilijkste problemen die het o3-model niet oploste (een subset van 27,6%) wees uit dat minstens 59,4% testen had die functioneel correcte verbeteringen afwezen – modellen kregen dus onterecht een foutmelding .
• Wijdverbreide contaminatie. Elk getest topmodel – GPT-5.2, Claude Opus 4.5, Gemini 3 Flash – bleek in staat om de door mensen geschreven 'gouden oplossing' woordelijk te reproduceren bij sommige taken. Dat is een duidelijk teken dat de 500 taken in de trainingsdata waren gelekt .
• Verzadiging. De scores stegen van ongeveer 60% van de menselijke basislijn in 2024 naar bijna 100% in slechts een jaar tijd. Daarmee werd de benchmark waardeloos om nog onderscheid te maken tussen topmodellen . Volgens de Stanford AI Index 2026 'steeg de prestatie van ongeveer 60% in 2024 naar bijna 100% in 2025' .

OpenAI's conclusie was glashelder: 'Verbeteringen op SWE-bench Verified weerspiegelen geen betekenisvolle verbeteringen meer in de echte softwareontwikkelcapaciteiten van modellen. Ze weerspiegelen steeds meer hoe vaak het model tijdens de training aan de benchmark is blootgesteld' .

OpenAI adviseerde expliciet om over te stappen op SWE-bench Pro – een grotere benchmark, gebouwd door Scale AI met code uit private en copyleft-repositories .

Fase 2: Het intrekken van de aanbeveling voor SWE-bench Pro (juli 2026)

Op 8 juli 2026 rapporteerde OpenAI de resultaten van een gedetailleerde audit van SWE-bench Pro – dezelfde benchmark die het net nog had aangeprezen als robuuster alternatief. De bevindingen waren vernietigend :

• Ongeveer 30% van de taken is fundamenteel ondeugdelijk. OpenAI gebruikte zowel een geautomatiseerde pijplijn als menselijke beoordeling om SWE-bench Pro te auditen. De geautomatiseerde pijplijn bestempelde 27,4% van de taken als ongeldig; menselijke beoordelaars 34,1%. OpenAI schat dat ruwweg 30% van de SWE-bench Pro-taken niet deugen als evaluatiemateriaal .
• Oorzaak. Het rapport wees erop dat GitHub-issues en pull-requests oorspronkelijk bedoeld zijn voor menselijke samenwerking, niet als schone, onafhankelijke evaluatietaken die de AI-capaciteit betrouwbaar kunnen meten .

Dit dwong OpenAI om de aanbeveling voor SWE-bench Pro in te trekken, waardoor de sector zonder vertrouwd alternatief kwam te zitten .

Een bredere crisis in het meten van AI-codeervaardigheid

De tweestaps-terugtocht van OpenAI is geen geïsoleerd incident. Het maakt deel uit van een systematische crisis in de manier waarop de AI-wereld codeervaardigheid beoordeelt:

• Kloof in ecologische validiteit. Onderzoekers van Stanford HAI, arXiv-reviews en onafhankelijke groepen documenteren een fundamentele disconnect: modellen die 70–80% of hoger scoren op SWE-bench Verified blijken in de praktijk veel minder betrouwbaar, vooral bij complexe, meerstaps- of dubbelzinnige taken . Een analyse stelt het onomwonden: 'Huidige benchmarks voor het evalueren van AI-codeeragenten lijden aan een fundamentele crisis in ecologische validiteit. Terwijl modellen indrukwekkende scores halen op SWE-bench (70%+) en HumanEval (90%+), voorspellen deze statistieken de bruikbaarheid in de echte wereld niet' .
• Train-test-lek is endemisch. Omdat SWE-bench put uit openbare GitHub-gegevens die ook in trainingsdatasets kunnen voorkomen, weerspiegelen benchmarkscores steeds vaker herinnering in plaats van redeneren . De Stanford AI Index 2026 beschrijft het tempo van de verbetering op SWE-bench Verified als een signaal van contaminatie, niet van echte capaciteitsgroei .
• Bredere meetcrisis. De Stanford AI Index 2026 waarschuwt dat het AI-veld 'sneller bouwt dan het kan meten', en dat modelevaluaties op alle domeinen onbetrouwbaar worden naarmate benchmarks verzadigen en lekken . De arXiv-review 'Benchmarking AI Models in Software Engineering' wijst op versnipperde kennis, gebrek aan standaardisatie en fundamentele ontwerpfouten als problemen die de hele sector treffen .

Wat dit betekent

OpenAI's opeenvolgende terugtocht – eerst het eigen benchmark afschrijven, dan het alternatief verloochenen – heeft het landschap voor het evalueren van AI-codeeragenten zonder betrouwbare leider achtergelaten. De sector beseft steeds meer dat hoge benchmarkscores geen betrouwbare voorspelling meer zijn van of een AI-codeeragent echte software-engineeringtaken aankan . Nieuwe evaluatiemethoden – zoals taakspecifieke, adversarial of continu bijgewerkte benchmarks – zijn dringend nodig, maar nog niet volwassen .

Voorlopig heeft iedereen die een AI-codeeragent wil evalueren geen enkele standaard om op te vertrouwen. De ondergang van SWE-bench Verified en SWE-bench Pro is niet alleen het verhaal van twee gebrekkige tests. Het is het verhaal van een sector die sneller bouwde dan hij kon meten.