OpenAI dumpt beide eigen codeer-benchmarks: de ondergang van SWE-bench uitgelegd

Binnen zeven maanden trok OpenAI zich terug uit beide codeer-benchmarks die het zelf had omarmd. Eerst viel in februari 2026 het doek voor SWE-bench Verified, een benchmark die OpenAI mede had ontwikkeld en die was uitgegroeid tot de industriestandaard. Daarna, in juli 2026, trok OpenAI ook de eigen aanbeveling in voor het beoogde alternatief, SWE-bench Pro. Deze dubbele terugtocht is meer dan een logistiek probleem voor model-evaluatoren – het is een signaal dat de manier waarop de AI-sector codeervaardigheid meet fundamenteel gebrekkig is.

Fase 1: Het afschrijven van SWE-bench Verified (februari 2026)

SWE-bench Verified werd in augustus 2024 gelanceerd als een door mensen gevalideerde subset van de oorspronkelijke Princeton SWE-bench. Het bevatte 500 Python-taken, afkomstig van echte GitHub-issues . Ongeveer 18 maanden lang gold het als de belangrijkste maatstaf voor hoe goed AI-codeeragenten echte softwareproblemen konden oplossen .

Op 23 februari 2026 schreef OpenAI's Frontier Evals-team de benchmark formeel af . De redenen waren duidelijk:

• Gebrekkige testcases. Een interne audit van de 138 moeilijkste problemen die het o3-model niet oploste (een subset van 27,6%) wees uit dat minstens 59,4% testen had die functioneel correcte verbeteringen afwezen – modellen kregen dus onterecht een foutmelding .
• Wijdverbreide contaminatie. Elk getest topmodel – GPT-5.2, Claude Opus 4.5, Gemini 3 Flash – bleek in staat om de door mensen geschreven 'gouden oplossing' woordelijk te reproduceren bij sommige taken. Dat is een duidelijk teken dat de 500 taken in de trainingsdata waren gelekt .
• Verzadiging. De scores stegen van ongeveer 60% van de menselijke basislijn in 2024 naar bijna 100% in slechts een jaar tijd. Daarmee werd de benchmark waardeloos om nog onderscheid te maken tussen topmodellen . Volgens de Stanford AI Index 2026 'steeg de prestatie van ongeveer 60% in 2024 naar bijna 100% in 2025' .

OpenAI's conclusie was glashelder: 'Verbeteringen op SWE-bench Verified weerspiegelen geen betekenisvolle verbeteringen meer in de echte softwareontwikkelcapaciteiten van modellen. Ze weerspiegelen steeds meer hoe vaak het model tijdens de training aan de benchmark is blootgesteld' .

OpenAI adviseerde expliciet om over te stappen op SWE-bench Pro – een grotere benchmark, gebouwd door Scale AI met code uit private en copyleft-repositories .

Fase 2: Het intrekken van de aanbeveling voor SWE-bench Pro (juli 2026)

Op 8 juli 2026 rapporteerde OpenAI de resultaten van een gedetailleerde audit van SWE-bench Pro – dezelfde benchmark die het net nog had aangeprezen als robuuster alternatief. De bevindingen waren vernietigend :

• Ongeveer 30% van de taken is fundamenteel ondeugdelijk. OpenAI gebruikte zowel een geautomatiseerde pijplijn als menselijke beoordeling om SWE-bench Pro te auditen. De geautomatiseerde pijplijn bestempelde 27,4% van de taken als ongeldig; menselijke beoordelaars 34,1%. OpenAI schat dat ruwweg 30% van de SWE-bench Pro-taken niet deugen als evaluatiemateriaal .
• Oorzaak. Het rapport wees erop dat GitHub-issues en pull-requests oorspronkelijk bedoeld zijn voor menselijke samenwerking, niet als schone, onafhankelijke evaluatietaken die de AI-capaciteit betrouwbaar kunnen meten .

Dit dwong OpenAI om de aanbeveling voor SWE-bench Pro in te trekken, waardoor de sector zonder vertrouwd alternatief kwam te zitten .

Een bredere crisis in het meten van AI-codeervaardigheid

De tweestaps-terugtocht van OpenAI is geen geïsoleerd incident. Het maakt deel uit van een systematische crisis in de manier waarop de AI-wereld codeervaardigheid beoordeelt:

• Kloof in ecologische validiteit. Onderzoekers van Stanford HAI, arXiv-reviews en onafhankelijke groepen documenteren een fundamentele disconnect: modellen die 70–80% of hoger scoren op SWE-bench Verified blijken in de praktijk veel minder betrouwbaar, vooral bij complexe, meerstaps- of dubbelzinnige taken . Een analyse stelt het onomwonden: 'Huidige benchmarks voor het evalueren van AI-codeeragenten lijden aan een fundamentele crisis in ecologische validiteit. Terwijl modellen indrukwekkende scores halen op SWE-bench (70%+) en HumanEval (90%+), voorspellen deze statistieken de bruikbaarheid in de echte wereld niet' .
• Train-test-lek is endemisch. Omdat SWE-bench put uit openbare GitHub-gegevens die ook in trainingsdatasets kunnen voorkomen, weerspiegelen benchmarkscores steeds vaker herinnering in plaats van redeneren . De Stanford AI Index 2026 beschrijft het tempo van de verbetering op SWE-bench Verified als een signaal van contaminatie, niet van echte capaciteitsgroei .
• Bredere meetcrisis. De Stanford AI Index 2026 waarschuwt dat het AI-veld 'sneller bouwt dan het kan meten', en dat modelevaluaties op alle domeinen onbetrouwbaar worden naarmate benchmarks verzadigen en lekken . De arXiv-review 'Benchmarking AI Models in Software Engineering' wijst op versnipperde kennis, gebrek aan standaardisatie en fundamentele ontwerpfouten als problemen die de hele sector treffen .

Wat dit betekent

OpenAI's opeenvolgende terugtocht – eerst het eigen benchmark afschrijven, dan het alternatief verloochenen – heeft het landschap voor het evalueren van AI-codeeragenten zonder betrouwbare leider achtergelaten. De sector beseft steeds meer dat hoge benchmarkscores geen betrouwbare voorspelling meer zijn van of een AI-codeeragent echte software-engineeringtaken aankan . Nieuwe evaluatiemethoden – zoals taakspecifieke, adversarial of continu bijgewerkte benchmarks – zijn dringend nodig, maar nog niet volwassen .

Voorlopig heeft iedereen die een AI-codeeragent wil evalueren geen enkele standaard om op te vertrouwen. De ondergang van SWE-bench Verified en SWE-bench Pro is niet alleen het verhaal van twee gebrekkige tests. Het is het verhaal van een sector die sneller bouwde dan hij kon meten.