OpenAI dropper begge sine kodningstest: Sammenbruddet af SWE-bench forklaret

OpenAIs konklusion var entydig: 'Forbedringer på SWE-bench Verified afspejler ikke længere meningsfulde forbedringer i modellernes virkelige softwareudviklingsevner. De afspejler i stigende grad, hvor meget modellen blev eksponeret for benchmarken under træning' .

OpenAI anbefalede udtrykkeligt SWE-bench Pro – en større benchmark bygget af Scale AI med opgaver fra private og copyleft-kodearkiver – som erstatning .

Fase 2: Tilbagetrækning af anbefalingen af SWE-bench Pro (juli 2026)

Den 8. juli 2026 rapporterede OpenAI resultaterne af en detaljeret audit af SWE-bench Pro – den benchmark, de netop havde fremhævet som mere robust. Resultaterne var ødelæggende :

• ~30 % af opgaverne er grundlæggende i stykker. OpenAI brugte både en automatiseret pipeline og manuel klassifikation til at revidere SWE-bench Pro. Den automatiserede pipeline markerede 27,4 % af opgaverne som ugyldige; menneskelige bedømmere markerede 34,1 %. OpenAI anslår, at cirka 30 % af SWE-bench Pro-opgaverne ikke er brugbare som evalueringselementer .
• Grundårsag. Rapporten bemærkede, at GitHub-issues og pull requests var designet til menneskeligt samarbejde, ikke som rene, uafhængige evalueringsopgaver, der pålideligt kan måle AI-kompetence isoleret set .

Dette tvang OpenAI til at trække sin anbefaling af SWE-bench Pro tilbage og efterlod industrien uden en pålidelig efterfølger .

En bredere krise i målingen af AI-kodning

OpenAIs to-trins tilbagetog er ikke en isoleret hændelse. Det er en del af en systemisk krise i, hvordan AI-feltet evaluerer kodningsevne:

• Økologisk validitetskløft. Forskere fra Stanford HAI, arXiv-anmeldelser og uafhængige grupper dokumenterer en fundamental uoverensstemmelse: Modeller, der scorer 70–80 % eller højere på SWE-bench Verified, viser langt lavere pålidelighed i den virkelige verden, især på komplekse, flertrins- eller tvetydige opgaver . En analyse siger det ligeud: 'Nuværende benchmarks til evaluering af AI-kodningsagenter lider af en fundamental økologisk validitetskrise. Mens modeller opnår imponerende scorer på SWE-bench (70%+) og HumanEval (90%+), formår disse målinger ikke at forudsige reel nytteværdi' .
• Træning-test-lækage er endemisk. Fordi SWE-bench trækker på offentlige GitHub-data, der kan optræde i træningskorpora, afspejler benchmark-scorer i stigende grad genkendelse frem for ræsonnement . Stanford AI Index 2026 beskriver tempoet i forbedringen på SWE-bench Verified som et tegn på forurening, ikke ægte kapacitetsvækst .
• Bredere målekrise. Stanford AI Index 2026 advarer om, at AI-feltet 'bygger hurtigere, end vi kan måle', og at model-evalueringer på tværs af domæner bliver upålidelige, efterhånden som benchmarks mættes og lækker . arXiv-gennemgangen 'Benchmarking AI Models in Software Engineering' peger på fragmenteret viden, mangel på standardisering og grundlæggende designfejl som brancheomspændende problemer .

Hvad dette betyder

OpenAIs dobbelte tilbagetog – først at opgive sin egen benchmark og derefter frakende sig erstatningen – har efterladt AI-kodningsevalueringslandskabet uden en troværdig leder. Fællesskabet anerkender i stigende grad, at høje benchmark-scorer ikke længere pålideligt forudsiger, om en AI-kodningsagent kan håndtere virkelige softwareudviklingsopgaver . Nye evalueringsmetodologier – såsom opgavespecifikke, adversarielle eller løbende opdaterede benchmarks – er presserende nødvendige, men endnu ikke modne .

For nu har enhver, der forsøger at evaluere en AI-kodningsagent, ingen enkelt standard at stole på. Sammenbruddet af SWE-bench Verified og SWE-bench Pro er ikke bare en historie om to fejlbehæftede tests. Det er en historie om en industri, der byggede hurtigere, end den kunne måle.