Den 23. februar 2026 nedlagde OpenAIs Frontier Evals-team formelt benchmarken . Årsagerne var grelle:

• Fejlbehæftede testcases. En intern audit af de 138 sværeste problemer, som o3-modellen ikke kunne klare (en undergruppe på 27,6 %), viste, at mindst 59,4 % havde tests, der afviste funktionelt korrekte rettelser – modellerne blev altså markeret som forkerte, selvom de havde løst problemet korrekt .
• Udbredt forurening. Hver eneste topmodel, der blev testet – GPT-5.2, Claude Opus 4.5, Gemini 3 Flash – kunne gengive den menneskeskrevne 'gyldne rettelse' ordret på nogle opgaver, et klart tegn på, at de 500 opgaver var sivet ind i træningsdataene .
• Mætning. Scorerne var steget fra cirka 60 % af den menneskelige baseline i 2024 til næsten 100 % på et enkelt år, hvilket gjorde benchmarken ubrugelig til at skelne mellem topmodeller . Ifølge Stanford AI Index 2026 'steg præstationen fra cirka 60 % i 2024 til tæt på 100 % i 2025' .

OpenAIs konklusion var entydig: 'Forbedringer på SWE-bench Verified afspejler ikke længere meningsfulde forbedringer i modellernes virkelige softwareudviklingsevner. De afspejler i stigende grad, hvor meget modellen blev eksponeret for benchmarken under træning' .

OpenAI anbefalede udtrykkeligt SWE-bench Pro – en større benchmark bygget af Scale AI med opgaver fra private og copyleft-kodearkiver – som erstatning .

Fase 2: Tilbagetrækning af anbefalingen af SWE-bench Pro (juli 2026)

Den 8. juli 2026 rapporterede OpenAI resultaterne af en detaljeret audit af SWE-bench Pro – den benchmark, de netop havde fremhævet som mere robust. Resultaterne var ødelæggende :

• ~30 % af opgaverne er grundlæggende i stykker. OpenAI brugte både en automatiseret pipeline og manuel klassifikation til at revidere SWE-bench Pro. Den automatiserede pipeline markerede 27,4 % af opgaverne som ugyldige; menneskelige bedømmere markerede 34,1 %. OpenAI anslår, at cirka 30 % af SWE-bench Pro-opgaverne ikke er brugbare som evalueringselementer .
• Grundårsag. Rapporten bemærkede, at GitHub-issues og pull requests var designet til menneskeligt samarbejde, ikke som rene, uafhængige evalueringsopgaver, der pålideligt kan måle AI-kompetence isoleret set .

Dette tvang OpenAI til at trække sin anbefaling af SWE-bench Pro tilbage og efterlod industrien uden en pålidelig efterfølger .

En bredere krise i målingen af AI-kodning

OpenAIs to-trins tilbagetog er ikke en isoleret hændelse. Det er en del af en systemisk krise i, hvordan AI-feltet evaluerer kodningsevne:

• Økologisk validitetskløft. Forskere fra Stanford HAI, arXiv-anmeldelser og uafhængige grupper dokumenterer en fundamental uoverensstemmelse: Modeller, der scorer 70–80 % eller højere på SWE-bench Verified, viser langt lavere pålidelighed i den virkelige verden, især på komplekse, flertrins- eller tvetydige opgaver . En analyse siger det ligeud: 'Nuværende benchmarks til evaluering af AI-kodningsagenter lider af en fundamental økologisk validitetskrise. Mens modeller opnår imponerende scorer på SWE-bench (70%+) og HumanEval (90%+), formår disse målinger ikke at forudsige reel nytteværdi' .
• Træning-test-lækage er endemisk. Fordi SWE-bench trækker på offentlige GitHub-data, der kan optræde i træningskorpora, afspejler benchmark-scorer i stigende grad genkendelse frem for ræsonnement . Stanford AI Index 2026 beskriver tempoet i forbedringen på SWE-bench Verified som et tegn på forurening, ikke ægte kapacitetsvækst .
• Bredere målekrise. Stanford AI Index 2026 advarer om, at AI-feltet 'bygger hurtigere, end vi kan måle', og at model-evalueringer på tværs af domæner bliver upålidelige, efterhånden som benchmarks mættes og lækker . arXiv-gennemgangen 'Benchmarking AI Models in Software Engineering' peger på fragmenteret viden, mangel på standardisering og grundlæggende designfejl som brancheomspændende problemer .

Hvad dette betyder

OpenAIs dobbelte tilbagetog – først at opgive sin egen benchmark og derefter frakende sig erstatningen – har efterladt AI-kodningsevalueringslandskabet uden en troværdig leder. Fællesskabet anerkender i stigende grad, at høje benchmark-scorer ikke længere pålideligt forudsiger, om en AI-kodningsagent kan håndtere virkelige softwareudviklingsopgaver . Nye evalueringsmetodologier – såsom opgavespecifikke, adversarielle eller løbende opdaterede benchmarks – er presserende nødvendige, men endnu ikke modne .

For nu har enhver, der forsøger at evaluere en AI-kodningsagent, ingen enkelt standard at stole på. Sammenbruddet af SWE-bench Verified og SWE-bench Pro er ikke bare en historie om to fejlbehæftede tests. Det er en historie om en industri, der byggede hurtigere, end den kunne måle.

Den 23. februar 2026 nedlagde OpenAIs Frontier Evals-team formelt benchmarken . Årsagerne var grelle:

• Fejlbehæftede testcases. En intern audit af de 138 sværeste problemer, som o3-modellen ikke kunne klare (en undergruppe på 27,6 %), viste, at mindst 59,4 % havde tests, der afviste funktionelt korrekte rettelser – modellerne blev altså markeret som forkerte, selvom de havde løst problemet korrekt .
• Udbredt forurening. Hver eneste topmodel, der blev testet – GPT-5.2, Claude Opus 4.5, Gemini 3 Flash – kunne gengive den menneskeskrevne 'gyldne rettelse' ordret på nogle opgaver, et klart tegn på, at de 500 opgaver var sivet ind i træningsdataene .
• Mætning. Scorerne var steget fra cirka 60 % af den menneskelige baseline i 2024 til næsten 100 % på et enkelt år, hvilket gjorde benchmarken ubrugelig til at skelne mellem topmodeller . Ifølge Stanford AI Index 2026 'steg præstationen fra cirka 60 % i 2024 til tæt på 100 % i 2025' .

OpenAIs konklusion var entydig: 'Forbedringer på SWE-bench Verified afspejler ikke længere meningsfulde forbedringer i modellernes virkelige softwareudviklingsevner. De afspejler i stigende grad, hvor meget modellen blev eksponeret for benchmarken under træning' .

OpenAI anbefalede udtrykkeligt SWE-bench Pro – en større benchmark bygget af Scale AI med opgaver fra private og copyleft-kodearkiver – som erstatning .

Fase 2: Tilbagetrækning af anbefalingen af SWE-bench Pro (juli 2026)

Den 8. juli 2026 rapporterede OpenAI resultaterne af en detaljeret audit af SWE-bench Pro – den benchmark, de netop havde fremhævet som mere robust. Resultaterne var ødelæggende :

• ~30 % af opgaverne er grundlæggende i stykker. OpenAI brugte både en automatiseret pipeline og manuel klassifikation til at revidere SWE-bench Pro. Den automatiserede pipeline markerede 27,4 % af opgaverne som ugyldige; menneskelige bedømmere markerede 34,1 %. OpenAI anslår, at cirka 30 % af SWE-bench Pro-opgaverne ikke er brugbare som evalueringselementer .
• Grundårsag. Rapporten bemærkede, at GitHub-issues og pull requests var designet til menneskeligt samarbejde, ikke som rene, uafhængige evalueringsopgaver, der pålideligt kan måle AI-kompetence isoleret set .

Dette tvang OpenAI til at trække sin anbefaling af SWE-bench Pro tilbage og efterlod industrien uden en pålidelig efterfølger .

En bredere krise i målingen af AI-kodning

OpenAIs to-trins tilbagetog er ikke en isoleret hændelse. Det er en del af en systemisk krise i, hvordan AI-feltet evaluerer kodningsevne:

• Økologisk validitetskløft. Forskere fra Stanford HAI, arXiv-anmeldelser og uafhængige grupper dokumenterer en fundamental uoverensstemmelse: Modeller, der scorer 70–80 % eller højere på SWE-bench Verified, viser langt lavere pålidelighed i den virkelige verden, især på komplekse, flertrins- eller tvetydige opgaver . En analyse siger det ligeud: 'Nuværende benchmarks til evaluering af AI-kodningsagenter lider af en fundamental økologisk validitetskrise. Mens modeller opnår imponerende scorer på SWE-bench (70%+) og HumanEval (90%+), formår disse målinger ikke at forudsige reel nytteværdi' .
• Træning-test-lækage er endemisk. Fordi SWE-bench trækker på offentlige GitHub-data, der kan optræde i træningskorpora, afspejler benchmark-scorer i stigende grad genkendelse frem for ræsonnement . Stanford AI Index 2026 beskriver tempoet i forbedringen på SWE-bench Verified som et tegn på forurening, ikke ægte kapacitetsvækst .
• Bredere målekrise. Stanford AI Index 2026 advarer om, at AI-feltet 'bygger hurtigere, end vi kan måle', og at model-evalueringer på tværs af domæner bliver upålidelige, efterhånden som benchmarks mættes og lækker . arXiv-gennemgangen 'Benchmarking AI Models in Software Engineering' peger på fragmenteret viden, mangel på standardisering og grundlæggende designfejl som brancheomspændende problemer .

Hvad dette betyder

OpenAIs dobbelte tilbagetog – først at opgive sin egen benchmark og derefter frakende sig erstatningen – har efterladt AI-kodningsevalueringslandskabet uden en troværdig leder. Fællesskabet anerkender i stigende grad, at høje benchmark-scorer ikke længere pålideligt forudsiger, om en AI-kodningsagent kan håndtere virkelige softwareudviklingsopgaver . Nye evalueringsmetodologier – såsom opgavespecifikke, adversarielle eller løbende opdaterede benchmarks – er presserende nødvendige, men endnu ikke modne .

For nu har enhver, der forsøger at evaluere en AI-kodningsagent, ingen enkelt standard at stole på. Sammenbruddet af SWE-bench Verified og SWE-bench Pro er ikke bare en historie om to fejlbehæftede tests. Det er en historie om en industri, der byggede hurtigere, end den kunne måle.