OpenAI vraket to kodetester på rad – nå står AI-bransjen uten en troverdig målestokk

• Feilaktige testtilfeller. En intern revisjon av de 138 vanskeligste problemene som o3-modellen ikke løste (et undersett på 27,6 %), viste at minst 59,4 % hadde tester som forkastet funksjonelt riktige rettelser – det vil si at modellene ble markert som feil fordi de hadde løst problemet riktig .
• Uthredt kontaminering. Hver eneste frontlinjemodell som ble testet – GPT-5.2, Claude Opus 4.5, Gemini 3 Flash – kunne gjengi den menneskeskrevne «gullrettelsen» ordrett i flere oppgaver. Dette var et tydelig tegn på at de 500 oppgavene hadde lekket inn i treningsdataene .
• Metning. Poengsummene hadde steget fra omtrent 60 prosent av den menneskelige baselinjen i 2024 til nærmere 100 prosent i løpet av ett år, noe som gjorde benchmarken ubrukelig for å skille mellom ulike frontlinjemodeller . Stanford AI Index 2026 beskriver at «ytelsen steg fra omtrent 60 prosent i 2024 til nærmere 100 prosent i 2025» .

OpenAIs konklusjon var krystallklar: «Forbedringer på SWE-bench Verified reflekterer ikke lenger meningsfulle forbedringer i modellenes reelle programvareutviklingsevner. De reflekterer i økende grad hvor mye modellen ble eksponert for benchmarken under trening» .

OpenAI anbefalte uttrykkelig SWE-bench Pro – en større benchmark bygget av Scale AI fra private og copyleft-kodebaser – som erstatning .

Fase 2: Anbefalingen av SWE-bench Pro trekkes tilbake (juli 2026)

Den 8. juli 2026 rapporterte OpenAI resultatene fra en detaljert revisjon av SWE-bench Pro – den samme benchmarken de nettopp hadde fremhevet som mer robust. Funnene var ødeleggende :

• Omtrent 30 prosent av oppgavene er fundamentalt ødelagte. OpenAI brukte både en automatisert prosess og manuell klassifisering for å revidere SWE-bench Pro. Det automatiserte systemet merket 27,4 prosent av oppgavene som ugyldige; menneskelige gjennomlesere merket 34,1 prosent. OpenAI anslår at omtrent 30 prosent av SWE-bench Pro-oppgavene ikke kan brukes som evalueringsobjekter .
• Grunnårsak. Rapporten pekte på at GitHub-feilmeldinger og pull-forespørsler opprinnelig er laget for menneskelig samarbeid, ikke som rene, uavhengige evalueringsoppgaver som pålitelig kan måle AI-evner isolert .

Dette tvang OpenAI til å trekke tilbake anbefalingen av SWE-bench Pro, og etterlot bransjen uten en pålitelig etterfølger .

En bredere krise i målingen av AI-koding

OpenAIs tostegs retrett er ikke en isolert tabbe. Det er en del av en systemisk krise i hvordan AI-feltet evaluerer kodeferdigheter:

• Manglende økologisk validitet. Forskere fra Stanford HAI, arXiv-anmeldelser og uavhengige grupper dokumenterer et grunnleggende misforhold: modeller som oppnår 70–80 prosent eller mer på SWE-bench Verified, viser langt lavere pålitelighet i virkeligheten, spesielt på komplekse, flertrinns eller tvetydige oppgaver . En analyse sier det rett ut: «Dagens benchmarker for å evaluere AI-kodeagenter lider av en grunnleggende økologisk validitetskrise. Selv om modeller oppnår imponerende resultater på SWE-bench (70%+) og HumanEval (90%+), klarer ikke disse målene å forutsi reell nytteverdi» .
• Treningsdata-lekkasje er endemisk. Fordi SWE-bench henter fra offentlige GitHub-data som kan dukke opp i treningskorpus, reflekterer benchmarkresultatene i økende grad hukommelse snarere enn resonnering . Stanford AI Index 2026 beskriver tempoet i forbedringene på SWE-bench Verified som et tegn på kontaminering, ikke reell vekst i evne .
• Bredere målekrise. Stanford AI Index 2026 advarer om at AI-feltet «bygger fortere enn vi kan måle», og at evalueringer på tvers av domener blir upålitelige ettersom benchmarker mettes og lekker . arXiv-gjennomgangen «Benchmarking AI Models in Software Engineering» peker på fragmentert kunnskap, mangel på standardisering og grunnleggende designfeil som bransjeomfattende problemer .

Hva dette betyr

OpenAIs tilbaketrekning – først av sin egen benchmark, deretter av erstatningen – har etterlatt AI-kodeevalueringslandskapet uten en pålitelig leder. Miljøet erkjenner i økende grad at høye benchmarkresultater ikke lenger er en pålitelig indikator på om en AI-kodeagent kan håndtere virkelige programvareutviklingsoppgaver . Nye evalueringsmetoder – som oppgavespesifikke, antagonistiske eller kontinuerlig oppdaterte benchmarker – er sterkt etterspurt, men foreløpig ikke modne .

For øyeblikket har alle som prøver å evaluere en AI-kodeagent, ingen enkelt standard å stole på. Sammenbruddet av SWE-bench Verified og SWE-bench Pro er ikke bare en historie om to feilaktige tester. Det er en historie om en bransje som bygget fortere enn den klarte å måle.