OpenAI överger båda sina kodningsmått – SWE-bench-kollapsen förklarad

OpenAIs slutsats var otvetydig: ”Förbättringar på SWE-bench Verified återspeglar inte längre meningsfulla förbättringar av modellernas verkliga mjukvaruutvecklingsförmåga. De återspeglar i allt högre grad hur mycket modellen exponerades för riktmärket under träningen” .

OpenAI rekommenderade uttryckligen SWE-bench Pro – ett större riktmärke byggt av Scale AI från privata och copyleft-licensierade databaser – som ersättning .

Fas 2: Tillbakadragandet av rekommendationen för SWE-bench Pro (juli 2026)

Den 8 juli 2026 rapporterade OpenAI resultaten av en detaljerad granskning av SWE-bench Pro – samma riktmärke som man nyss hade marknadsfört som mer robust. Resultatet var förödande :

• Cirka 30 % av uppgifterna är i grunden trasiga. OpenAI använde både en automatiserad pipeline och mänsklig klassificering för att granska SWE-bench Pro. Den automatiserade pipelinen flaggade 27,4 % av uppgifterna som ogiltiga; mänskliga granskare flaggade 34,1 %. OpenAI uppskattar att cirka 30 % av SWE-bench Pro-uppgifterna inte är användbara som utvärderingsobjekt .
• Grundorsak. Rapporten noterade att GitHub-ärenden och pull-förfrågningar från början är utformade för mänskligt samarbete, inte som rena, oberoende utvärderingsuppgifter som på ett tillförlitligt sätt kan mäta AI-förmåga i isolering .

Detta tvingade OpenAI att dra tillbaka sin rekommendation av SWE-bench Pro, vilket lämnade branschen utan en pålitlig efterträdare .

En bredare kris i AI:s kodningsmätning

OpenAIs tvåstegs reträtt är ingen isolerad olycka. Det är en del av en systemisk kris i hur AI-fältet utvärderar kodningsförmåga:

• Ekologisk validitetsklyfta. Forskare från Stanford HAI, arXiv-recensioner och oberoende grupper dokumenterar en grundläggande diskrepans: modeller som får 70–80 % eller högre på SWE-bench Verified visar mycket lägre verklig tillförlitlighet, särskilt på komplexa, flerstegs- eller tvetydiga uppgifter . En analys uttrycker det rakt på sak: ”Nuvarande riktmärken för att utvärdera AI-kodningsagenter lider av en grundläggande ekologisk validitetskris. Medan modeller uppnår imponerande poäng på SWE-bench (70%+) och HumanEval (90%+), misslyckas dessa mått med att förutsäga verklig användbarhet” .
• Tränings-test-läckage är endemiskt. Eftersom SWE-bench hämtar data från offentliga GitHub-databaser som kan förekomma i träningskorpusar, speglar riktmärkespoängen i allt högre grad memorering snarare än resonemang . Stanford AI Index 2026 beskriver förbättringstakten på SWE-bench Verified som en signal om kontaminering, inte genuin kapacitetstillväxt .
• Bredare mätkris. Stanford AI Index 2026 varnar för att AI-fältet ”bygger snabbare än vi kan mäta”, med modellevalueringar över domäner som blir opålitliga när riktmärken mättas och läcker . arXiv-recensionen ”Benchmarking AI Models in Software Engineering” pekar på fragmenterad kunskap, brist på standardisering och grundläggande designfel som branschövergripande problem .

Vad detta innebär

OpenAIs reträtt i två steg – först att överge sitt eget riktmärke, sedan att ta avstånd från ersättaren – har lämnat AI-utvärderingslandskapet för kodning utan en pålitlig ledare. Samhället inser alltmer att höga riktmärkespoäng inte längre på ett tillförlitligt sätt förutsäger om en AI-kodningsagent kan hantera verkliga mjukvaruteknikuppgifter . Nya utvärderingsmetoder – såsom uppgiftsspecifika, adversariella eller kontinuerligt uppdaterade riktmärken – är akut nödvändiga men ännu inte mogna .

För tillfället har den som försöker utvärdera en AI-kodningsagent ingen enskild standard att lita på. Kollapsen av SWE-bench Verified och SWE-bench Pro är inte bara en berättelse om två bristfälliga tester. Det är en berättelse om en bransch som byggde snabbare än den kunde mäta.