OpenAI överger båda sina kodningsmått – SWE-bench-kollapsen förklarad

På bara sju månader har OpenAI lämnat båda de kodningsriktmärken som man själv varit med och skapat. Först pensionerades SWE-bench Verified i februari 2026 – ett riktmärke som OpenAI själva varit med och tagit fram och som hunnit bli industristandard. Sedan, i juli 2026, drog OpenAI tillbaka sin egen rekommendation av den tänkta ersättaren SWE-bench Pro. Det här handlar inte bara om logistiska problem för modellutvärderare – det är en signal om att hela sättet att mäta AI:s kodningsförmåga i grunden är trasigt.

Fas 1: Avvecklingen av SWE-bench Verified (februari 2026)

SWE-bench Verified lanserades i augusti 2024 som en mänskligt validerad delmängd av det ursprungliga Princeton SWE-bench, med 500 Python-uppgifter hämtade från verkliga GitHub-ärenden . I ungefär 18 månader fungerade det som den primära måttstocken för hur väl AI-kodningsagenter kunde lösa verkliga mjukvaruproblem .

Den 23 februari 2026 avvecklade OpenAIs Frontier Evals-team riktmärket formellt . Skälen var tydliga:

• Felaktiga testfall. En intern granskning av de 138 svåraste problemen som modellen o3 misslyckades med (en delmängd på 27,6 %) visade att minst 59,4 % hade test som underkände funktionellt korrekta korrigeringar – modellerna fick alltså fel för att de löst problemet korrekt .
• Utbredd kontaminering. Varje frontlinjemodell som testades – GPT-5.2, Claude Opus 4.5, Gemini 3 Flash – kunde återge den mänskligt skrivna ”guldkorrigeringen” ordagrant i vissa uppgifter, ett tydligt tecken på att den 500 uppgifter stora datamängden läckt in i träningsdatan .
• Mättnad. Poängen steg från cirka 60 % av den mänskliga baslinjen 2024 till nästan 100 % på ett enda år, vilket gjorde riktmärket oanvändbart för att särskilja frontlinjemodeller . Enligt Stanford AI Index 2026 ”steg prestandan från cirka 60 % 2024 till nära 100 % 2025” .

OpenAIs slutsats var otvetydig: ”Förbättringar på SWE-bench Verified återspeglar inte längre meningsfulla förbättringar av modellernas verkliga mjukvaruutvecklingsförmåga. De återspeglar i allt högre grad hur mycket modellen exponerades för riktmärket under träningen” .

OpenAI rekommenderade uttryckligen SWE-bench Pro – ett större riktmärke byggt av Scale AI från privata och copyleft-licensierade databaser – som ersättning .

Fas 2: Tillbakadragandet av rekommendationen för SWE-bench Pro (juli 2026)

Den 8 juli 2026 rapporterade OpenAI resultaten av en detaljerad granskning av SWE-bench Pro – samma riktmärke som man nyss hade marknadsfört som mer robust. Resultatet var förödande :

• Cirka 30 % av uppgifterna är i grunden trasiga. OpenAI använde både en automatiserad pipeline och mänsklig klassificering för att granska SWE-bench Pro. Den automatiserade pipelinen flaggade 27,4 % av uppgifterna som ogiltiga; mänskliga granskare flaggade 34,1 %. OpenAI uppskattar att cirka 30 % av SWE-bench Pro-uppgifterna inte är användbara som utvärderingsobjekt .
• Grundorsak. Rapporten noterade att GitHub-ärenden och pull-förfrågningar från början är utformade för mänskligt samarbete, inte som rena, oberoende utvärderingsuppgifter som på ett tillförlitligt sätt kan mäta AI-förmåga i isolering .

Detta tvingade OpenAI att dra tillbaka sin rekommendation av SWE-bench Pro, vilket lämnade branschen utan en pålitlig efterträdare .

En bredare kris i AI:s kodningsmätning

OpenAIs tvåstegs reträtt är ingen isolerad olycka. Det är en del av en systemisk kris i hur AI-fältet utvärderar kodningsförmåga:

• Ekologisk validitetsklyfta. Forskare från Stanford HAI, arXiv-recensioner och oberoende grupper dokumenterar en grundläggande diskrepans: modeller som får 70–80 % eller högre på SWE-bench Verified visar mycket lägre verklig tillförlitlighet, särskilt på komplexa, flerstegs- eller tvetydiga uppgifter . En analys uttrycker det rakt på sak: ”Nuvarande riktmärken för att utvärdera AI-kodningsagenter lider av en grundläggande ekologisk validitetskris. Medan modeller uppnår imponerande poäng på SWE-bench (70%+) och HumanEval (90%+), misslyckas dessa mått med att förutsäga verklig användbarhet” .
• Tränings-test-läckage är endemiskt. Eftersom SWE-bench hämtar data från offentliga GitHub-databaser som kan förekomma i träningskorpusar, speglar riktmärkespoängen i allt högre grad memorering snarare än resonemang . Stanford AI Index 2026 beskriver förbättringstakten på SWE-bench Verified som en signal om kontaminering, inte genuin kapacitetstillväxt .
• Bredare mätkris. Stanford AI Index 2026 varnar för att AI-fältet ”bygger snabbare än vi kan mäta”, med modellevalueringar över domäner som blir opålitliga när riktmärken mättas och läcker . arXiv-recensionen ”Benchmarking AI Models in Software Engineering” pekar på fragmenterad kunskap, brist på standardisering och grundläggande designfel som branschövergripande problem .

Vad detta innebär

OpenAIs reträtt i två steg – först att överge sitt eget riktmärke, sedan att ta avstånd från ersättaren – har lämnat AI-utvärderingslandskapet för kodning utan en pålitlig ledare. Samhället inser alltmer att höga riktmärkespoäng inte längre på ett tillförlitligt sätt förutsäger om en AI-kodningsagent kan hantera verkliga mjukvaruteknikuppgifter . Nya utvärderingsmetoder – såsom uppgiftsspecifika, adversariella eller kontinuerligt uppdaterade riktmärken – är akut nödvändiga men ännu inte mogna .

För tillfället har den som försöker utvärdera en AI-kodningsagent ingen enskild standard att lita på. Kollapsen av SWE-bench Verified och SWE-bench Pro är inte bara en berättelse om två bristfälliga tester. Det är en berättelse om en bransch som byggde snabbare än den kunde mäta.