Den 23 februari 2026 avvecklade OpenAIs Frontier Evals-team riktmärket formellt . Skälen var tydliga:

• Felaktiga testfall. En intern granskning av de 138 svåraste problemen som modellen o3 misslyckades med (en delmängd på 27,6 %) visade att minst 59,4 % hade test som underkände funktionellt korrekta korrigeringar – modellerna fick alltså fel för att de löst problemet korrekt .
• Utbredd kontaminering. Varje frontlinjemodell som testades – GPT-5.2, Claude Opus 4.5, Gemini 3 Flash – kunde återge den mänskligt skrivna ”guldkorrigeringen” ordagrant i vissa uppgifter, ett tydligt tecken på att den 500 uppgifter stora datamängden läckt in i träningsdatan .
• Mättnad. Poängen steg från cirka 60 % av den mänskliga baslinjen 2024 till nästan 100 % på ett enda år, vilket gjorde riktmärket oanvändbart för att särskilja frontlinjemodeller . Enligt Stanford AI Index 2026 ”steg prestandan från cirka 60 % 2024 till nära 100 % 2025” .

OpenAIs slutsats var otvetydig: ”Förbättringar på SWE-bench Verified återspeglar inte längre meningsfulla förbättringar av modellernas verkliga mjukvaruutvecklingsförmåga. De återspeglar i allt högre grad hur mycket modellen exponerades för riktmärket under träningen” .

OpenAI rekommenderade uttryckligen SWE-bench Pro – ett större riktmärke byggt av Scale AI från privata och copyleft-licensierade databaser – som ersättning .

Fas 2: Tillbakadragandet av rekommendationen för SWE-bench Pro (juli 2026)

Den 8 juli 2026 rapporterade OpenAI resultaten av en detaljerad granskning av SWE-bench Pro – samma riktmärke som man nyss hade marknadsfört som mer robust. Resultatet var förödande :

• Cirka 30 % av uppgifterna är i grunden trasiga. OpenAI använde både en automatiserad pipeline och mänsklig klassificering för att granska SWE-bench Pro. Den automatiserade pipelinen flaggade 27,4 % av uppgifterna som ogiltiga; mänskliga granskare flaggade 34,1 %. OpenAI uppskattar att cirka 30 % av SWE-bench Pro-uppgifterna inte är användbara som utvärderingsobjekt .
• Grundorsak. Rapporten noterade att GitHub-ärenden och pull-förfrågningar från början är utformade för mänskligt samarbete, inte som rena, oberoende utvärderingsuppgifter som på ett tillförlitligt sätt kan mäta AI-förmåga i isolering .

Detta tvingade OpenAI att dra tillbaka sin rekommendation av SWE-bench Pro, vilket lämnade branschen utan en pålitlig efterträdare .

En bredare kris i AI:s kodningsmätning

OpenAIs tvåstegs reträtt är ingen isolerad olycka. Det är en del av en systemisk kris i hur AI-fältet utvärderar kodningsförmåga:

• Ekologisk validitetsklyfta. Forskare från Stanford HAI, arXiv-recensioner och oberoende grupper dokumenterar en grundläggande diskrepans: modeller som får 70–80 % eller högre på SWE-bench Verified visar mycket lägre verklig tillförlitlighet, särskilt på komplexa, flerstegs- eller tvetydiga uppgifter . En analys uttrycker det rakt på sak: ”Nuvarande riktmärken för att utvärdera AI-kodningsagenter lider av en grundläggande ekologisk validitetskris. Medan modeller uppnår imponerande poäng på SWE-bench (70%+) och HumanEval (90%+), misslyckas dessa mått med att förutsäga verklig användbarhet” .
• Tränings-test-läckage är endemiskt. Eftersom SWE-bench hämtar data från offentliga GitHub-databaser som kan förekomma i träningskorpusar, speglar riktmärkespoängen i allt högre grad memorering snarare än resonemang . Stanford AI Index 2026 beskriver förbättringstakten på SWE-bench Verified som en signal om kontaminering, inte genuin kapacitetstillväxt .
• Bredare mätkris. Stanford AI Index 2026 varnar för att AI-fältet ”bygger snabbare än vi kan mäta”, med modellevalueringar över domäner som blir opålitliga när riktmärken mättas och läcker . arXiv-recensionen ”Benchmarking AI Models in Software Engineering” pekar på fragmenterad kunskap, brist på standardisering och grundläggande designfel som branschövergripande problem .

Vad detta innebär

OpenAIs reträtt i två steg – först att överge sitt eget riktmärke, sedan att ta avstånd från ersättaren – har lämnat AI-utvärderingslandskapet för kodning utan en pålitlig ledare. Samhället inser alltmer att höga riktmärkespoäng inte längre på ett tillförlitligt sätt förutsäger om en AI-kodningsagent kan hantera verkliga mjukvaruteknikuppgifter . Nya utvärderingsmetoder – såsom uppgiftsspecifika, adversariella eller kontinuerligt uppdaterade riktmärken – är akut nödvändiga men ännu inte mogna .

För tillfället har den som försöker utvärdera en AI-kodningsagent ingen enskild standard att lita på. Kollapsen av SWE-bench Verified och SWE-bench Pro är inte bara en berättelse om två bristfälliga tester. Det är en berättelse om en bransch som byggde snabbare än den kunde mäta.

Den 23 februari 2026 avvecklade OpenAIs Frontier Evals-team riktmärket formellt . Skälen var tydliga:

• Felaktiga testfall. En intern granskning av de 138 svåraste problemen som modellen o3 misslyckades med (en delmängd på 27,6 %) visade att minst 59,4 % hade test som underkände funktionellt korrekta korrigeringar – modellerna fick alltså fel för att de löst problemet korrekt .
• Utbredd kontaminering. Varje frontlinjemodell som testades – GPT-5.2, Claude Opus 4.5, Gemini 3 Flash – kunde återge den mänskligt skrivna ”guldkorrigeringen” ordagrant i vissa uppgifter, ett tydligt tecken på att den 500 uppgifter stora datamängden läckt in i träningsdatan .
• Mättnad. Poängen steg från cirka 60 % av den mänskliga baslinjen 2024 till nästan 100 % på ett enda år, vilket gjorde riktmärket oanvändbart för att särskilja frontlinjemodeller . Enligt Stanford AI Index 2026 ”steg prestandan från cirka 60 % 2024 till nära 100 % 2025” .

OpenAIs slutsats var otvetydig: ”Förbättringar på SWE-bench Verified återspeglar inte längre meningsfulla förbättringar av modellernas verkliga mjukvaruutvecklingsförmåga. De återspeglar i allt högre grad hur mycket modellen exponerades för riktmärket under träningen” .

OpenAI rekommenderade uttryckligen SWE-bench Pro – ett större riktmärke byggt av Scale AI från privata och copyleft-licensierade databaser – som ersättning .

Fas 2: Tillbakadragandet av rekommendationen för SWE-bench Pro (juli 2026)

Den 8 juli 2026 rapporterade OpenAI resultaten av en detaljerad granskning av SWE-bench Pro – samma riktmärke som man nyss hade marknadsfört som mer robust. Resultatet var förödande :

• Cirka 30 % av uppgifterna är i grunden trasiga. OpenAI använde både en automatiserad pipeline och mänsklig klassificering för att granska SWE-bench Pro. Den automatiserade pipelinen flaggade 27,4 % av uppgifterna som ogiltiga; mänskliga granskare flaggade 34,1 %. OpenAI uppskattar att cirka 30 % av SWE-bench Pro-uppgifterna inte är användbara som utvärderingsobjekt .
• Grundorsak. Rapporten noterade att GitHub-ärenden och pull-förfrågningar från början är utformade för mänskligt samarbete, inte som rena, oberoende utvärderingsuppgifter som på ett tillförlitligt sätt kan mäta AI-förmåga i isolering .

Detta tvingade OpenAI att dra tillbaka sin rekommendation av SWE-bench Pro, vilket lämnade branschen utan en pålitlig efterträdare .

En bredare kris i AI:s kodningsmätning

OpenAIs tvåstegs reträtt är ingen isolerad olycka. Det är en del av en systemisk kris i hur AI-fältet utvärderar kodningsförmåga:

• Ekologisk validitetsklyfta. Forskare från Stanford HAI, arXiv-recensioner och oberoende grupper dokumenterar en grundläggande diskrepans: modeller som får 70–80 % eller högre på SWE-bench Verified visar mycket lägre verklig tillförlitlighet, särskilt på komplexa, flerstegs- eller tvetydiga uppgifter . En analys uttrycker det rakt på sak: ”Nuvarande riktmärken för att utvärdera AI-kodningsagenter lider av en grundläggande ekologisk validitetskris. Medan modeller uppnår imponerande poäng på SWE-bench (70%+) och HumanEval (90%+), misslyckas dessa mått med att förutsäga verklig användbarhet” .
• Tränings-test-läckage är endemiskt. Eftersom SWE-bench hämtar data från offentliga GitHub-databaser som kan förekomma i träningskorpusar, speglar riktmärkespoängen i allt högre grad memorering snarare än resonemang . Stanford AI Index 2026 beskriver förbättringstakten på SWE-bench Verified som en signal om kontaminering, inte genuin kapacitetstillväxt .
• Bredare mätkris. Stanford AI Index 2026 varnar för att AI-fältet ”bygger snabbare än vi kan mäta”, med modellevalueringar över domäner som blir opålitliga när riktmärken mättas och läcker . arXiv-recensionen ”Benchmarking AI Models in Software Engineering” pekar på fragmenterad kunskap, brist på standardisering och grundläggande designfel som branschövergripande problem .

Vad detta innebär

OpenAIs reträtt i två steg – först att överge sitt eget riktmärke, sedan att ta avstånd från ersättaren – har lämnat AI-utvärderingslandskapet för kodning utan en pålitlig ledare. Samhället inser alltmer att höga riktmärkespoäng inte längre på ett tillförlitligt sätt förutsäger om en AI-kodningsagent kan hantera verkliga mjukvaruteknikuppgifter . Nya utvärderingsmetoder – såsom uppgiftsspecifika, adversariella eller kontinuerligt uppdaterade riktmärken – är akut nödvändiga men ännu inte mogna .

För tillfället har den som försöker utvärdera en AI-kodningsagent ingen enskild standard att lita på. Kollapsen av SWE-bench Verified och SWE-bench Pro är inte bara en berättelse om två bristfälliga tester. Det är en berättelse om en bransch som byggde snabbare än den kunde mäta.