OpenAI hylkää molemmat koodausvertailunsa: SWE-bench-romahdus selitettynä

OpenAI:n johtopäätös oli yksiselitteinen: "Parannukset SWE-bench Verifiedissa eivät enää heijasta merkityksellisiä parannuksia mallien todellisissa ohjelmistokehityskyvyissä. Ne heijastavat yhä enemmän sitä, kuinka paljon malli altistettiin vertailulle koulutuksen aikana" .

OpenAI suositteli nimenomaisesti SWE-bench Pro'ta – suurempaa vertailua, jonka Scale AI rakensi yksityisistä ja copyleft-säilytyspaikoista – korvaajaksi .

Vaihe 2: SWE-bench Pro -suosituksen peruminen (heinäkuu 2026)

Heinäkuun 8. päivänä 2026 OpenAI raportoi yksityiskohtaisen tarkastuksen tulokset SWE-bench Prostä – siitä vertailusta, jota se oli juuri mainostanut kestävämpänä. Tulokset olivat musertavia :

• Noin 30 % tehtävistä on pohjimmiltaan rikki. OpenAI käytti sekä automaattista putkea että ihmisten luokittelua SWE-bench Pron auditoimiseen. Automaattinen putki merkitsi 27,4 % tehtävistä virheellisiksi; ihmisten tekemä tarkastus merkitsi 34,1 %. OpenAI arvioi, että noin 30 % SWE-bench Pron tehtävistä ei ole käyttökelpoisia arviointikohteina .
• Perimmäinen syy. Raportissa todettiin, että GitHubin ongelmat ja pull-pyynnöt on suunniteltu ihmisten yhteistyötä varten, eivätkä ne ole puhtaita, riippumattomia arviointitehtäviä, jotka voisivat luotettavasti mitata tekoälyn kykyjä eristyksissä .

Tämä pakotti OpenAI:n perumaan suosituksensa SWE-bench Prostä, jättäen alan ilman luotettua seuraajavertailua .

Laajempi kriisi tekoälyn koodauskyvyn mittaamisessa

OpenAI:n kaksivaiheinen perääntyminen ei ole yksittäinen tapaturma. Se on osa systeemistä kriisiä siinä, miten tekoälyala arvioi koodauskykyä:

• Ekologinen validiteettikuilu. Stanford HAI:n, arXiv-arvostelujen ja riippumattomien ryhmien tutkijat dokumentoivat perustavanlaatuisen eron: mallit, jotka saavat 70–80 % tai korkeammat pisteet SWE-bench Verifiedissa, osoittavat paljon heikompaa luotettavuutta todellisessa maailmassa, erityisesti monimutkaisissa, monivaiheisissa tai epäselvissä tehtävissä . Yksi analyysi ilmaisee asian suoraan: "Nykyiset vertailuarvot tekoälyn koodausagenttien arvioimiseksi kärsivät perustavanlaatuisesta ekologisen validiteetin kriisistä. Vaikka mallit saavuttavat vaikuttavia pisteitä SWE-benchissä (70%+) ja HumanEvalissa (90%+), nämä mittarit eivät kykene ennustamaan todellista hyötyä" .
• Koulutus-testi-vuoto on endeemistä. Koska SWE-bench ammentaa julkisesta GitHub-datasta, joka saattaa esiintyä koulutuskorpuksissa, vertailupisteet heijastavat yhä enemmän ulkoa opettelua eikä päättelyä . Stanfordin tekoälyindeksi 2026 kuvailee parannusvauhtia SWE-bench Verifiedissa signaaliksi kontaminaatiosta, ei aidosta kyvykkyyksien kasvusta .
• Laajempi mittauskriisi. Stanfordin tekoälyindeksi 2026 varoittaa, että tekoälyala "rakentaa nopeammin kuin pystymme mittaamaan", ja mallien arvioinnit eri aloilla muuttuvat epäluotettaviksi vertailujen kyllästyessä ja vuotaessa . arXiv-arvostelu "Benchmarking AI Models in Software Engineering" osoittaa pirstoutuneen tiedon, standardoinnin puutteen ja perustavanlaatuiset suunnitteluvirheet alanlaajuisina ongelmina .

Mitä tämä tarkoittaa

OpenAI:n peräkkäinen perääntyminen – ensin oman vertailunsa hylkääminen ja sitten korvaajan hylkääminen – on jättänyt tekoälyn koodausarvioinnin maiseman ilman luotettua johtajaa. Yhteisö tunnustaa yhä laajemmin, että korkeat vertailupisteet eivät enää luotettavasti ennusta, pystyykö tekoälyn koodausagentti käsittelemään todellisia ohjelmistotuotannon tehtäviä . Uusia arviointimenetelmiä – kuten tehtäväkohtaisia, adversaarisia tai jatkuvasti päivittyviä vertailuja – tarvitaan kiireellisesti, mutta ne eivät ole vielä kypsiä .

Toistaiseksi jokainen, joka yrittää arvioida tekoälyn koodausagenttia, ei voi luottaa mihinkään yksittäiseen standardiin. SWE-bench Verifiedin ja SWE-bench Pron romahdus ei ole vain tarina kahdesta virheellisestä testistä. Se on tarina teollisuudenalasta, joka rakensi nopeammin kuin pystyi mittaamaan.