Il 23 febbraio 2026, il team Frontier Evals di OpenAI ha deprecato formalmente il benchmark . Le ragioni sono state nette:

• Test case difettosi. Un audit interno dei 138 problemi più difficili che il modello o3 non era riuscito a risolvere (un sottoinsieme del 27,6%) ha scoperto che almeno il 59,4% aveva test che rifiutavano patch funzionalmente corrette — il che significa che i modelli venivano segnati come errati per aver risolto il problema correttamente .
• Contaminazione diffusa. Ogni modello di frontiera testato — GPT-5.2, Claude Opus 4.5, Gemini 3 Flash — era in grado di riprodurre testualmente la "gold patch" scritta da umani su alcuni compiti, un chiaro segno che il set di 500 compiti era trapelato nei dati di addestramento .
• Saturazione. I punteggi erano saliti da circa il 60% del basale umano nel 2024 a quasi il 100% in un singolo anno, rendendo il benchmark inutile per differenziare i modelli di frontiera . Secondo lo Stanford AI Index 2026, "le prestazioni sono aumentate da circa il 60% nel 2024 a quasi il 100% nel 2025" .

La conclusione di OpenAI è stata inequivocabile: "I miglioramenti su SWE-bench Verified non riflettono più miglioramenti significativi nelle capacità di sviluppo software dei modelli nel mondo reale. Riflettono sempre più quanto il modello sia stato esposto al benchmark durante l'addestramento" .

OpenAI ha esplicitamente raccomandato SWE-bench Pro — un benchmark più grande costruito da Scale AI a partire da repository privati e copyleft — come sostituto .

Fase 2: La ritrattazione della raccomandazione per SWE-bench Pro (luglio 2026)

L'8 luglio 2026, OpenAI ha riportato i risultati di un audit dettagliato di SWE-bench Pro — lo stesso benchmark che aveva appena promosso come più robusto. I risultati sono stati devastanti :

• ~30% dei compiti è fondamentalmente rotto. OpenAI ha utilizzato sia una pipeline automatizzata che una classificazione umana per controllare SWE-bench Pro. La pipeline automatizzata ha segnalato il 27,4% dei compiti come non validi; i revisori umani ne hanno segnalati il 34,1%. OpenAI stima che circa il 30% dei compiti di SWE-bench Pro non sia valido come elemento di valutazione .
• Causa principale. Il rapporto ha osservato che le issue e le pull request di GitHub sono state progettate per la collaborazione umana, non come compiti di valutazione puliti e indipendenti in grado di misurare in modo affidabile la capacità dell'IA in isolamento .

Questo ha costretto OpenAI a ritirare la sua raccomandazione di SWE-bench Pro, lasciando l'industria senza un benchmark successore di fiducia .

Una crisi più ampia nella misurazione del coding dell'IA

Il doppio ritiro di OpenAI non è un incidente isolato. Fa parte di una crisi sistemica nel modo in cui il campo dell'IA valuta la capacità di coding:

• Divario di validità ecologica. Ricercatori di Stanford HAI, revisioni di arXiv e gruppi indipendenti documentano un divario fondamentale: i modelli che ottengono punteggi del 70-80% o superiori su SWE-bench Verified mostrano un'affidabilità nel mondo reale molto più bassa, specialmente su compiti complessi, multi-step o ambigui . Un'analisi lo dice senza mezzi termini: "Gli attuali benchmark per la valutazione degli agenti di coding IA soffrono di una crisi fondamentale di validità ecologica. Mentre i modelli raggiungono punteggi impressionanti su SWE-bench (70%+) e HumanEval (90%+), queste metriche non riescono a predire l'utilità nel mondo reale" .
• La contaminazione train-test è endemica. Poiché SWE-bench attinge da dati GitHub pubblici che possono comparire nei corpus di addestramento, i punteggi dei benchmark riflettono sempre più la memorizzazione piuttosto che il ragionamento . Lo Stanford AI Index 2026 descrive il ritmo di miglioramento su SWE-bench Verified come un segnale di contaminazione, non di una genuina crescita delle capacità .
• Crisi di misurazione più ampia. Lo Stanford AI Index 2026 avverte che il campo dell'IA sta "costruendo più velocemente di quanto possiamo misurare", con le valutazioni dei modelli in tutti i domini che diventano inaffidabili man mano che i benchmark si saturano e perdono . La revisione di arXiv "Benchmarking AI Models in Software Engineering" indica conoscenze frammentate, mancanza di standardizzazione e difetti di progettazione fondamentali come problemi a livello di settore .

Cosa significa

Il doppio dietrofront di OpenAI — prima abbandonare il proprio benchmark, poi rinnegare il sostituto — ha lasciato il panorama della valutazione del coding IA senza un leader affidabile. La comunità riconosce sempre più che i punteggi elevati dei benchmark non predicono più in modo affidabile se un agente di coding IA può gestire compiti di ingegneria del software nel mondo reale . Nuove metodologie di valutazione — come benchmark specifici per attività, avversari o continuamente aggiornati — sono urgentemente necessarie ma non ancora mature .

Per ora, chiunque tenti di valutare un agente di coding IA non ha uno standard unico di cui fidarsi. Il crollo di SWE-bench Verified e SWE-bench Pro non è solo una storia su due test difettosi. È la storia di un'industria che ha costruito più velocemente di quanto potesse misurare.

Il 23 febbraio 2026, il team Frontier Evals di OpenAI ha deprecato formalmente il benchmark . Le ragioni sono state nette:

• Test case difettosi. Un audit interno dei 138 problemi più difficili che il modello o3 non era riuscito a risolvere (un sottoinsieme del 27,6%) ha scoperto che almeno il 59,4% aveva test che rifiutavano patch funzionalmente corrette — il che significa che i modelli venivano segnati come errati per aver risolto il problema correttamente .
• Contaminazione diffusa. Ogni modello di frontiera testato — GPT-5.2, Claude Opus 4.5, Gemini 3 Flash — era in grado di riprodurre testualmente la "gold patch" scritta da umani su alcuni compiti, un chiaro segno che il set di 500 compiti era trapelato nei dati di addestramento .
• Saturazione. I punteggi erano saliti da circa il 60% del basale umano nel 2024 a quasi il 100% in un singolo anno, rendendo il benchmark inutile per differenziare i modelli di frontiera . Secondo lo Stanford AI Index 2026, "le prestazioni sono aumentate da circa il 60% nel 2024 a quasi il 100% nel 2025" .

La conclusione di OpenAI è stata inequivocabile: "I miglioramenti su SWE-bench Verified non riflettono più miglioramenti significativi nelle capacità di sviluppo software dei modelli nel mondo reale. Riflettono sempre più quanto il modello sia stato esposto al benchmark durante l'addestramento" .

OpenAI ha esplicitamente raccomandato SWE-bench Pro — un benchmark più grande costruito da Scale AI a partire da repository privati e copyleft — come sostituto .

Fase 2: La ritrattazione della raccomandazione per SWE-bench Pro (luglio 2026)

L'8 luglio 2026, OpenAI ha riportato i risultati di un audit dettagliato di SWE-bench Pro — lo stesso benchmark che aveva appena promosso come più robusto. I risultati sono stati devastanti :

• ~30% dei compiti è fondamentalmente rotto. OpenAI ha utilizzato sia una pipeline automatizzata che una classificazione umana per controllare SWE-bench Pro. La pipeline automatizzata ha segnalato il 27,4% dei compiti come non validi; i revisori umani ne hanno segnalati il 34,1%. OpenAI stima che circa il 30% dei compiti di SWE-bench Pro non sia valido come elemento di valutazione .
• Causa principale. Il rapporto ha osservato che le issue e le pull request di GitHub sono state progettate per la collaborazione umana, non come compiti di valutazione puliti e indipendenti in grado di misurare in modo affidabile la capacità dell'IA in isolamento .

Questo ha costretto OpenAI a ritirare la sua raccomandazione di SWE-bench Pro, lasciando l'industria senza un benchmark successore di fiducia .

Una crisi più ampia nella misurazione del coding dell'IA

Il doppio ritiro di OpenAI non è un incidente isolato. Fa parte di una crisi sistemica nel modo in cui il campo dell'IA valuta la capacità di coding:

• Divario di validità ecologica. Ricercatori di Stanford HAI, revisioni di arXiv e gruppi indipendenti documentano un divario fondamentale: i modelli che ottengono punteggi del 70-80% o superiori su SWE-bench Verified mostrano un'affidabilità nel mondo reale molto più bassa, specialmente su compiti complessi, multi-step o ambigui . Un'analisi lo dice senza mezzi termini: "Gli attuali benchmark per la valutazione degli agenti di coding IA soffrono di una crisi fondamentale di validità ecologica. Mentre i modelli raggiungono punteggi impressionanti su SWE-bench (70%+) e HumanEval (90%+), queste metriche non riescono a predire l'utilità nel mondo reale" .
• La contaminazione train-test è endemica. Poiché SWE-bench attinge da dati GitHub pubblici che possono comparire nei corpus di addestramento, i punteggi dei benchmark riflettono sempre più la memorizzazione piuttosto che il ragionamento . Lo Stanford AI Index 2026 descrive il ritmo di miglioramento su SWE-bench Verified come un segnale di contaminazione, non di una genuina crescita delle capacità .
• Crisi di misurazione più ampia. Lo Stanford AI Index 2026 avverte che il campo dell'IA sta "costruendo più velocemente di quanto possiamo misurare", con le valutazioni dei modelli in tutti i domini che diventano inaffidabili man mano che i benchmark si saturano e perdono . La revisione di arXiv "Benchmarking AI Models in Software Engineering" indica conoscenze frammentate, mancanza di standardizzazione e difetti di progettazione fondamentali come problemi a livello di settore .

Cosa significa

Il doppio dietrofront di OpenAI — prima abbandonare il proprio benchmark, poi rinnegare il sostituto — ha lasciato il panorama della valutazione del coding IA senza un leader affidabile. La comunità riconosce sempre più che i punteggi elevati dei benchmark non predicono più in modo affidabile se un agente di coding IA può gestire compiti di ingegneria del software nel mondo reale . Nuove metodologie di valutazione — come benchmark specifici per attività, avversari o continuamente aggiornati — sono urgentemente necessarie ma non ancora mature .

Per ora, chiunque tenti di valutare un agente di coding IA non ha uno standard unico di cui fidarsi. Il crollo di SWE-bench Verified e SWE-bench Pro non è solo una storia su due test difettosi. È la storia di un'industria che ha costruito più velocemente di quanto potesse misurare.