Claude su SWE-bench: cosa dicono davvero i punteggi — e cosa non dimostrano

I risultati dichiarati per Claude nei benchmark di programmazione sono impressionanti: Claude 3.5 Sonnet aggiornato raggiunse il 49,0% su SWE-bench Verified all’inizio del 2025; i modelli Claude 4 arrivarono intorno al 72,5%-72,7% pochi mesi dopo; nel 2026 alcune classifiche hanno poi riportato punteggi prossimi al limite del benchmark. 23249

La conclusione corretta, però, non è che Claude abbia «risolto» l’ingegneria del software. È che Claude è diventato molto competitivo — e spesso leader — nelle valutazioni pubblicate sugli agenti di coding. Quando un benchmark pubblico e finito si avvicina al 100%, la domanda più utile diventa un’altra: quale valutazione predice meglio le prestazioni sul repository, sugli strumenti e sul processo di revisione di una specifica azienda?

I benchmark in breve

Benchmark	Che cosa fa l’agente	Copertura e punteggio	Perché conta
SWE-bench Verified	Riceve una issue reale di GitHub e uno snapshot del repository, quindi produce una patch.	Insieme di 500 istanze di SWE-bench filtrate da revisori umani, tratte soprattutto da popolari repository Python open source. Un task è risolto se la patch supera i test nell’ambiente di valutazione. 1216	È un test molto noto per la risoluzione di issue in basi di codice reali.
SWE-bench Pro	Affronta task più difficili e di più lunga durata nel repository, con una struttura di agente standardizzata.	Vengono riportati 1.865 task da 41 repository, in 123 linguaggi; il risultato è spesso espresso come Pass@1, cioè successo al primo tentativo. 312	Punta ad andare oltre i task Python pubblici di Verified e a ridurre il rischio di contaminazione dei dati.
Terminal-Bench 4.0	Esegue lavoro tecnico end-to-end in un ambiente a riga di comando.	Include attività che richiedono indagine, esecuzione di comandi, modifiche, test e recupero dagli errori, non soltanto una patch per una issue GitHub. 3844	Aggiunge requisiti operativi e di uso degli strumenti più vicini ai flussi di lavoro di un agente.

La progressione di Claude su SWE-bench Verified

Anthropic ha dichiarato che Claude 3.5 Sonnet aggiornato ha ottenuto il 49,0% su SWE-bench Verified, superando il precedente risultato di riferimento del 45%. All’epoca, Anthropic osservava che nessun modello aveva ancora oltrepassato il 50%. 2337

Nel maggio 2025, Anthropic ha riportato il 72,5% per Claude Opus 4 e il 72,7% per Claude Sonnet 4 su SWE-bench Verified. Quei dati erano indicati come ottenuti senza extended thinking. 24

Nel 2026, il quadro delle classifiche è cambiato radicalmente. Vals AI riporta Claude Opus 5 al 97,0%, con sette modelli valutati al 95% o oltre e DeepSeek V4 Pro 0813 al 96,4%. 9 Dire che Opus 5 è «attorno al 96%» è quindi una sintesi ragionevole di un risultato collocato nella fascia altissima, ma non un numero unico e definitivo: il punteggio dipende dalla versione del modello, dalla configurazione dell’agente, dal budget e dal protocollo di valutazione.

Perché il 97% va interpretato con prudenza

Su un set di 500 task, il 97% lascia margini minimi per distinguere i sistemi di frontiera. Inoltre, Verified è composto da problemi pubblici e finiti, provenienti da repository pubblici. Le guide ai benchmark lo descrivono come esposto a un rischio elevato di contaminazione e di saturazione. 3

Questo non rende il risultato privo di valore. Significa piuttosto che è una buona evidenza della capacità di risolvere questa classe di issue, ben specificate e verificabili tramite test; è meno adatto, invece, a prevedere da solo il rendimento su lavoro inedito all’interno di una codebase privata e in continua evoluzione.

SWE-bench Pro: test più ampio e più impegnativo

SWE-bench Pro viene presentato come alternativa più difficile e più resistente alla contaminazione. La copertura riportata è di 1.865 task in 41 repository e 123 linguaggi di programmazione, contro le 500 istanze filtrate di Verified, concentrate su repository Python popolari. 1216

Le classifiche aggregate pubblicate a settembre 2026 indicano Claude Fable 5.1 all’81,2%, davanti a Claude Mythos 5 all’80,3% e Claude Fable 5 all’80,0%. 53 In quella classifica, Claude occupa le prime tre posizioni.

C’è però una precisazione essenziale: non tutti i valori di Pro sono direttamente confrontabili. Una fonte distingue il 59,1% come punteggio leader nel set pubblico standardizzato di Scale da valori aggregati dei fornitori più elevati; è un esempio di quanto la struttura dell’agente e il metodo di rendicontazione possano cambiare il risultato. 13 Un’altra fonte avverte esplicitamente che l’81,2% attribuito a Fable 5.1 non sarebbe chiaramente supportato da un risultato SWE-bench pubblicato e specifico per quel modello, e potrebbe riflettere un problema di aggregazione o attribuzione di versione. 55

In pratica, l’81,2% va letto come valore riportato da una classifica, non come fatto definitivamente consolidato e replicato in modo indipendente sul solo modello di base.

Terminal-Bench 4.0: il confronto Claude-OpenAI citato

Terminal-Bench valuta il lavoro tecnico degli agenti in una shell, per esempio la compilazione di software o l’addestramento di un modello di machine learning. A differenza del formato issue-e-patch di SWE-bench Verified, misura un flusso operativo più completo. 38

Il confronto citato assegna il 55,8% a Claude Fable 5.1 e il 37,3% a GPT-5.6 Sol: una differenza di 18,5 punti percentuali. 44 È un’indicazione significativa del fatto che la configurazione Claude riportata ha ottenuto un risultato superiore in quella valutazione.

Non dimostra, però, una classifica generale tra Anthropic, OpenAI, Google, Cognition o AWS. Per una conclusione di questo tipo servirebbero modelli confrontati nelle stesse condizioni, identica struttura dell’agente, budget di tempo e token comparabili, oltre a risultati su più suite di test indipendenti. Le fonti disponibili non forniscono quel confronto completo.

Cosa mostrano — e cosa non mostrano — questi risultati

Le evidenze disponibili sostengono tre affermazioni misurabili:

1. Claude ha registrato un grande progresso dichiarato su SWE-bench Verified, dal 49,0% di Claude 3.5 Sonnet aggiornato a risultati di classifica nella fascia del 97% associati a Opus 5. 239
2. Claude è al vertice o vicino al vertice degli aggregati pubblicati per SWE-bench Pro, anche se origine e metodologia dei singoli punteggi vanno sempre verificate. 5355
3. La configurazione Claude Fable 5.1 riportata ha superato GPT-5.6 Sol nel confronto citato su Terminal-Bench 4.0. 44

Non mostrano che Claude possa completare autonomamente progetti di settimane, comprendere in modo affidabile sistemi interni non documentati, prendere sempre decisioni architetturali corrette o distribuire codice in sicurezza senza revisione umana. I task di SWE-bench hanno esiti verificabili attraverso test; il lavoro ingegneristico reale comprende anche scoperta dei requisiti, compromessi, integrazione, sicurezza, rilascio e collaborazione.

Perché ora conta più il progetto del benchmark che un altro punto su Verified

SWE-bench Verified è stato importante perché ha superato i brevi esercizi di programmazione: gli agenti lavorano su repository reali e descrizioni di issue, mentre le patch vengono giudicate dai test. 138 Ma, secondo la discussione di Anthropic sulle valutazioni degli agenti, i modelli sono passati in circa un anno da circa il 40% a oltre l’80% su questa prova. 38

A questo punto, una valutazione utile dovrebbe combinare:

• risoluzione di issue pubbliche, per una base ripetibile, come SWE-bench Verified;
• lavoro su repository più ampi e più protetti, come SWE-bench Pro;
• task da terminale e uso di strumenti, che misurino esecuzione iterativa e recupero dagli errori;
• task interni, privati e rappresentativi, con linguaggi, sistemi di build, autorizzazioni, test e standard di code review dell’organizzazione.

Anthropic ha citato sia SWE-bench Verified sia Terminal-Bench come esempi di valutazioni per agenti e ha sottolineato le capacità di Claude 4 sui compiti prolungati. 3842 Le fonti disponibili, tuttavia, non bastano a dimostrare un cambiamento formale e generalizzato della strategia aziendale, da SWE-bench verso benchmark a orizzonte più lungo. Questa tesi più forte resta quindi non provata.

In sintesi

Le prestazioni riportate rendono Claude una delle opzioni più forti da valutare per gli agenti di coding a settembre 2026. Il passaggio più evidente va dal 49% su SWE-bench Verified all’inizio del 2025 al 97,0% riportato per Opus 5 in una classifica, insieme a un 81,2% riportato come leadership su SWE-bench Pro. 23953

Per scegliere uno strumento, però, non basta un titolo da classifica. I punteggi servono per creare una lista ristretta di candidati; la decisione dovrebbe arrivare dopo una prova controllata su attività rappresentative dei propri repository. I benchmark pubblici quasi saturi mostrano che i modelli sanno correggere molti problemi di tipo noto, ma non dimostrano da soli un’ingegneria del software autonoma e affidabile in produzione.