DeepSeek V4 Pro trova più vulnerabilità degli altri modelli: il benchmark di Aikido premia l’orchestrazione

Il modello più costoso non è necessariamente quello che trova più falle. È questa la conclusione più immediata del benchmark pubblicato da Aikido nell’agosto 2026, che ha messo alla prova 10 modelli di intelligenza artificiale su 32 vulnerabilità recentemente divulgate, con tre tentativi per ciascun modello. 3

Il risultato più vistoso è di DeepSeek V4 Pro 0813: combinando le tre esecuzioni, il modello ha ritrovato 28 vulnerabilità su 32, pari a un recall aggregato dell’87,5%, per una spesa di circa 295 dollari. 3

Ma quel 28/32 va letto correttamente. Si tratta di un risultato pass@3, ottenuto sommando ciò che è emerso in tre indagini indipendenti: non significa che una singola richiesta al modello individui con affidabilità 28 vulnerabilità. La lezione più importante riguarda quindi il modo in cui si costruisce il sistema di sicurezza, non la semplice scelta del modello in cima alla classifica.

DeepSeek V4 Pro guida la fase di scoperta

Le diverse esecuzioni possono esplorare file, percorsi nel codice e ipotesi di sfruttamento differenti. Riunire i risultati aumenta la copertura proprio perché amplia lo spazio di ricerca.

In pratica, il benchmark sostiene un approccio fatto di più indagini indipendenti, invece di considerare la prima risposta di un modello come una valutazione di sicurezza completa. DeepSeek V4 Pro è quindi un candidato forte per la fase iniziale: cerca in modo ampio e produce un numero elevato di potenziali problemi.

I suoi risultati devono però essere sottoposti a validazione basata su prove, deduplicazione e revisione della gravità prima di diventare segnalazioni operative per gli sviluppatori. 3

Come si sono comportati gli altri modelli

DeepSeek V4 Flash 0731: molta copertura a basso costo

Tre esecuzioni di DeepSeek V4 Flash hanno individuato 24 vulnerabilità su 32, con un costo complessivo di circa 108 dollari. 3

Il modello offre quindi un rapporto copertura-prezzo interessante. Può essere impiegato per scansioni parallele economiche o per aumentare il numero di tentativi entro un budget stabilito. Non è detto, però, che sia la scelta migliore per la revisione finale: il suo ruolo più utile è quello di moltiplicare le ricerche, lasciando a una fase successiva la selezione dei risultati attendibili.

Grok 4.6: il modello più coerente

Grok 4.6 si è distinto per la ripetibilità. 21 vulnerabilità sono comparse in tutte e tre le sue esecuzioni, un dato che lo rende il modello più consistente del confronto. 3

La consistenza risponde a un’esigenza diversa rispetto al recall massimo. Nei monitoraggi ricorrenti e nei flussi standardizzati, un comportamento prevedibile e report stabili possono valere più di una ricerca altamente esplorativa, ma più variabile.

Claude Opus 5 e GPT-5.6 Sol: alternative di fascia alta

Claude Opus 5 ha raggiunto un recall aggregato di 26/32, mentre GPT-5.6 Sol si è fermato a 25/32. Entrambi restano opzioni ad alte prestazioni, ma i numeri mettono in discussione l’idea che il modello proprietario più costoso debba necessariamente garantire la copertura migliore. 3

La scelta di uno dei due dovrebbe quindi dipendere dal valore aggiunto che porta nella pipeline: capacità di ragionamento, qualità dei report, comportamento in fase di revisione o gestione dei casi ambigui. Il nome del modello, da solo, non è un criterio sufficiente.

Kimi K3: precisione per verifica e triage

Il risultato più significativo di Kimi K3 è stato un 92,3% di precisione aggregata. La precisione indica quanti dei risultati segnalati sono stati accettati, non quante vulnerabilità sono state scoperte in totale.

La distinzione è essenziale. Un agente con recall elevato può esplorare molto e tollerare una certa quantità di rumore; un modello più preciso può invece aiutare a verificare le segnalazioni, preparare i report e ridurre il numero di falsi positivi che arrivano agli ingegneri.

Kimi K3 appare quindi più adatto a un ruolo di verifica, triage o produzione di avvisi ad alta confidenza che alla ricerca iniziale a più ampio raggio.

Qwen3.8-Max: le ripetizioni possono essere uno spreco, ma anche una risorsa

Aikido ha osservato che Qwen3.8-Max tendeva a tornare sullo stesso CVE o sullo stesso percorso di ragionamento. La ripetizione è inefficiente quando consuma turni senza ampliare la copertura, ma può anche rivelarsi utile: un secondo esame può portare alla luce una condizione trascurata, un percorso di esecuzione diverso o un dettaglio di validazione.

La soluzione deve essere progettata a livello di harness, cioè dell’ambiente che coordina modello, strumenti, memoria e regole operative. L’agente dovrebbe sapere cosa è già stato verificato, avere limiti per i rami ripetuti e indirizzare i casi irrisolti verso una nuova indagine, invece di riprodurre automaticamente lo stesso tentativo.

GLM-5.3: un componente economico per i flussi ad alto volume

Nel confronto aggiornato, GLM-5.3 è migliorato da 24/32 a 25/32, mantenendo un profilo di costo inferiore rispetto alle alternative proprietarie di fascia alta citate nel benchmark. 3

Questo lo rende un candidato credibile per attività ad alto volume o per un sistema ensemble, nel quale più modelli collaborano. Il vantaggio emerge soprattutto quando il risparmio consente di eseguire più indagini, non quando viene usato per sostituire una pipeline completa con un’unica passata.

Recall, precisione e consistenza misurano cose diverse

Un sistema per scoprire vulnerabilità non dovrebbe ridurre tutto a un solo punteggio:

• Recall: quante vulnerabilità note il sistema riesce a ritrovare?
• Precisione: quanti dei risultati inviati vengono accettati?
• Consistenza: con quale frequenza esecuzioni diverse individuano le stesse vulnerabilità?
• Efficienza dei costi: quanto costa ottenere risultati già validati?

Queste metriche descrivono esigenze operative differenti. La fase di scoperta beneficia di recall elevato e di comportamenti investigativi diversificati. Gli avvisi destinati alla produzione richiedono invece precisione, prove riproducibili, deduplicazione e una classificazione del rischio utile.

Un modello molto bravo a trovare possibilità può dunque rivelarsi inadatto a inviare segnalazioni senza revisione direttamente agli sviluppatori.

Perché le esecuzioni ripetute hanno cambiato il risultato

Il benchmark evidenzia che le prestazioni dei modelli sono stocastiche: una singola esecuzione segue un solo percorso investigativo, mentre più esecuzioni indipendenti aumentano la probabilità di esplorare ipotesi diverse.

È anche per questo che tre esecuzioni relativamente economiche di DeepSeek hanno potuto competere con, o superare, la copertura complessiva ottenuta da una singola passata di modelli frontier più costosi. L’unità di misura rilevante non è soltanto la chiamata al modello, ma l’intera indagine: modello, strumenti, prompt, numero di turni, memoria, ripetizioni e processo di validazione. 3

Come costruire una pipeline pratica

Un flusso di sicurezza ispirato a questi risultati dovrebbe separare la scoperta dal giudizio:

1. Esplorare in modo ampio. Eseguire uno o più agenti efficienti sul codebase per massimizzare la copertura dei potenziali problemi.
2. Tenere traccia dello stato dell’indagine. Registrare file esaminati, ipotesi testate e risultati già segnalati, così da evitare percorsi duplicati.
3. Deduplicare i risultati. Unire i report che descrivono la stessa falla prima di conteggiarli o inoltrarli.
4. Validare con un modello orientato alla precisione. Richiedere prove che il problema sia raggiungibile e abbia un impatto concreto.
5. Gestire separatamente i casi difficili. Affidare le catene di sfruttamento ambigue a un modello con capacità di ragionamento più robuste o a un’indagine specialistica.
6. Mantenere il controllo umano. Confermare i risultati più importanti prima di avviare correzioni, divulgazioni o azioni automatiche.

Questo instradamento basato sui ruoli è più solido del trattare modelli open-weight e proprietari come sostituti intercambiabili pronti all’uso.

I limiti del benchmark

I risultati di Aikido sono indicativi, ma non costituiscono una classifica universale dei modelli AI per la sicurezza. Il test ha considerato 32 vulnerabilità recentemente divulgate, tre tentativi per modello e uno specifico ambiente di esecuzione degli agenti. Le prestazioni possono cambiare in base al linguaggio di programmazione, alla struttura del repository, agli strumenti disponibili, al modello di minaccia, al budget di indagine e alla tolleranza dell’organizzazione per i falsi positivi. 3

La conclusione più difendibile è quindi più circoscritta, ma anche più utile: in questo contesto, i modelli open-weight — in particolare DeepSeek V4 Pro — possono rivaleggiare con i modelli proprietari di fascia alta o superarli quando sono affiancati da ripetizione e orchestrazione. Il prodotto di sicurezza vincente non è necessariamente quello con il punteggio più alto in una classifica.

È il sistema che combina scoperta ad ampia copertura, verifica affidabile e prove abbastanza solide da permettere agli ingegneri di intervenire.