DeepSeek V4 Pro en tête pour repérer les vulnérabilités : la vraie performance vient du système

Le benchmark publié en août 2026 par Aikido a confronté 10 modèles d’IA à 32 vulnérabilités récemment divulguées. Chaque modèle a été exécuté trois fois, dans un environnement sans accès à Internet et avec un budget d’investigation comparable. Au total, l’évaluation a mobilisé 11,7 milliards de jetons. 3

Le résultat le plus visible est la victoire de DeepSeek V4 Pro 0813, qui atteint 28 vulnérabilités sur 32 en cumulant ses trois passages. Mais la conclusion la plus intéressante est ailleurs : pour l’analyse de sécurité, la qualité du dispositif — répétitions, mémoire, outils, déduplication et validation — compte au moins autant que le choix du modèle.

DeepSeek Pro trouve le plus grand nombre de failles

En regroupant les résultats de ses trois exécutions, DeepSeek V4 Pro 0813 atteint un rappel cumulé de 87,5 %, soit 28 vulnérabilités sur 32, pour environ 295 dollars. Il s’agit du meilleur score de couverture obtenu dans ce test. 3

Ce chiffre doit toutefois être interprété comme un résultat de type pass@3 : il ne signifie pas qu’une seule sollicitation du modèle identifie systématiquement 28 vulnérabilités. Chaque exécution peut parcourir des fichiers différents, suivre un autre chemin dans le code ou formuler une hypothèse d’exploitation distincte.

En combinant ces investigations, le système profite donc de la diversité des recherches. En pratique, le benchmark encourage à lancer plusieurs analyses indépendantes plutôt qu’à considérer la première réponse d’un agent comme un audit de sécurité complet.

Des modèles aux profils très différents

DeepSeek V4 Pro 0813 : le meilleur explorateur

Avec 28 failles détectées sur 32 au terme de trois exécutions, DeepSeek Pro s’impose par l’ampleur de sa couverture, et non par une précision parfaite ou une régularité absolue.

Il paraît donc particulièrement adapté à la première phase d’un processus de sécurité : rechercher largement les problèmes potentiels dans une base de code. Ses résultats doivent ensuite être étayés par des preuves, regroupés pour éviter les doublons et réévalués avant de devenir des alertes destinées aux équipes de développement.

DeepSeek V4 Flash 0731 : multiplier les tentatives à moindre coût

Trois exécutions de la version Flash ont retrouvé 24 vulnérabilités sur 32, pour environ 108 dollars. Son rapport couverture-prix est particulièrement intéressant, ce qui en fait un candidat crédible pour des reconnaissances parallèles ou des relances fréquentes.

Flash n’est pas nécessairement le meilleur choix pour la revue finale. Sa force réside plutôt dans la possibilité de multiplier les tentatives d’investigation avec un budget limité, avant de soumettre les résultats combinés à une étape de vérification plus sélective. 3

Grok 4.6 : le champion de la régularité

Grok 4.6 se distingue par sa reproductibilité : 21 vulnérabilités ont été retrouvées lors de chacune de ses trois exécutions.

Cette stabilité peut être précieuse pour une surveillance récurrente, des rapports standardisés ou des processus où les équipes veulent limiter les écarts d’un scan à l’autre. Son avantage n’est cependant pas le même que celui de DeepSeek Pro : un modèle très constant peut être préférable pour le suivi opérationnel, même si un modèle plus exploratoire obtient un meilleur rappel cumulé.

Claude Opus 5 et GPT-5.6 Sol : des alternatives de premier plan

Claude Opus 5 atteint 26 vulnérabilités sur 32 en rappel cumulé, tandis que GPT-5.6 Sol en retrouve 25 sur 32. Les deux restent des options performantes, mais les résultats remettent en question l’idée selon laquelle le modèle propriétaire le plus coûteux serait automatiquement le meilleur outil pour rechercher des failles.

Le choix de ces modèles devrait donc dépendre de leur contribution au reste de la chaîne : qualité du raisonnement, clarté des rapports, comportement en revue ou capacité à confirmer des scénarios d’exploitation complexes. 3

Kimi K3 : un profil adapté à la vérification

Le résultat le plus marquant de Kimi K3 est sa précision cumulée de 92,3 %. La précision mesure la proportion de signalements acceptés parmi ceux qui sont soumis, et non le nombre total de vulnérabilités découvertes.

Cette distinction est essentielle. Un agent à fort rappel peut ratisser large tout en générant davantage de bruit. Un modèle très précis peut ensuite vérifier les signalements, préparer les rapports et réduire le nombre d’alertes transmises aux ingénieurs.

Kimi K3 semble ainsi plus intéressant pour le triage et la confirmation que pour la recherche initiale tous azimuts.

Qwen3.8-Max : quand la répétition devient un indice

Aikido a observé que Qwen3.8-Max revenait parfois sur le même CVE ou sur le même chemin de raisonnement. Cette répétition est inefficace lorsqu’elle consomme des tours sans élargir la couverture.

Elle peut néanmoins avoir une utilité : une seconde analyse peut révéler une condition oubliée, un autre chemin d’exécution ou un détail de validation manquant. La réponse ne consiste donc pas à interdire toute répétition, mais à mieux gérer l’état de l’enquête.

Un système bien conçu doit mémoriser les fichiers inspectés et les hypothèses testées, limiter les branches répétées et envoyer les cas non résolus vers une investigation réellement nouvelle plutôt que de relancer mécaniquement la même piste.

GLM-5.3 : un composant crédible pour les volumes élevés

Dans la comparaison mise à jour, GLM-5.3 passe de 24 à 25 vulnérabilités sur 32, tout en conservant un profil de coût inférieur à celui des modèles propriétaires de pointe évoqués dans le benchmark.

Il peut donc servir de travailleur à haut volume ou de composant d’un ensemble de modèles. Son intérêt apparaît surtout lorsque son coût réduit permet de lancer davantage d’investigations, et non lorsqu’il est utilisé comme un unique passage censé tout couvrir.

Rappel, précision et régularité ne mesurent pas la même chose

Un système de détection des vulnérabilités ne devrait pas être résumé par une seule place dans un classement. Quatre indicateurs répondent à des questions différentes :

• Rappel : combien de vulnérabilités connues le système parvient-il à retrouver ?
• Précision : quelle proportion des signalements est-elle finalement acceptée ?
• Régularité : les différentes exécutions retrouvent-elles les mêmes failles ?
• Efficacité économique : combien coûte chaque vulnérabilité validée ?

La phase de découverte privilégie généralement le rappel et la diversité des pistes. L’envoi d’alertes en production exige au contraire de la précision, des preuves reproductibles, une déduplication et une hiérarchisation du risque.

Un modèle excellent pour repérer des possibilités peut donc être un mauvais choix pour envoyer directement des alertes non vérifiées aux développeurs.

Pourquoi trois exécutions changent la lecture des résultats

Le benchmark met en évidence le caractère aléatoire des performances d’un agent. Une seule exécution ne parcourt qu’un chemin d’investigation parmi de nombreux autres. Plusieurs passages indépendants augmentent la probabilité d’examiner des hypothèses différentes.

C’est ce qui permet à trois exécutions relativement peu coûteuses de DeepSeek Pro de rivaliser avec, voire de dépasser, la couverture totale obtenue par une seule exécution de modèles propriétaires plus chers. L’unité pertinente n’est donc pas seulement l’appel au modèle, mais l’investigation complète : modèle, outils, consignes, nombre de tours, mémoire, relances et validation. 3

À quoi pourrait ressembler un système de sécurité pratique ?

Une architecture inspirée de ces résultats séparerait clairement la découverte du jugement :

1. Explorer largement. Déployer un ou plusieurs agents économiques sur la base de code afin de maximiser le nombre de pistes examinées.
2. Conserver l’état de l’enquête. Enregistrer les fichiers parcourus, les hypothèses testées et les problèmes déjà signalés pour éviter de gaspiller des tours.
3. Éliminer les doublons. Regrouper les rapports qui décrivent une même faille avant de les compter ou de les transmettre.
4. Valider avec un modèle précis. Exiger des éléments démontrant que la vulnérabilité est exploitable et réellement significative.
5. Réserver un modèle plus puissant aux cas difficiles. Utiliser un raisonnement approfondi pour les chaînes d’exploitation ambiguës ou les dossiers à fort impact.
6. Maintenir une supervision humaine. Confirmer les résultats importants avant toute correction, divulgation ou mesure automatisée.

Cette logique de routage est plus robuste que de considérer les modèles à poids ouverts et les modèles propriétaires comme de simples remplaçants interchangeables.

Un benchmark instructif, mais pas un classement universel

Les résultats d’Aikido sont utiles, mais ils ne constituent pas un palmarès définitif des modèles de cybersécurité. Le test portait sur 32 vulnérabilités récemment divulguées, trois tentatives par modèle et un harnais d’agent particulier. Les performances peuvent varier selon le langage de programmation, la structure du dépôt, l’accès aux outils, le modèle de menace, le budget d’investigation et la tolérance d’une organisation aux faux positifs. 3

La conclusion la plus solide est donc plus limitée — et plus utile : dans ce contexte, des modèles à poids ouverts, notamment DeepSeek V4 Pro, peuvent rivaliser avec les modèles propriétaires de pointe, voire les dépasser lorsque le système prévoit plusieurs tentatives et une orchestration rigoureuse.

Le meilleur produit de sécurité n’est pas forcément celui qui affiche le score le plus spectaculaire. C’est celui qui combine découverte large, validation fiable et preuves suffisamment claires pour permettre aux ingénieurs d’agir.