Pourquoi les benchmarks de sécurité des IA sont un trompe-l'œil : l'alerte de Cisco

Dans l'étude précédente sur les modèles open source, le taux de réussite des attaques multi-tours a grimpé jusqu'à 92,78 % contre Mistral Large-2, avec des performances 2 à 10 fois supérieures aux attaques simples sur l'ensemble des huit modèles.

Cinq familles de stratégies d'attaque

Cisco a identifié et testé cinq grandes familles de stratégies d'attaque multi-tours :

1. Jeu de rôle / Adoption de personnage – Le pirate endosse un rôle pour orienter progressivement la conversation vers un contenu interdit.
2. Ambiguïté contextuelle / Désorientation – L'intention malveillante est dissimulée dans un contexte anodin ou ambigu au fil des échanges.
3. Recadrage du refus / Redirection – Le pirate reformule le refus du modèle en une nouvelle requête qui s'approche petit à petit de la limite.
4. Décomposition et réassemblage de l'information – Une requête nuisible est découpée en petits morceaux sur plusieurs échanges, puis reconstituée par le modèle.
5. Effet crescendo / Escalade progressive – Les requêtes commencent de manière inoffensive pour monter en puissance et user les barrières de sécurité.

L'écart entre le modèle le plus et le moins exposé varie considérablement selon ces stratégies, ce qui prouve que la vulnérabilité n'est pas uniforme.

Recommandations de Cisco pour déployer des LLM en toute sécurité

• Ne plus se fier à l'ASR en requête unique. Les benchmarks classiques classent mal les modèles et masquent les risques extrêmes. Les évaluations doivent inclure des tests d'attaque adaptatifs multi-tours pour refléter le comportement réel d'un adversaire.
• Adopter l'évaluation multi-tours comme standard. Avant tout achat ou déploiement, les entreprises et les régulateurs doivent exiger une réponse à la question : « Comment ce modèle résiste-t-il aux attaques adaptatives multi-tours ? »
• Déployer des garde-fous contextuels et une surveillance en temps réel. La sécurité statique du modèle ne suffit pas. Il faut détecter en direct les schémas de conversation suspects et les tests de limites.
• Mener régulièrement des exercices de « red-teaming » simulant spécifiquement des attaques longues et itératives, et non de simples tentatives de jailbreak en une seule requête.
• Appliquer l'entraînement contradictoire (adversarial training) pour renforcer la robustesse, en se concentrant sur le maintien de la sécurité tout au long d'un échange, pas seulement à la première requête.
• Utiliser des défenses superposées : Aucune parade unique n'est suffisante. Il faut combiner l'alignement du modèle, le filtrage des entrées/sorties, la surveillance comportementale et une supervision humaine.
• Comprendre la philosophie d'alignement du laboratoire. Les modèles issus de laboratoires qui mettent en avant la sécurité (ex. : la famille Gemma de Google) montrent des écarts plus faibles entre les tests simples et multi-tours. À l'inverse, les modèles axés sur la performance (ex. : Llama de Meta, Grok de xAI) présentent des écarts plus marqués. Cisco conseille d'en tenir compte dans le choix du modèle.
• Utiliser des outils d'évaluation structurés, comme la plateforme de validation de l'IA de Cisco (intégrée au LLM Security Leaderboard), pour générer des scores de risque multi-tours comparables et reproductibles avant tout déploiement.