Les garde-fous de 21 modèles d’IA open weight peuvent être contournés, selon TamperBench

Le constat central de TamperBench est préoccupant : aucun des 21 grands modèles de langage open weight évalués ne disposait de protections de sécurité capables de résister de manière fiable aux attaques de falsification testées. L’échantillon couvre des modèles de 600 millions à 8 milliards de paramètres, ainsi que des variantes dotées de défenses supplémentaires. Pour chaque modèle, au moins une attaque a permis d’augmenter la probabilité de réponses dangereuses tout en préservant une grande partie de ses capacités générales. 256

L’enjeu tient à la nature même des modèles open weight : une fois leurs poids publiés, ils peuvent être copiés, ajustés et redistribués. Une couche de sécurité qui fonctionne lors de l’évaluation initiale du développeur ne constitue donc pas nécessairement un contrôle durable lorsque des tiers peuvent modifier directement le modèle.

Ce que TamperBench a mesuré

TamperBench ne cherche pas seulement à savoir si un modèle résiste aux jailbreaks classiques — des requêtes conçues pour contourner ses refus. Le benchmark mesure sa résistance à la falsification (tamper resistance), c’est-à-dire sa capacité à conserver son comportement de sécurité après une modification plausible.

Le protocole combine des attaques par fine-tuning dans l’espace des poids et des attaques visant les représentations latentes du modèle. Il évalue à la fois la sécurité et les capacités conservées, avec une recherche systématique des hyperparamètres pour chaque couple modèle-attaque, plutôt qu’une unique configuration expérimentale. 2

Les neuf régimes de falsification étudiés comprennent notamment :

• un fine-tuning en apparence bénin ;
• un fine-tuning explicitement orienté vers des contenus dangereux ;
• un réglage clandestin de type empoisonnement ou jailbreak ;
• un fine-tuning multilingue ;
• des attaques visant les embeddings ou d’autres représentations latentes. 2

Le critère important n’était pas simplement de rendre un modèle dangereux. Les chercheurs recherchaient des attaques capables d’augmenter les réponses nuisibles tout en limitant à 10 % au maximum la baisse de précision sur MMLU-Pro, par rapport au modèle non attaqué. MMLU-Pro est un benchmark de compréhension et de raisonnement sur plusieurs disciplines.

Le jailbreak-tuning, l’attaque la plus efficace

Les résultats les plus sévères provenaient généralement des attaques de jailbreak-tuning. L’étude mentionne notamment les variantes à objectifs concurrents, à porte dérobée (backdoor) et à modulation de style. Elles sont particulièrement révélatrices, car elles peuvent s’appuyer principalement sur des données d’entraînement bénignes, auxquelles est ajoutée une composante dangereuse limitée. 26

Il ne s’agit donc pas nécessairement de réentraîner brutalement un modèle pour produire des contenus interdits, mais plutôt de modifier de façon ciblée son comportement de sécurité tout en conservant son utilité générale.

La conclusion plus large de l’étude est que sécurité et capacités peuvent se dissocier de manière défavorable. Une attaque peut affaiblir les refus du modèle sans détruire proportionnellement ses performances de raisonnement. Un modèle peut ainsi continuer à obtenir de bons résultats sur des benchmarks conventionnels tout en devenant nettement plus risqué à déployer.

Llama, Qwen3 et Mistral : ce que l’étude permet — ou non — d’affirmer

TamperBench a évalué 21 modèles open weight de 0,6 à 8 milliards de paramètres, issus notamment des familles Llama, Qwen3 et Mistral. Les éléments disponibles étayent le résultat global du benchmark : chaque modèle testé était vulnérable à au moins une des attaques étudiées. 56

En revanche, les sources fournies ne donnent pas les hausses exactes de nocivité pour Llama-3-8B-Instruct ou Qwen3-8B-Instruct lorsque la dégradation de MMLU-Pro reste inférieure ou égale à 10 %. Il ne serait donc pas rigoureux d’inventer ou de déduire un pourcentage précis à partir du résultat général.

La conclusion défendable est qualitative : les attaques pouvaient augmenter sensiblement les comportements nuisibles tout en préservant une grande partie des capacités de raisonnement. Les données disponibles ne permettent pas d’établir une hausse chiffrée propre à l’un ou l’autre de ces deux modèles.

L’étude indique également que les variantes de base et les variantes post-entraînement ne suivent pas une tendance unique en matière de résistance. Cette résistance relative peut différer selon la famille de modèles, avec des évolutions opposées rapportées pour certaines variantes de Llama 3 et de Qwen3. 6

Les défenses supplémentaires ont-elles réglé le problème ?

Non. Les cinq modèles renforcés par des mécanismes de défense, notamment les variantes ReFAT et Circuit Breaking, se sont eux aussi révélés vulnérables à la suite d’attaques du benchmark. Ces protections ont amélioré la résistance dans certains contextes, mais elles n’ont pas empêché de façon fiable le retrait des garde-fous face à l’ensemble des menaces évaluées. 25

Les résultats identifient toutefois Triplet comme l’une des défenses les plus robustes et les plus aptes à préserver les capacités dans les comparaisons réalisées. C’est un signal encourageant pour la recherche, pas une garantie opérationnelle : le résultat principal demeure qu’aucune défense testée n’a éliminé le problème de falsification sur toute la suite d’attaques. 6

Pourquoi le risque est particulier aux modèles open weight

Ces résultats ne signifient pas que les modèles open weight sont dépourvus d’intérêt. Leur ouverture peut faciliter la recherche, l’audit et la responsabilisation des éditeurs. La leçon est plus précise : réussir une évaluation classique d’alignement ou de sécurité avant la publication ne prouve pas qu’un modèle restera sûr après la modification de ses poids. 5

Les modèles commerciaux accessibles par API sont confrontés à des questions apparentées concernant le fine-tuning et la sécurité après personnalisation. Mais leurs fournisseurs conservent généralement davantage de contrôle sur la chaîne d’entraînement et l’environnement de déploiement. Ils peuvent donc appliquer des protections lors de l’ajustement ou après celui-ci, ce qui est beaucoup plus difficile lorsque les poids ont été publiés et redistribués librement. 25

Un risque de mésusage à grande échelle

Le risque mis en évidence par TamperBench ne se limite pas à une personne découvrant une requête qui provoque ponctuellement un échec de refus. Si les capacités utiles sont préservées après la falsification, un modèle modifié pourrait être déployé de manière répétée pour des usages nuisibles, comme la désinformation à grande échelle, l’hameçonnage et les escroqueries, ou encore la fourniture d’assistance technique dangereuse. Les chercheurs présentent ces scénarios comme des implications possibles du retrait de protections sans perte majeure de capacités, et non comme des usages mesurés directement par le benchmark. 5

Pour les organisations qui sélectionnent un modèle, il est donc essentiel de distinguer :

1. les tests de sécurité classiques, qui mesurent le comportement du modèle tel qu’il est fourni ;
2. les tests de résistance à la falsification, qui mesurent l’évolution de ce comportement après une modification plausible.

Les chercheurs appellent à développer des méthodes de résistance plus solides, à généraliser des évaluations adversariales standardisées comme TamperBench avant toute mise à disposition, et à fonder davantage les décisions d’évaluation et d’achat sur des preuves. Ils citent notamment les secteurs à fort impact — santé, détection de la fraude, éducation et services publics — où le comportement d’un modèle après sa publication peut compter autant que son bilan de sécurité initial. 25

À retenir

TamperBench ne montre pas que tous les modèles open weight seront forcément utilisés à mauvais escient. L’étude montre qu’aucun des 21 modèles testés ne fournissait une garantie fiable de sécurité dès lors qu’un attaquant pouvait modifier ses poids.

Le jailbreak-tuning clandestin était généralement la catégorie d’attaque la plus efficace. Les défenses ajoutées ont amélioré la résistance dans certains cas, mais n’ont pas comblé l’écart sur l’ensemble des scénarios. Enfin, les éléments disponibles ne permettent pas de donner un pourcentage précis d’augmentation de la nocivité pour Llama-3-8B-Instruct ou Qwen3-8B-Instruct.

Pour les modèles open weight, l’évaluation de sécurité ne devrait donc pas mesurer uniquement ce que le modèle sait faire au moment de sa sortie, mais aussi la part de ses garde-fous qui survit à sa modification.