Pour Meerah Rajavel, la plus grande menace vient des modèles d’IA open weight

Le modèle le moins contrôlé peut devenir le plus dangereux

Pour Meerah Rajavel, directrice des systèmes d’information de Palo Alto Networks, la menace cyber la plus immédiate ne vient pas forcément des modèles d’IA « frontier », c’est-à-dire des systèmes les plus puissants et les plus étroitement contrôlés par des entreprises comme OpenAI ou Anthropic. Elle vient plutôt de modèles open weight bon marché, téléchargeables et seulement distancés de quelques mois par les meilleurs modèles du marché. 6

L’enjeu tient à la diffusion des paramètres du modèle — ses « poids ». Lorsqu’ils sont publics, le système peut être exécuté localement, modifié et déployé par un grand nombre d’acteurs. Le fournisseur d’origine, et parfois même l’entreprise qui l’utilise, dispose alors de beaucoup moins de moyens pour observer les usages, imposer des limites, installer un correctif ou couper l’accès.

Ce que la publication des poids change

Un service d’IA accessible via une API laisse généralement au fournisseur plusieurs leviers : journalisation des requêtes, détection des abus, limitation du nombre de demandes, application de règles, mises à jour des mécanismes de sécurité et suspension des comptes. Une copie exécutée sur un serveur interne ou un ordinateur local se situe en dehors de cette « zone de contrôle ».

Ses protections peuvent être modifiées ou supprimées. Le développeur ne peut pas nécessairement la corriger ou la retirer à distance, et son utilisation peut rester invisible pour les équipes de sécurité d’une entreprise. Le problème ne réside donc pas dans le fait que tous les utilisateurs de modèles open weight seraient malveillants, mais dans l’ampleur de la capacité désormais disponible et difficile à encadrer.

Des attaques moins coûteuses à automatiser

La baisse du prix de la location de GPU — les processeurs spécialisés utilisés pour faire fonctionner les modèles d’IA — et la possibilité de les exécuter localement réduisent les barrières financières et techniques. Des acteurs malveillants peuvent ainsi plus facilement détourner un modèle pour la reconnaissance de réseaux, la mise au point d’exploits, l’hameçonnage, l’adaptation de logiciels malveillants ou le ciblage automatisé.

Des travaux consacrés aux risques des grands modèles de langage open weight soulignent que leur disponibilité publique peut donner à davantage d’acteurs les moyens d’automatiser et de déployer des cyberattaques à grande échelle. 2 Le risque est donc surtout celui de la diffusion et du passage à l’échelle : des opérations qui demandaient auparavant des compétences ou des ressources importantes peuvent être accélérées et répétées à moindre coût.

Le danger des attaques en plusieurs échanges

La manipulation des modèles ne se limite pas à une requête ouvertement malveillante. Une évaluation menée par Cisco sur huit modèles open weight a montré que les attaques adversariales en plusieurs tours affichaient des taux de réussite deux à dix fois supérieurs à ceux des scénarios à requête unique. Les taux observés dans ces échanges successifs allaient de 25,86 % à 92,78 %. 3

Autrement dit, un modèle qui refuse une première demande dangereuse peut finir par produire une réponse interdite après une série de reformulations, de détours et de pressions conversationnelles. Cette faiblesse est particulièrement préoccupante lorsque le modèle est déployé sans supervision humaine ou intégré à des outils capables d’agir sur des systèmes externes.

Le modèle lui-même devient un maillon de la chaîne d’approvisionnement

L’auto-hébergement ne nécessite pas seulement de faire confiance au modèle téléchargé. Il faut également vérifier le fichier utilisé, son format de conversion, ses modèles de conversation, le serveur d’inférence et l’ensemble de ses dépendances.

La Cloud Security Alliance a documenté des risques liés aux modèles auto-hébergés dans lesquels du code exécutable ou des modèles de template malveillants peuvent se déclencher au moment du chargement du modèle. Ces mécanismes pourraient permettre le vol d’identifiants ou l’exfiltration de données. 12

En revanche, la formulation précise selon laquelle une même étude de la Cloud Security Alliance aurait identifié conjointement Llama, Mistral et Qwen n’a pas pu être vérifiée à partir d’une source primaire de la CSA. Cette affirmation doit donc être considérée comme insuffisamment étayée.

Une correction importante sur les chiffres de Palo Alto Networks

Les chiffres cités dans la question initiale doivent également être rectifiés. Le document primaire disponible de Palo Alto Networks indique que l’entreprise détecte jusqu’à 8,9 millions d’attaques inédites ou jamais observées auparavant par jour et bloque jusqu’à 30,9 milliards d’attaques par jour. 1

Il ne s’agit donc pas de 250 millions de nouveaux vecteurs et de 30 milliards d’attaques sur une année civile. Ces volumes quotidiens illustrent néanmoins le fond de l’alerte de Rajavel : les défenseurs évoluent déjà dans un environnement extrêmement rapide et changeant. La mise à disposition de modèles puissants, modifiables et exécutables localement pourrait encore raccourcir le cycle d’itération des attaquants.

Ce que cette alerte signifie pour les organisations

L’avertissement ne revient pas à dire que les modèles propriétaires de pointe sont inoffensifs. Ils peuvent eux aussi être vulnérables aux manipulations et être utilisés pour faciliter des attaques. La différence mise en avant par Rajavel concerne surtout le niveau de contrôle : un modèle fermé reste généralement rattaché à une infrastructure où le fournisseur peut surveiller, restreindre ou mettre à jour son service ; un modèle open weight peut être copié, adapté et exploité hors de cette infrastructure.

Pour les entreprises, le risque ne se limite donc plus à l’usage d’un outil d’IA officiellement approuvé. Il inclut aussi les modèles téléchargés par des équipes, exécutés sur des machines locales ou intégrés à des applications sans examen de sécurité préalable. La visibilité sur ces usages, la vérification des artefacts et des dépendances, ainsi que la protection des serveurs d’inférence deviennent des éléments centraux de la défense.