En une semaine, l’alliance de Nvidia dévoile déjà un cadre pour la sécurité de l’IA

L’Open Secure AI Alliance (OSAA), une coalition industrielle menée par Nvidia, a présenté sa première initiative concrète lors de la conférence de cybersécurité Black Hat : le Shared AI Findings Exchange, ou SAFE. Le groupe de travail a publié un projet de lignes directrices soumis aux commentaires du public, tandis que la Linux Foundation en supervise le processus.

Le calendrier est inhabituellement serré : l’OSAA n’existait que depuis une semaine. Mais SAFE reste pour l’instant un cadre en cours d’élaboration, et non un système opérationnel de partage d’incidents ayant déjà fait ses preuves.

SAFE veut éviter que chaque entreprise apprenne seule de ses erreurs

La sécurité de l’IA souffre d’un problème récurrent : une organisation peut découvrir une attaque, une défaillance ou un quasi-incident sans que les autres acteurs exposés au même risque puissent tirer parti de cette expérience.

Le projet SAFE s’articule autour de quatre pratiques principales :

• recueillir et analyser de manière confidentielle les incidents et quasi-incidents de sécurité liés à l’IA ;
• prévenir les organisations concernées lorsqu’un événement présente un intérêt pour elles ;
• repérer les défaillances récurrentes des contrôles et des pratiques de sécurité ;
• produire des enseignements fondés sur des éléments vérifiables, sans désigner de responsable, afin qu’ils puissent être réutilisés dans l’ensemble de l’écosystème.

L’objectif est de créer un renseignement défensif partagé. Une injection de prompt, une fuite de données ou le comportement imprévu d’un agent ne seraient plus nécessairement traités comme des incidents isolés : les participants disposeraient d’une méthode pour convertir chaque retour d’expérience en protections plus larges.

Une architecture de sécurité plutôt qu’un produit unique

SAFE ne constitue qu’un volet de la stratégie de l’OSAA. L’alliance rassemble également des technologies open source et inspectables couvrant plusieurs niveaux de la sécurité des agents d’IA.

Les contributions citées comprennent notamment :

• Nvidia : des familles de modèles à poids ouverts, les contrôles d’exécution OpenShell pour limiter ce qu’un agent peut consulter ou faire, des outils de test et d’audit, ainsi que Garak, un scanner open source destiné à détecter notamment les risques de fuite de données, d’injection de prompt et de contournement des garde-fous (« jailbreak »).
• Okta : des implémentations de référence pour l’identité et les autorisations des agents, fondées sur le protocole Cross App Access, afin de mieux encadrer leur connexion aux applications d’entreprise.
• Red Hat : asago, un projet open source de gouvernance visant à relier les politiques d’une organisation aux permissions accordées lors de l’exécution, avec une traçabilité vérifiable entre la règle et le contrôle appliqué.
• Amazon : Strands Agents, une boîte à outils open source pour créer et évaluer des agents, ainsi que Cedar, un langage dédié à l’autorisation.
• D’autres membres : des projets centrés sur l’identité, comme Agent Guard et Agent Watch, qui illustrent une idée importante : sécuriser un agent ne consiste pas uniquement à analyser le modèle.

Pris ensemble, ces projets couvrent l’identité, les permissions, les environnements d’agents, le comportement à l’exécution, l’évaluation, les données, la gouvernance et la résilience. À terme, ils pourraient fournir aux entreprises un ensemble commun de contrôles pour limiter et surveiller les agents, y compris lorsqu’ils se comportent de façon malveillante ou sortent du périmètre qui leur était assigné. Pour l’instant, il s’agit toutefois d’une possibilité, pas d’un résultat établi.

Plus de 120 organisations, mais des absences remarquées

Selon les informations disponibles, l’OSAA comptait plus de 120 organisations dès sa première semaine. Parmi les participants importants cités figurent Nvidia, Adobe, BlackRock, Cisco, CrowdStrike, Hugging Face, Intel, Microsoft, Red Hat et Visa. Amazon est présenté comme un membre plus récent.

L’alliance s’inscrit dans le prolongement d’une lettre ouverte publiée le 24 juillet, qui demandait aux responsables politiques américains d’éviter des restrictions générales ou prématurées sur les modèles d’IA à poids ouverts. Le texte, initialement soutenu par 25 entreprises, dont Nvidia, Microsoft, Meta, IBM, Dell, Palantir et Hugging Face, soutenait que limiter les modèles téléchargeables pourrait nuire à la concurrence et pousser davantage d’utilisateurs vers des systèmes d’IA chinois, alors que Washington réfléchissait à sa réponse en matière de sécurité nationale.

Au moment des articles consacrés à Black Hat, Anthropic, OpenAI et Google étaient présentés comme absents de l’OSAA. La situation est plus nuancée concernant la lettre politique : les sources divergent sur la liste ultérieure des signataires. Certains articles indiquent qu’OpenAI et Google l’ont rejointe par la suite, tandis que d’autres les décrivent comme absents du groupe initial.

Les éléments disponibles n’expliquent pas pourquoi ces entreprises n’avaient pas rejoint l’OSAA. Il serait donc hasardeux d’attribuer une motivation précise à leur absence.

Pourquoi cette rapidité compte

L’argument central de l’OSAA est que l’ouverture et la sécurité ne sont pas forcément contradictoires. Des modèles, des outils, des évaluations et des retours d’incidents accessibles à davantage de défenseurs peuvent faciliter l’inspection des défaillances, la reproduction des vulnérabilités et la diffusion des correctifs. SAFE cherche à concilier cette transparence avec la confidentialité nécessaire au recueil et à l’analyse des incidents, tout en diffusant plus largement des enseignements généralisés.

La composition intersectorielle de l’alliance pourrait également favoriser des interfaces et des pratiques communes entre concepteurs de modèles, fournisseurs de cloud et d’infrastructures, spécialistes de l’identité, entreprises de cybersécurité et utilisateurs professionnels. Si ces travaux aboutissent, les systèmes d’IA ouverts pourraient devenir plus simples à évaluer, à contrôler et à déployer dans un cadre maîtrisé.

Cette perspective peut nourrir l’argument politique selon lequel l’IA à poids ouverts constitue un enjeu de compétitivité pour les États-Unis, notamment au moment où les responsables américains débattent de la réaction à adopter face aux laboratoires chinois. Mais l’OSAA n’a pas encore démontré qu’elle avait amélioré la compétitivité américaine ou réduit le risque systémique lié à l’IA.

Son résultat mesurable est, à ce stade, plus limité mais concret : une coalition de plus de 120 organisations est passée de la défense politique de l’IA ouverte à un projet public de coordination du signalement des incidents de sécurité, tandis que ses membres mettent en commun des outils susceptibles de former progressivement une couche de défense plus interopérable.