Comment Giskard veut sécuriser les agents IA utilisés par les entreprises

Giskard Guards : une couche de sécurité au niveau de l’exécution

La solution proposée par Giskard se place entre l’agent IA et les systèmes avec lesquels il interagit.

Plutôt que d’inspecter uniquement l’entrée ou la sortie du modèle, la plateforme analyse l’ensemble du contexte d’exécution : prompts, étapes intermédiaires, appels d’outils et réponses finales. L’objectif est d’identifier les comportements risqués avant qu’ils n’atteignent les systèmes de production.

Plusieurs éléments structurent cette approche :

Des garde‑fous contextuels
Le système ne se limite pas à détecter des mots interdits. Il analyse l’intention et le contexte de la requête afin de comprendre comment une interaction s’insère dans la tâche de l’agent et les outils auxquels il a accès.

Une détection multi‑couches
La plateforme combine plusieurs détecteurs pour identifier différents types de risques : jailbreaks, injections de prompt, exposition de données sensibles ou violation de politiques internes. Selon le cas, l’action peut être autorisée, surveillée ou bloquée.

La surveillance de la chaîne d’exécution
Les attaques peuvent apparaître à n’importe quelle étape du processus. En inspectant toute la chaîne d’actions de l’agent, Guards tente d’identifier des problèmes tels que des instructions malveillantes intégrées dans des documents récupérés ou des appels d’outils dangereux.

La gouvernance « policy‑as‑code »

Un concept central de la plateforme est le policy‑as‑code : transformer les règles internes d’une organisation en contrôles techniques exécutables.

Dans de nombreuses entreprises, les règles de gouvernance existent déjà sous forme de politiques de conformité, de règles de confidentialité ou de procédures internes. Le défi consiste à les appliquer automatiquement lorsque l’IA agit sur des données ou des systèmes.

Les travaux de recherche sur la gouvernance des agents montrent qu’il est possible de traduire ces politiques en garde‑fous techniques capables de surveiller les actions d’un agent en temps réel.

Dans la pratique, cela permet par exemple de définir des règles telles que :

• bloquer la divulgation de données médicales ou financières
• imposer une validation humaine pour certaines décisions
• limiter les outils qu’un agent peut utiliser
• conserver des journaux d’activité pour l’audit et la conformité

Comme ces règles sont versionnées et programmables, elles peuvent évoluer avec les systèmes d’IA déployés dans l’entreprise.

Une approche alignée avec l’AI Act européen

L’initiative s’inscrit aussi dans le contexte réglementaire européen. Le règlement européen sur l’intelligence artificielle (AI Act) introduit un cadre basé sur le niveau de risque des systèmes d’IA.

Les systèmes considérés comme « à haut risque » — par exemple dans la santé, l’emploi ou les infrastructures critiques — doivent respecter des exigences strictes concernant la gestion des risques, la documentation, la transparence, la robustesse et la supervision humaine.

Des outils comme Giskard Guards cherchent à faciliter cette conformité en :

• surveillant le comportement des systèmes et en conservant des journaux
• appliquant des règles de gouvernance en temps réel
• permettant l’audit et la supervision humaine des décisions automatisées

Ces mécanismes peuvent contribuer à répondre aux obligations du règlement, notamment en matière de robustesse technique et de contrôle humain.

Des secteurs particulièrement concernés

Les secteurs les plus intéressés par ce type de plateforme sont ceux soumis à une réglementation stricte.

Dans la banque et l’assurance, les agents IA peuvent assister dans l’analyse de dossiers, la détection de fraude, le traitement des sinistres ou le support client. Ces processus impliquent des données financières sensibles et des obligations réglementaires importantes.

Dans le secteur de la santé, les enjeux sont encore plus élevés. Les agents peuvent résumer des dossiers médicaux, accéder à des informations patients ou aider à la documentation clinique. Les garde‑fous doivent alors garantir la confidentialité des données et éviter que des recommandations automatisées ne contournent la supervision humaine.

Pour ces organisations, la sécurité doit souvent être intégrée au niveau de l’infrastructure, plutôt que de dépendre uniquement de consignes dans les prompts du modèle.

Vers une IA « souveraine » en Europe

Giskard présente également Guards comme une composante de l’approche européenne dite d’IA souveraine.

La plateforme peut être déployée sur site ou dans des environnements contrôlés, permettant aux entreprises de conserver leurs données sensibles, leurs journaux et leurs mécanismes de sécurité au sein de leur propre infrastructure.

Dans un contexte où les réglementations comme le RGPD et l’AI Act accordent une importance particulière à la gouvernance des données, cette capacité de déploiement local peut devenir un facteur décisif pour certaines entreprises.

Un changement de paradigme pour la sécurité de l’IA

L’essor des agents IA transforme la manière dont les systèmes doivent être sécurisés. Les garde‑fous qui se contentent d’analyser les prompts ou les réponses ne suffisent plus pour des systèmes capables de planifier, d’accéder à des données et d’utiliser des outils.

L’approche de Giskard reflète une tendance plus large : surveiller le comportement complet des agents IA et appliquer des règles de gouvernance en temps réel.

Reste à voir si ces plateformes pourront prévenir de manière fiable les défaillances complexes dans des déploiements à grande échelle. Mais à mesure que les agents s’intègrent dans des processus critiques, ce type de couche de sécurité devient de plus en plus indispensable.