Giskard Guards: como uma startup francesa quer tornar os agentes de IA seguros para empresas

Agentes de IA estão deixando de ser apenas chatbots experimentais e passando a executar tarefas reais dentro das empresas. Eles recuperam documentos, consultam bases de dados, chamam APIs e executam processos completos em sistemas corporativos.

Esse avanço trouxe um novo tipo de risco: não apenas conteúdo inadequado, mas comportamentos perigosos da própria IA — como executar ações incorretas, seguir instruções maliciosas ou expor dados sensíveis.

A startup francesa Giskard tenta resolver esse problema com o Giskard Guards, uma plataforma criada para atuar como uma camada de segurança e governança em tempo real para agentes de IA usados por empresas.

O novo problema de segurança dos agentes de IA

As primeiras soluções de segurança para IA foram pensadas para chatbots simples. O objetivo era filtrar prompts de usuários ou moderar o texto gerado pelo modelo.

Mas agentes modernos fazem muito mais do que gerar respostas. Eles podem:

• acessar documentos externos ou dados internos da empresa
• executar chamadas de API e automações
• realizar raciocínio em múltiplas etapas
• interagir com sistemas operacionais ou financeiros

Com esse tipo de autonomia, o principal risco deixa de ser apenas “conteúdo problemático” e passa a ser “comportamento problemático”.

Um agente pode, por exemplo:

• alucinar fatos e tomar decisões baseadas neles
• seguir instruções maliciosas escondidas em documentos recuperados
• expor dados confidenciais
• executar ações erradas em ferramentas conectadas

Esses problemas podem afetar processos internos ou expor informações sensíveis quando a IA está integrada a fluxos de produção.

Outro desafio é que filtros tradicionais muitas vezes não funcionam bem nesse contexto. Eles normalmente analisam apenas o prompt ou a resposta final, sem entender o contexto operacional da tarefa.

Isso pode gerar dois problemas: bloquear solicitações legítimas ou deixar passar ataques complexos — como prompt injection distribuído ao longo de várias etapas do fluxo do agente.

Giskard Guards: uma camada de segurança em tempo real

O Giskard Guards foi projetado para funcionar como uma camada intermediária entre os agentes de IA e os sistemas que eles utilizam.

Em vez de analisar apenas entradas e saídas, a plataforma observa todo o contexto da execução do agente, incluindo:

• prompts
• etapas intermediárias
• chamadas de ferramentas
• respostas geradas

A ideia é detectar comportamentos perigosos antes que eles cheguem aos sistemas corporativos.

Entre os elementos principais da abordagem estão:

Guardrails com consciência de contexto
O sistema tenta interpretar a intenção e o contexto das interações, não apenas identificar palavras-chave. Isso permite avaliar se uma ação faz sentido dentro da tarefa que o agente deveria executar.

Múltiplos detectores de risco
A plataforma usa diferentes detectores ao mesmo tempo — por exemplo, para identificar jailbreaks, prompt injection, exposição de dados sensíveis ou violações de políticas internas. Dependendo do caso, a ação pode ser liberada, monitorada ou bloqueada.

Monitoramento da cadeia completa de execução
Ataques podem surgir em etapas intermediárias, como instruções maliciosas escondidas em documentos recuperados ou uso indevido de ferramentas. Por isso, o sistema analisa toda a cadeia de ações do agente.

Governança com “policy‑as‑code”

Um dos conceitos centrais da plataforma é o chamado policy‑as‑code.

Empresas já possuem políticas de governança — regras de privacidade, segurança, compliance ou auditoria. O desafio é fazer essas regras serem aplicadas automaticamente quando uma IA interage com dados ou sistemas.

O policy‑as‑code transforma essas regras em controles programáveis aplicados durante a execução da IA.

Pesquisas recentes mostram que políticas escritas em linguagem natural podem ser convertidas em guardrails executáveis que monitoram agentes de IA em tempo real.

Na prática, isso permite que uma organização defina regras como:

• impedir a divulgação de dados médicos ou financeiros
• exigir revisão humana antes de decisões de alto impacto
• limitar quais ferramentas um agente pode usar
• registrar ações para auditoria e compliance

Como essas regras são versionadas como código, elas podem evoluir junto com os sistemas de IA da empresa.

Conexão com o EU AI Act

Outro fator importante é a regulação.

O EU AI Act, legislação europeia para inteligência artificial, adota uma abordagem baseada em risco. Sistemas classificados como alto risco — por exemplo, aqueles que impactam saúde, segurança ou direitos fundamentais — precisam cumprir requisitos rígidos de governança, documentação e supervisão humana.

Entre esses requisitos estão:

• gestão de risco
• transparência
• registro de atividades
• robustez técnica
• supervisão humana

Ferramentas como o Giskard Guards tentam ajudar empresas a cumprir essas exigências ao registrar atividades, aplicar políticas e permitir auditoria de decisões automatizadas.

Por que setores regulados se interessam mais

A demanda por esse tipo de governança é particularmente alta em setores altamente regulados.

Bancos e seguradoras, por exemplo, podem usar agentes de IA para análise de crédito, detecção de fraude, processamento de sinistros ou atendimento ao cliente. Esses processos envolvem dados financeiros sensíveis e regras regulatórias rígidas.

Na área da saúde, os riscos são ainda maiores. Agentes podem resumir prontuários médicos, recuperar dados de pacientes ou auxiliar em triagem clínica — o que exige proteção rigorosa de dados e supervisão humana adequada.

Por isso, muitas empresas preferem controles de segurança implementados na infraestrutura do sistema, e não apenas orientações em prompts ou filtros de conteúdo.

A estratégia europeia de “IA soberana”

A Giskard também posiciona sua plataforma dentro do movimento europeu por infraestrutura de IA soberana.

O Guards pode ser implantado em ambientes controlados ou on‑premise, permitindo que organizações mantenham dados sensíveis, logs e políticas de segurança dentro de sua própria infraestrutura.

Para empresas que operam sob regulações como o GDPR e o EU AI Act, esse controle sobre onde os dados são processados pode ser decisivo para adotar agentes de IA em escala.

Uma mudança maior na segurança de IA

O surgimento de agentes autônomos está mudando a forma como sistemas de segurança precisam funcionar.

Filtrar apenas prompts ou respostas não é suficiente quando a IA consegue planejar tarefas, acessar dados e interagir com ferramentas externas.

A proposta por trás do Giskard Guards reflete uma mudança mais ampla na indústria: monitorar o comportamento da IA ao longo de todo o fluxo de trabalho e aplicar regras de governança em tempo real.

Ainda não está claro até que ponto plataformas desse tipo conseguirão evitar falhas complexas em larga escala. Mas a ideia de segurança baseada em contexto e políticas executáveis tende a se tornar uma peça importante à medida que agentes de IA passam a operar dentro de sistemas empresariais críticos.