Segurança como parte do ciclo de desenvolvimento

Em muitos projetos de software, testes de segurança aparecem apenas perto do lançamento. A abordagem da Microsoft tenta mudar isso, incorporando verificações de segurança em diferentes etapas do desenvolvimento.

As duas ferramentas têm papéis complementares:

• Clarity atua na fase de design, ajudando equipes a identificar riscos antes mesmo de escrever código.
• RAMPART entra na fase de testes, permitindo simular ataques e validar continuamente o comportamento do agente.

Juntas, elas criam um ciclo de melhoria contínua: identificar riscos, transformá‑los em testes e aprender com incidentes ou falhas.

RAMPART: testes adversariais contínuos para agentes de IA

O RAMPART (Risk Assessment and Measurement Platform for Agentic Red Teaming) é um framework criado para testar agentes de IA contra cenários normais e adversariais. Ele permite transformar situações de risco em testes automatizados que podem rodar continuamente durante o desenvolvimento.

Integração com pytest

Uma das características centrais do RAMPART é sua integração com pytest, um dos frameworks de testes mais populares do ecossistema Python.

Isso significa que engenheiros podem escrever testes de segurança do agente exatamente como escrevem testes unitários ou de integração. Esses testes podem rodar automaticamente em pipelines de CI/CD (integração e entrega contínuas), junto com o restante do código.

Na prática, isso reduz a barreira de adoção e faz com que testes de segurança façam parte do fluxo normal de desenvolvimento.

Simulando ataques e cenários de risco

Com o RAMPART, equipes podem criar testes que simulam interações perigosas que um agente poderia enfrentar em produção. Entre os exemplos mais comuns estão:

• ataques de prompt injection
• solicitações que tentam contornar políticas de segurança
• chamadas perigosas de ferramentas (como comandos de shell arriscados)
• tentativas de exfiltração de dados sensíveis

Cada cenário pode ser executado automaticamente para verificar se o agente recusa a ação ou responde de forma segura.

Transformando descobertas em testes de regressão

Outro objetivo do RAMPART é evitar que vulnerabilidades descobertas voltem a aparecer no futuro.

Quando uma equipe de segurança ou um time de red team identifica uma falha — por exemplo, um prompt injection que consegue enganar o agente — esse cenário pode ser transformado em um teste de regressão permanente. Assim, toda nova versão do sistema é automaticamente verificada contra aquela vulnerabilidade.

Lidando com o comportamento probabilístico da IA

Diferentemente de softwares tradicionais, agentes baseados em modelos de linguagem podem ter comportamento não determinístico. Um teste que passa uma vez não garante que o sistema sempre se comportará da mesma forma.

Por isso, o RAMPART executa cenários arriscados repetidamente ao longo de diferentes builds e versões. Esse monitoramento contínuo ajuda a detectar regressões de segurança ao longo do tempo.

Uso em pipelines de CI/CD

Quando integrado ao pipeline de desenvolvimento, o RAMPART permite bloquear mudanças potencialmente perigosas antes que elas cheguem à produção.

Por exemplo, as verificações podem ser executadas sempre que houver alterações em:

• prompts e instruções do agente
• modelos utilizados
• ferramentas conectadas ou APIs
• fontes de dados usadas em recuperação (RAG)
• políticas de segurança

Se um teste de segurança falhar, o sistema pode impedir a implantação da nova versão.

Clarity: pensar na segurança antes do código existir

Enquanto o RAMPART foca em testes, Clarity atua em uma fase anterior: o planejamento do agente.

A Microsoft descreve o Clarity como um “sounding board estruturado” — um espaço guiado para que equipes avaliem decisões de design antes mesmo de iniciar a implementação.

Ele ajuda times a responder perguntas fundamentais, como:

• quais tarefas o agente deve executar
• quais ações ele não deve realizar
• quais permissões ou ferramentas serão necessárias
• quais tipos de falhas ou abusos são plausíveis
• quais controles ou testes precisam existir antes do lançamento

Responder a essas perguntas cedo pode evitar erros de arquitetura que depois seriam caros ou difíceis de corrigir.

Clarity também ajuda após incidentes

O Clarity não serve apenas para planejamento inicial. Ele também pode ser usado após falhas ou incidentes de segurança.

Se um agente falhar em um teste do RAMPART — ou apresentar comportamento inesperado em produção — a equipe pode voltar ao Clarity para analisar o problema e revisar suposições de design.

Esse processo ajuda a identificar:

• riscos que não foram considerados
• controles de segurança ausentes
• novos cenários que devem virar testes

Esses aprendizados podem então ser transformados em novos testes de regressão no RAMPART, fortalecendo o sistema ao longo do tempo.

Por que isso importa para a IA corporativa

Agentes de IA empresariais costumam operar em ambientes complexos: acessam dados internos, executam ferramentas, consultam APIs e interagem com usuários.

Ataques como prompt injection ou uso indevido de ferramentas podem causar problemas reais — desde vazamento de informações até ações perigosas dentro de sistemas corporativos.

Com RAMPART e Clarity, a Microsoft tenta transformar segurança em uma disciplina contínua de engenharia, e não apenas uma etapa final de auditoria. A ideia é que equipes identifiquem riscos cedo, testem continuamente e convertam cada falha descoberta em um novo teste que torne o sistema mais robusto no futuro.

Segurança como parte do ciclo de desenvolvimento

Em muitos projetos de software, testes de segurança aparecem apenas perto do lançamento. A abordagem da Microsoft tenta mudar isso, incorporando verificações de segurança em diferentes etapas do desenvolvimento.

As duas ferramentas têm papéis complementares:

• Clarity atua na fase de design, ajudando equipes a identificar riscos antes mesmo de escrever código.
• RAMPART entra na fase de testes, permitindo simular ataques e validar continuamente o comportamento do agente.

Juntas, elas criam um ciclo de melhoria contínua: identificar riscos, transformá‑los em testes e aprender com incidentes ou falhas.

RAMPART: testes adversariais contínuos para agentes de IA

O RAMPART (Risk Assessment and Measurement Platform for Agentic Red Teaming) é um framework criado para testar agentes de IA contra cenários normais e adversariais. Ele permite transformar situações de risco em testes automatizados que podem rodar continuamente durante o desenvolvimento.

Integração com pytest

Uma das características centrais do RAMPART é sua integração com pytest, um dos frameworks de testes mais populares do ecossistema Python.

Isso significa que engenheiros podem escrever testes de segurança do agente exatamente como escrevem testes unitários ou de integração. Esses testes podem rodar automaticamente em pipelines de CI/CD (integração e entrega contínuas), junto com o restante do código.

Na prática, isso reduz a barreira de adoção e faz com que testes de segurança façam parte do fluxo normal de desenvolvimento.

Simulando ataques e cenários de risco

Com o RAMPART, equipes podem criar testes que simulam interações perigosas que um agente poderia enfrentar em produção. Entre os exemplos mais comuns estão:

• ataques de prompt injection
• solicitações que tentam contornar políticas de segurança
• chamadas perigosas de ferramentas (como comandos de shell arriscados)
• tentativas de exfiltração de dados sensíveis

Cada cenário pode ser executado automaticamente para verificar se o agente recusa a ação ou responde de forma segura.

Transformando descobertas em testes de regressão

Outro objetivo do RAMPART é evitar que vulnerabilidades descobertas voltem a aparecer no futuro.

Quando uma equipe de segurança ou um time de red team identifica uma falha — por exemplo, um prompt injection que consegue enganar o agente — esse cenário pode ser transformado em um teste de regressão permanente. Assim, toda nova versão do sistema é automaticamente verificada contra aquela vulnerabilidade.

Lidando com o comportamento probabilístico da IA

Diferentemente de softwares tradicionais, agentes baseados em modelos de linguagem podem ter comportamento não determinístico. Um teste que passa uma vez não garante que o sistema sempre se comportará da mesma forma.

Por isso, o RAMPART executa cenários arriscados repetidamente ao longo de diferentes builds e versões. Esse monitoramento contínuo ajuda a detectar regressões de segurança ao longo do tempo.

Uso em pipelines de CI/CD

Quando integrado ao pipeline de desenvolvimento, o RAMPART permite bloquear mudanças potencialmente perigosas antes que elas cheguem à produção.

Por exemplo, as verificações podem ser executadas sempre que houver alterações em:

• prompts e instruções do agente
• modelos utilizados
• ferramentas conectadas ou APIs
• fontes de dados usadas em recuperação (RAG)
• políticas de segurança

Se um teste de segurança falhar, o sistema pode impedir a implantação da nova versão.

Clarity: pensar na segurança antes do código existir

Enquanto o RAMPART foca em testes, Clarity atua em uma fase anterior: o planejamento do agente.

A Microsoft descreve o Clarity como um “sounding board estruturado” — um espaço guiado para que equipes avaliem decisões de design antes mesmo de iniciar a implementação.

Ele ajuda times a responder perguntas fundamentais, como:

• quais tarefas o agente deve executar
• quais ações ele não deve realizar
• quais permissões ou ferramentas serão necessárias
• quais tipos de falhas ou abusos são plausíveis
• quais controles ou testes precisam existir antes do lançamento

Responder a essas perguntas cedo pode evitar erros de arquitetura que depois seriam caros ou difíceis de corrigir.

Clarity também ajuda após incidentes

O Clarity não serve apenas para planejamento inicial. Ele também pode ser usado após falhas ou incidentes de segurança.

Se um agente falhar em um teste do RAMPART — ou apresentar comportamento inesperado em produção — a equipe pode voltar ao Clarity para analisar o problema e revisar suposições de design.

Esse processo ajuda a identificar:

• riscos que não foram considerados
• controles de segurança ausentes
• novos cenários que devem virar testes

Esses aprendizados podem então ser transformados em novos testes de regressão no RAMPART, fortalecendo o sistema ao longo do tempo.

Por que isso importa para a IA corporativa

Agentes de IA empresariais costumam operar em ambientes complexos: acessam dados internos, executam ferramentas, consultam APIs e interagem com usuários.

Ataques como prompt injection ou uso indevido de ferramentas podem causar problemas reais — desde vazamento de informações até ações perigosas dentro de sistemas corporativos.

Com RAMPART e Clarity, a Microsoft tenta transformar segurança em uma disciplina contínua de engenharia, e não apenas uma etapa final de auditoria. A ideia é que equipes identifiquem riscos cedo, testem continuamente e convertam cada falha descoberta em um novo teste que torne o sistema mais robusto no futuro.