Cómo Microsoft quiere hacer más seguros a los agentes de IA con RAMPART y Clarity

RAMPART: pruebas adversariales continuas para agentes de IA

RAMPART (Risk Assessment and Measurement Platform for Agentic Red Teaming) es un framework de pruebas diseñado específicamente para sistemas basados en agentes. Permite convertir escenarios normales y ataques simulados en tests automatizados.

Integración con pytest

Una característica clave es que RAMPART funciona de forma nativa con pytest, uno de los frameworks de pruebas más utilizados en Python.

Esto permite a los ingenieros escribir pruebas de seguridad para agentes exactamente igual que escriben pruebas unitarias normales, y ejecutarlas dentro de pipelines de CI/CD (integración continua).

El resultado: las comprobaciones de seguridad pasan a formar parte del flujo habitual de desarrollo.

Simulación de ataques y comportamientos riesgosos

RAMPART permite modelar distintos tipos de ataques o situaciones peligrosas que un agente podría enfrentar en producción, por ejemplo:

• intentos de prompt injection
• solicitudes diseñadas para saltarse políticas de seguridad
• llamadas a herramientas peligrosas (como comandos de shell)
• intentos de exfiltrar datos sensibles

Cada escenario puede definirse como un test que comprueba si el agente responde de forma segura o rechaza la acción.

Convertir hallazgos de red‑team en pruebas permanentes

Una de las ideas centrales de RAMPART es que los descubrimientos de seguridad no queden como informes aislados.

Si un equipo de seguridad descubre una vulnerabilidad —por ejemplo un ataque de prompt injection que funciona— ese escenario puede añadirse como prueba de regresión. Así, futuras versiones del sistema se comprobarán automáticamente contra ese mismo ataque.

Manejo del comportamiento probabilístico de la IA

A diferencia del software tradicional, los modelos de IA pueden comportarse de manera no determinista: el mismo input no siempre produce exactamente la misma respuesta.

Por eso, una sola ejecución de una prueba no garantiza seguridad total. RAMPART aborda este problema ejecutando repetidamente escenarios de riesgo a lo largo de distintas builds para detectar cambios peligrosos en el comportamiento con el tiempo.

Integración con pipelines empresariales

Al ejecutarse dentro de CI/CD, las pruebas de RAMPART pueden bloquear cambios que introduzcan nuevos riesgos. Por ejemplo, modificaciones en:

• prompts o instrucciones
• modelos utilizados
• herramientas o APIs conectadas
• fuentes de recuperación de datos
• políticas de seguridad

Si una actualización hace que el agente falle una prueba de seguridad, el despliegue puede detenerse automáticamente antes de llegar a producción.

Clarity: pensar la seguridad antes de escribir código

Mientras RAMPART se centra en las pruebas, Clarity aborda una fase anterior: el diseño del sistema.

Microsoft describe Clarity como una “caja de resonancia estructurada” para decisiones de diseño de agentes. Su objetivo es guiar a los equipos para que analicen riesgos desde el principio.

Entre las preguntas que ayuda a responder:

• ¿Qué tareas debería realizar el agente y cuáles debe rechazar?
• ¿Qué herramientas o permisos necesita realmente?
• ¿Qué tipos de fallos o abusos son plausibles?
• ¿Qué controles o pruebas deben existir antes del despliegue?

Este proceso ayuda a detectar suposiciones peligrosas en una fase donde corregirlas es mucho más barato y sencillo.

Análisis posterior a incidentes

Clarity no solo se usa al inicio del proyecto. También sirve después de fallos o incidentes.

Si un agente falla una prueba de RAMPART o se comporta de forma inesperada en producción, los equipos pueden revisar en Clarity:

• qué riesgos no se consideraron
• qué controles faltaban
• qué nuevas pruebas deberían añadirse

Esas conclusiones pueden transformarse luego en nuevas pruebas de regresión en RAMPART, fortaleciendo el sistema con cada incidente aprendido.

Por qué esto importa para la IA empresarial

Los agentes empresariales suelen operar en entornos complejos: leen datos internos, llaman APIs, ejecutan herramientas y responden a usuarios. Un ataque de prompt injection o un uso incorrecto de herramientas puede tener consecuencias operativas o de seguridad reales.

La propuesta de Microsoft es tratar la seguridad de agentes como una disciplina de ingeniería continua. En lugar de certificar el sistema una vez, el enfoque consiste en identificar riesgos desde el diseño, probarlos constantemente y convertir cada vulnerabilidad descubierta en una nueva protección para el futuro.

A medida que los agentes de IA se vuelvan más autónomos, integrar la seguridad directamente en el flujo de desarrollo —como hacen RAMPART y Clarity— probablemente será una práctica cada vez más común para construir sistemas de IA confiables en entornos empresariales.