La propuesta de Giskard es colocar Guards como una capa intermedia entre los agentes de IA y los sistemas con los que interactúan.
En lugar de analizar solo el prompt o la respuesta final, la plataforma evalúa el contexto completo de la ejecución del agente: prompts, pasos intermedios, llamadas a herramientas y resultados generados. El objetivo es detectar comportamientos riesgosos antes de que afecten a sistemas de producción.
Entre sus elementos principales destacan:
Guardrails sensibles al contexto
El sistema analiza la intención y el contexto de cada interacción, no solo palabras clave. Esto permite evaluar si una solicitud es coherente con la tarea del agente, las herramientas disponibles y los datos a los que tiene acceso.
Múltiples capas de detección
Guards combina distintos detectores —por ejemplo para detectar jailbreaks, prompt injection, exposición de datos sensibles o violaciones de políticas— y puede decidir si una acción se permite, se monitoriza o se bloquea.
Supervisión de toda la cadena de ejecución
La plataforma inspecciona la secuencia completa de acciones del agente. Esto es clave porque muchos ataques aparecen en pasos intermedios, como instrucciones maliciosas en documentos recuperados o llamadas peligrosas a herramientas.
Un concepto central del sistema es el policy‑as‑code.
Las organizaciones suelen tener reglas de gobernanza —políticas de privacidad, requisitos regulatorios o normas internas— que deben aplicarse cuando los sistemas de IA acceden a datos o herramientas operativas. En lugar de depender de prompts o revisiones manuales, el enfoque policy‑as‑code convierte esas reglas en controles técnicos ejecutables.
Investigaciones sobre gobernanza de agentes muestran que es posible traducir políticas escritas en lenguaje natural y documentación técnica en guardrails que supervisan el comportamiento del agente en tiempo real. Estos sistemas compilan las políticas en clasificadores o capas de control que monitorizan la actividad del agente durante su ejecución.
Con este modelo, una empresa podría definir reglas como:
Al estar programadas y versionadas, estas políticas pueden evolucionar junto con los sistemas de IA.
Otro motor importante detrás de estas plataformas es la regulación.
El EU AI Act, la normativa europea sobre inteligencia artificial, establece un marco regulatorio basado en niveles de riesgo. Los sistemas clasificados como “alto riesgo” —por ejemplo aquellos que afectan a la salud, la seguridad o el acceso a servicios esenciales— deben cumplir requisitos estrictos de gestión de riesgos, documentación, transparencia, registro de actividad y supervisión humana.
Herramientas como Giskard Guards buscan facilitar ese cumplimiento mediante:
Estos elementos ayudan a cubrir requisitos regulatorios relacionados con la robustez técnica, la trazabilidad y el control humano de los sistemas de IA.
La gobernanza de agentes de IA es especialmente relevante en industrias altamente reguladas.
Banca y seguros pueden utilizar agentes para análisis de riesgo, detección de fraude, procesamiento de reclamaciones o atención al cliente. Estos flujos manejan datos financieros sensibles y decisiones reguladas, por lo que es crucial evitar acciones no autorizadas o filtraciones de información.
Sanidad presenta retos aún mayores. Los agentes pueden resumir historiales clínicos, recuperar datos de pacientes o ayudar con documentación médica. Los guardrails deben garantizar que la información confidencial esté protegida y que ciertas decisiones sigan requiriendo supervisión humana.
Por eso muchas empresas prefieren controles de seguridad a nivel de infraestructura, en lugar de depender solo de instrucciones dentro del modelo.
Giskard también presenta Guards como parte de la estrategia europea de “IA soberana”.
La plataforma está diseñada para permitir despliegues on‑premise o en infraestructuras controladas, de modo que las organizaciones reguladas puedan mantener datos sensibles, telemetría y políticas de seguridad dentro de su propio entorno. Esto reduce la dependencia de APIs externas de moderación y se alinea con las prioridades europeas en gobernanza de datos.
Para empresas que operan bajo marcos regulatorios europeos como el GDPR y el EU AI Act, saber dónde se ejecutan los sistemas de monitorización y seguridad puede influir directamente en las decisiones de adopción tecnológica.
La aparición de agentes de IA está cambiando la forma en que deben diseñarse los sistemas de seguridad. Analizar únicamente prompts o respuestas ya no es suficiente para sistemas que planifican tareas, acceden a datos y ejecutan acciones en herramientas externas.
El enfoque de Giskard refleja una tendencia más amplia en la industria: proteger el comportamiento de los agentes a lo largo de todo su flujo de trabajo y aplicar reglas de gobernanza en tiempo real.
Si estas plataformas lograrán prevenir fallos complejos en despliegues empresariales a gran escala todavía está por verse. Pero a medida que los agentes de IA se integran en sistemas críticos de negocio, las capas de seguridad contextual y gobernanza programable se están convirtiendo en una pieza clave de la infraestructura de IA.
Comments
0 comments