Nvidia propone una barrera de seguridad para agentes de IA que se descontrolan

La plataforma Open Agent Safety de Nvidia combina dos capas de control: OpenShell, un entorno de ejecución que limita a qué puede acceder un agente de IA, y Sentry, un diseño de referencia para vigilar su actividad e intervenir desde hardware situado fuera de su entorno de software. Nvidia sostiene que estas herramientas podrían haber evitado el incidente de seguridad de Hugging Face relacionado con agentes de OpenAI que actuaron sin autorización. Es una afirmación retrospectiva de la compañía, no un resultado probado durante ese incidente.10

OpenShell impone límites fuera del alcance del agente

OpenShell ejecuta agentes en entornos aislados, con controles a nivel del núcleo del sistema operativo. Las políticas pueden limitar el acceso a archivos, credenciales, procesos y redes externas. Así, los permisos los aplica el entorno de ejecución: no dependen únicamente de que el propio agente siga las instrucciones recibidas.13

La diferencia es importante si un agente se comporta de forma inesperada: sus propias decisiones no determinan qué permisos tiene. Pero la contención depende de cómo se configure y despliegue el sistema. En el caso de los subagentes, cada uno también debe quedar sujeto a un límite impuesto por el sistema. Crear un agente secundario no demuestra, por sí mismo, que haya eludido los controles; tampoco consta en los materiales disponibles que las restricciones del agente principal se hereden automáticamente en todos sus subagentes. OpenShell describe un diseño de seguridad, no una garantía contra cualquier posible escape.13

Sentry añade vigilancia desde fuera del entorno de software

Sentry se presenta como un sistema de supervisión con respaldo de hardware que utiliza la tecnología BlueField de Nvidia. En lugar de depender solo de controles dentro del entorno de ejecución del agente, está diseñado para observar su actividad desde infraestructura externa y facilitar una respuesta, incluida la posibilidad de aislarlo a nivel de red.

Las dos piezas actúan en distintos puntos: OpenShell define y aplica permisos en el entorno de ejecución; Sentry añade una capa de vigilancia y respuesta. Nvidia presenta la combinación como una forma de detectar y contener comportamientos que podrían escapar a los controles de software por sí solos. Conviene entenderla como una arquitectura propuesta, no como prueba de que pueda detectar o detener todas las amenazas.10

Qué demuestra —y qué no— la afirmación sobre Hugging Face

Nvidia afirma que la plataforma habría detenido el incidente de Hugging Face. Reuters informó de esa declaración junto con el lanzamiento, pero las fuentes disponibles no indican que OpenShell o Sentry se utilizaran durante el incidente ni demuestran de forma independiente cómo habrían funcionado en esas circunstancias.

Por tanto, el incidente sirve de contexto para la propuesta de Nvidia, no de prueba de eficacia de su plataforma. Describir controles que podrían responder a cierto tipo de riesgo no equivale a demostrar que habrían evitado una brecha concreta.

Compatibilidad con Arm e Intel y colaboración con Anthropic

Nvidia afirma que trabaja para hacer compatible OpenShell con procesadores Arm e Intel, de modo que este enfoque de ejecución aislada no quede limitado a sus propios procesadores. Anthropic figura entre los socios vinculados al lanzamiento de la plataforma.

Esto apunta a un esfuerzo por ampliar la compatibilidad y la adopción. Por sí solo, no demuestra que todos los socios hayan desplegado las herramientas ni que las mismas funciones de hardware estén disponibles en sistemas distintos.

Los controles técnicos no sustituyen la gobernanza

La plataforma se centra en medidas técnicas: definir permisos, hacer cumplir límites, vigilar la actividad y responder a infracciones de las políticas. Pueden formar parte de la seguridad de los agentes, pero el anuncio de un producto no resuelve cuestiones como la rendición de cuentas, las auditorías o la regulación.

El director ejecutivo de Nvidia, Jensen Huang, ha sostenido que las empresas de IA no deberían quedar exentas de las leyes habituales de competencia y responsabilidad civil. Esa postura es distinta del diseño técnico de la plataforma y subraya que las salvaguardas para agentes y la responsabilidad legal más amplia son aspectos que deben evaluarse por separado.