Nvidia pasa del lobby por la IA abierta a la seguridad en Black Hat

La meta es convertir la experiencia de una empresa en inteligencia defensiva para muchas. Así, un caso de prompt injection, filtración de datos o comportamiento descontrolado de un agente no tendría que tratarse siempre como un episodio aislado: los participantes contarían con un proceso para transformar esos fallos en salvaguardas más amplias.

OSAA apuesta por una arquitectura de seguridad, no por un único producto

SAFE es solo una pieza de la estrategia de OSAA. La alianza también está reuniendo tecnologías de código abierto o inspeccionables para cubrir distintas capas de la seguridad de los agentes de IA.

Entre las aportaciones mencionadas figuran:

• Nvidia: familias de modelos con pesos abiertos, los controles de ejecución de OpenShell —que limitan a qué puede acceder un agente y qué acciones puede realizar—, herramientas de prueba y auditoría, y Garak, un escáner de código abierto para riesgos como filtraciones de datos, prompt injection y jailbreaks.
• Okta: implementaciones de referencia para gestionar la identidad y el acceso de los agentes mediante el protocolo Cross App Access, con el objetivo de conectarlos a aplicaciones empresariales en entornos más controlados.
• Red Hat: asago, un proyecto abierto de gobernanza que busca vincular las políticas de una organización con los permisos en tiempo de ejecución y crear un recorrido auditable desde la norma hasta el control aplicado.
• Amazon: Strands Agents, un kit de código abierto para crear y evaluar agentes, junto con Cedar, un lenguaje de autorización.
• Otros miembros: proyectos centrados en identidad, como Agent Guard y Agent Watch, que refuerzan la idea de que proteger agentes exige mucho más que analizar modelos.

En conjunto, las iniciativas abarcan identidad, permisos, entornos de agentes, comportamiento durante la ejecución, evaluación, datos, gobernanza y resiliencia. Con el tiempo, podrían dar a las empresas un conjunto común de controles para limitar y supervisar agentes, incluidos aquellos que actúen de forma maliciosa o fuera de su cometido.

Pero ese resultado sigue siendo una posibilidad, no un logro probado.

Quién está dentro de OSAA y quién no

Los informes sitúan en más de 120 el número de organizaciones vinculadas a OSAA durante su primera semana. Entre los participantes destacados aparecen Nvidia, Adobe, BlackRock, Cisco, CrowdStrike, Hugging Face, Intel, Microsoft, Red Hat y Visa. Amazon fue descrita como una incorporación más reciente.

La alianza surgió después de una carta abierta del 24 de julio en la que empresas tecnológicas pidieron a los responsables políticos estadounidenses evitar restricciones amplias o prematuras a los modelos de IA con pesos abiertos. El documento, respaldado inicialmente por 25 compañías, incluía a Nvidia, Microsoft, Meta, IBM, Dell, Palantir y Hugging Face. Sus firmantes sostenían que limitar los modelos descargables podía perjudicar la competencia y empujar a más usuarios hacia sistemas de IA chinos, mientras Washington estudiaba su respuesta de seguridad nacional.

En el momento de las informaciones sobre Black Hat, Anthropic, OpenAI y Google destacaban por su ausencia en OSAA. La relación con la carta abierta, sin embargo, es menos clara: los informes difieren sobre la lista posterior de firmantes. Algunas versiones señalan que OpenAI y Google se añadieron después, mientras que otras las describen como ausentes del grupo original.

Las fuentes disponibles no explican por qué esas empresas no se habían incorporado a OSAA. Por tanto, su ausencia no permite atribuirles una motivación concreta.

Por qué importa la rapidez de la alianza

La tesis central de OSAA es que apertura y seguridad no tienen por qué ser opuestas. Los modelos, las herramientas, las evaluaciones y las lecciones sobre incidentes que pueden inspeccionarse abiertamente dan a más defensores la posibilidad de reproducir vulnerabilidades, investigar fallos y adaptar correcciones.

SAFE intenta combinar esa transparencia con confidencialidad durante la recopilación y el análisis de incidentes, para que las organizaciones puedan compartir información sensible sin convertir cada reporte en una exposición pública. Después, las lecciones generales y basadas en evidencias podrían difundirse de forma más amplia.

La composición transversal de OSAA también podría ayudar a establecer interfaces y prácticas comunes entre desarrolladores de modelos, proveedores de nube e infraestructura, especialistas en identidad, empresas de seguridad y usuarios corporativos. Si estos esfuerzos maduran, los sistemas de IA abiertos podrían resultar más fáciles de evaluar, controlar y desplegar de manera responsable.

Esa evolución respaldaría el argumento político de que la IA con pesos abiertos es también una cuestión de competitividad estadounidense, especialmente mientras los responsables políticos debaten cómo responder a los laboratorios chinos de IA. Sin embargo, OSAA aún no ha demostrado que haya mejorado la competitividad de Estados Unidos ni que haya reducido el riesgo sistémico de la IA.

Por ahora, su logro medible es más concreto y limitado: una coalición de más de 120 organizaciones ha pasado del activismo a favor de la IA abierta a publicar un borrador para coordinar el reporte de incidentes de seguridad, mientras sus miembros aportan herramientas que podrían formar con el tiempo una capa de defensa más interoperable.