Frenar la IA sin apagarla: qué haría falta y qué puede aportar Singapur

Un freno significativo a la inteligencia artificial debería moderar el desarrollo de los sistemas más avanzados, no paralizar el uso de la IA en toda la economía. Las recientes declaraciones públicas de directivos del sector han puesto sobre la mesa las evaluaciones independientes y la coordinación. Pero convertir esas ideas en salvaguardas creíbles exige más que compromisos voluntarios: las evaluaciones deben ser independientes, sus resultados deben tener consecuencias y las reglas deben guardar proporción con el riesgo.

Singapur ya dispone de herramientas que pueden contribuir a ese trabajo: un marco de gobernanza para la IA agéntica, herramientas de evaluación de AI Verify y un programa que reconoce a empresas externas de pruebas. El reto ahora es vincular esas herramientas con decisiones claras y basadas en evidencia sobre los sistemas que realmente se ponen en uso. 4

Qué proponen —y qué no— las llamadas a frenar la IA

Las propuestas recientes se centran en el ritmo de desarrollo de la IA de frontera: los sistemas más capaces, cuyas mejoras podrían superar la velocidad a la que avanzan las medidas de seguridad y la supervisión externa. Entre las ideas difundidas figuran dar acceso continuo a evaluadores externos, coordinar estándares de seguridad y promover una cooperación internacional más amplia.

Estas propuestas muestran un interés creciente, pero no constituyen una política acordada ni un compromiso vinculante para todo el sector. El Informe Internacional sobre Seguridad de la IA señala que la gestión de riesgos sigue en desarrollo y que la mayoría de las iniciativas de las empresas son voluntarias. La diferencia es importante: que una empresa se comprometa a evaluar un modelo no crea, por sí solo, una obligación exigible de aplazar su lanzamiento si persisten riesgos graves.

Convertir la evaluación en una condición para el lanzamiento

Una alternativa práctica sería imponer condiciones más estrictas a los sistemas con mayores capacidades o más autonomía, sin establecer una pausa general para los usos habituales de la IA. No tendría sentido aplicar automáticamente los mismos requisitos a una herramienta de redacción de bajo impacto y a un agente autorizado para tomar decisiones importantes. El marco de Singapur para la IA agéntica ya recomienda evaluar y acotar los riesgos, así como establecer puntos de control con aprobación humana antes de acciones significativas o delicadas. 46

Para los modelos de frontera y los usos de alto impacto, las autoridades podrían desarrollar ese principio mediante un proceso de lanzamiento que incluya:

• Evaluación independiente antes del lanzamiento: permitir que evaluadores externos cualificados accedan de forma segura a los sistemas y a la información pertinente, y examinen capacidades peligrosas y posibles usos indebidos. El acceso continuo de evaluadores es una propuesta planteada en las recientes llamadas a moderar el desarrollo de frontera, no un requisito universal ya vigente.
• Umbrales definidos y consecuencias claras: establecer con claridad qué resultados exigen medidas adicionales, acceso restringido o una demora. Si una evaluación no se supera, debería haber una respuesta documentada y, cuando el riesgo lo justifique, aplazarse el lanzamiento; no limitarse a otra revisión interna. Estas son propuestas de gobernanza, no requisitos que describa el marco actual de Singapur. 4
• Controles acordes al uso: para los agentes con permisos para realizar acciones importantes, considerar límites de acceso, aprobación humana en momentos clave, supervisión y responsabilidades claras. El marco de Singapur respalda la limitación de riesgos y una supervisión humana significativa; los controles concretos deben depender del sistema y de su contexto de uso. 48
• Nuevas evaluaciones cuando el sistema cambie de forma sustancial: volver a examinar cambios relevantes en el modelo, sus herramientas o el contexto de implementación, en vez de tratar una prueba anterior como garantía permanente. Esta es una propuesta para que la evaluación siga siendo pertinente a medida que evoluciona el sistema desplegado.

Las aplicaciones de menor riesgo deberían contar con una vía más sencilla y ligera. Un enfoque proporcional permite que las empresas adopten la tecnología sin confundir una evaluación satisfactoria con una garantía de seguridad para cualquier situación. La Ley de IA de la Unión Europea es un ejemplo de regulación organizada en función de los riesgos de los usos de la IA.

Reglas públicas y evaluaciones independientes

La coordinación internacional podría hacer más comparables las evaluaciones y reducir el incentivo a buscar la supervisión menos exigente. Los gobiernos pueden trabajar en métodos de prueba comunes, intercambio de información sobre incidentes y expectativas mínimas para los sistemas de mayor riesgo. A partir de ahí, evaluadores independientes podrían reunir evidencia conforme a esos criterios. Las propuestas recientes para moderar el desarrollo también plantean coordinación entre empresas y cooperación transfronteriza.

También importa cómo se reparten las responsabilidades. Las autoridades públicas deberían fijar umbrales exigibles y determinar qué ocurre si se superan. Las empresas pueden aportar conocimientos técnicos, pero no deberían ser las únicas que decidan si sus propios sistemas cumplen las reglas. Los evaluadores independientes necesitan métodos transparentes y deben declarar posibles conflictos de interés. Son principios para diseñar un sistema de supervisión, no características que ya queden establecidas por las declaraciones del sector mencionadas.

Qué puede aprovechar Singapur

El Marco de Gobernanza Modelo de Singapur para la IA Agéntica ofrece orientación a las organizaciones que implementan agentes. Incluye la evaluación de riesgos, la responsabilidad humana y medidas de control. Es una guía para un despliegue responsable, no una condición legal de lanzamiento por sí misma. 468

AI Verify ofrece herramientas de evaluación, mientras que el Programa de Acreditación de Evaluadores de IA reconoce a empresas externas que cuentan con capacidades técnicas y preparación operativa pertinentes. En conjunto, estas iniciativas podrían contribuir a evaluaciones más coherentes en distintos sectores, incluidos los negocios y las finanzas. Singapur también podría fomentar perfiles de evaluación compartidos y contratos que aclaren qué deben demostrar los proveedores de modelos, los integradores, quienes los implementan y los evaluadores. Son posibles pasos futuros, no políticas ya establecidas por los marcos citados.

Un objetivo útil sería el reconocimiento transfronterizo de los métodos y la evidencia de las pruebas, no afirmar que un certificado de un país garantiza la seguridad de cualquier sistema en cualquier contexto. El marco y las herramientas de evaluación pueden ayudar a ordenar la evidencia; aun así, las autoridades y las organizaciones deben valorar si esa evidencia refleja el uso real y sus riesgos.

Evaluar seguridad de la IA, fiabilidad del software y ciberseguridad

Examinar las respuestas de un modelo es solo una parte de la evaluación de un agente de IA. También hay que analizar el software que lo rodea y la seguridad de las herramientas y permisos a los que puede acceder. Son cuestiones relacionadas, pero distintas: qué comportamientos dañinos puede producir la IA; cómo responde la aplicación completa ante un fallo o un cambio; y si un atacante puede comprometerla o desviar su funcionamiento.

Esta evaluación conjunta es una ampliación recomendada de las prácticas de garantía, no una afirmación de que todas las herramientas existentes ya cubran esos tres ámbitos. AI Verify describe pruebas técnicas para sistemas tradicionales de aprendizaje automático, incluidas las de equidad, explicabilidad y robustez. Por eso, en los despliegues agénticos es importante especificar qué pruebas adicionales, de extremo a extremo, hacen falta, en vez de asumir que el resultado de una prueba del modelo certifica todo el sistema.

La prueba de que el freno funciona

Un freno es significativo cuando la evidencia independiente puede cambiar lo que ocurre después: un lanzamiento de alto riesgo puede aplazarse, limitarse o corregirse si las salvaguardas no bastan, mientras que los usos ordinarios y de menor riesgo conservan una vía proporcionada para llegar al mercado. Los marcos y programas de evaluación de Singapur ofrecen una base para construir esa garantía, pero habría que precisar los umbrales de lanzamiento, su cumplimiento y el alcance de las evaluaciones.