Un régimen global de seguridad de la IA que se pueda verificar

Una empresa puede afirmar que su sistema de inteligencia artificial es seguro. Otra cosa es que alguien ajeno a ella pueda comprobarlo y que exista una autoridad con capacidad de actuar si las pruebas no convencen. Esa diferencia debería guiar cualquier intento de crear un régimen global de seguridad de la IA.

La ministra singapurense Josephine Teo ha propuesto mirar a la aviación: la confianza en los vuelos habituales descansa en distintas capas de protección, no en una sola promesa de seguridad. A medida que se extiende el uso de la IA, sostiene, habrá que construir salvaguardas a la vez que se adopta la tecnología. 36

La lección de la aviación: avanzar por etapas

La cooperación aeronáutica no nació con un reglamento mundial completo. Antes hubo leyes nacionales y acuerdos bilaterales; después llegaron el Convenio de París de 1919 y el de Chicago de 1944. La Organización de Aviación Civil Internacional, conocida por sus siglas OACI, empezó a funcionar en 1947. 313935 Para la IA, la enseñanza es empezar con compromisos practicables y reforzarlos conforme se desarrollen métodos compartidos.

Un organismo internacional podría fijar requisitos mínimos, acreditar evaluadores y comparar datos sobre incidentes. Los reguladores de cada país conservarían la facultad de inspeccionar, exigir correcciones, restringir el uso de un sistema e imponer sanciones. Así, una certificación internacional no sustituiría la capacidad de hacer cumplir las reglas dentro de cada jurisdicción.

La vigilancia tampoco debería terminar el día del lanzamiento. A las pruebas previas tendrían que seguirles el seguimiento durante el uso, nuevas evaluaciones tras cambios importantes y procedimientos para revertir una actualización o retirar el sistema. Una aprobación habría de indicar qué versión se examinó y en qué condiciones, sin extenderse automáticamente a usos futuros.

Qué significa verificar de forma independiente

Un distintivo de conformidad o una buena puntuación en una prueba publicada no bastan. Para comprobar una afirmación de seguridad, un evaluador acreditado necesitaría acceso protegido al modelo pertinente, a la configuración con la que se utiliza, a la documentación y a los registros de fallos significativos. Sus métodos y conclusiones deberían quedar documentados para que otro equipo cualificado pudiera examinarlos, con controles que protejan datos personales, secretos comerciales e información delicada para la seguridad.

En los sistemas de alto riesgo, la empresa podría tener que presentar un expediente de seguridad: qué puede hacer el sistema, cómo se probó, qué salvaguardas se demostraron, qué riesgos persisten y cómo se responderá a los incidentes. Si las pruebas fueran insuficientes, el regulador debería poder exigir mejoras o limitar su despliegue. El objetivo sería verificar el cumplimiento de requisitos definidos, no prometer que nunca habrá daños.

Para reducir conflictos de interés, los grandes desarrolladores podrían financiar las pruebas mediante un fondo común o tasas administradas por un regulador, en vez de elegir y controlar directamente a quienes los evalúan. Investigar fallos graves y situaciones en las que se estuvo cerca de un daño permitiría aprender y prevenir recurrencias. Proteger a quien informa de un error no debería, sin embargo, amparar su ocultación deliberada.

Singapur puede contribuir, pero la confianza hay que ganársela

Teo ha defendido desarrollar las salvaguardas junto con la adopción de la IA. Las informaciones sobre esa labor señalan a la herramienta AI Verify y al Instituto de Seguridad de la IA de Singapur como bases para las pruebas y la evaluación. 13 El país podría acoger evaluaciones conjuntas o intercambios técnicos confidenciales dentro de una red más amplia de laboratorios acreditados.

Ser sede de un centro no lo convertiría por sí solo en un intermediario aceptado por Estados Unidos y China. Harían falta reglas de gestión transparentes, condiciones claras de acceso seguro, vías de apelación independientes y participación efectiva de ambas potencias. Una red distribuida evitaría, además, que todo dependiera de un único centro.

Empezar por los riesgos compartidos, no por un acuerdo para frenar la IA

Las posiciones sobre el ritmo de desarrollo están enfrentadas. Según Reuters, Dario Amodei, Sam Altman y Elon Musk han pedido una desaceleración coordinada; Mark Zuckerberg se ha inclinado por salvaguardas impulsadas por el mercado y Jensen Huang ha descartado la necesidad de nuevas regulaciones. 4748 China ha rechazado los llamamientos a frenar el desarrollo, y el presidente Donald Trump dijo que no esperaba avances en salvaguardas para la IA durante su cumbre del 24 de septiembre con Xi Jinping. 5850 Las informaciones sobre el encuentro también apuntaban a escasas expectativas de un gran avance. 49

No hace falta resolver primero ese desacuerdo general para actuar ante peligros que ambos países querrían evitar. Expertos en seguridad estadounidenses y chinos han propuesto límites en torno a los sistemas nucleares, control humano sobre ciberataques de consecuencias importantes y una línea directa para incidentes relacionados con IA autónoma. 20 Esas propuestas podrían abrir paso a contactos de emergencia, avisos de incidentes graves y conversaciones técnicas recíprocas. La participación de Washington y Pekín sería importante, pero otros países también deberían intervenir en la elaboración de estándares y acceder a capacidad de evaluación.

Exigencias según el riesgo, no solo según el tamaño

Del control de armamentos puede tomarse una idea: pactar compromisos recíprocos lo bastante concretos para poder verificarlos. De la supervisión financiera, otra: concentrar las obligaciones más exigentes allí donde un fallo tendría mayor impacto. Ninguno de esos ámbitos ofrece un modelo listo para copiar.

Los desarrolladores y quienes ponen en uso sistemas de alto riesgo podrían afrontar evaluaciones independientes, responsabilidades claras para sus directivos, planes de recuperación y avisos rápidos sobre fallos graves de seguridad, filtraciones relevantes de datos, ataques informáticos o robo de modelos. Para servicios de bajo riesgo, las empresas pequeñas podrían disponer de infraestructura compartida de pruebas y documentación más sencilla. Ser pequeño no debería eximir a nadie de controles rigurosos si el sistema es peligroso.

Un tratado y una institución permanente antes de 2030 serían una meta ambiciosa, no una predicción. La primera prueba de progreso es más concreta: acordar qué se considera un incidente, cómo se garantiza la independencia de los evaluadores y qué salvaguardas se aceptan mutuamente. Después habría que demostrar que los reguladores pueden actuar cuando las pruebas no son suficientes.