Sam Altman alerta de dos riesgos de la IA: perder el control y concentrar demasiado poder

La inteligencia artificial potente puede fallar a la sociedad de dos maneras muy distintas, según Sam Altman, director ejecutivo de OpenAI: las personas podrían perder el control sobre sistemas cada vez más capaces, o ese control podría concentrarse en muy pocas manos. Su advertencia reúne seguridad técnica y gobernanza política: una IA segura no depende únicamente de lo que un modelo puede hacer, sino también de quién puede dirigirlo. 1316

Los dos escenarios que Altman quiere evitar

El primero: la pérdida de control humano. Altman alertó de que la humanidad podría «perder el control del futuro frente a la IA», un resultado que considera inaceptable. Su principio es que la IA debe servir a las personas, no que las personas terminen dependiendo de sistemas que no pueden supervisar adecuadamente. 216

El segundo: la concentración de poder. También advirtió contra un mundo en el que una IA extraordinariamente poderosa esté controlada por una sola persona, empresa o país, y se utilice para imponer una visión del mundo al resto. Altman dijo que ese desenlace podría ser «extremadamente distópico». 113

Son riesgos relacionados, pero diferentes. El primero se refiere a si los seres humanos pueden comprender, limitar y anular las decisiones de sistemas muy potentes. El segundo trata de que, aun siendo controlables, esos sistemas estén desplegados por un actor con una autoridad excesiva y sin contrapesos.

Qué salvaguardas propone

La posición pública de Altman no es simplemente detener el desarrollo de la IA. Su argumento es que las capacidades no deben adelantarse a la alineación —que los sistemas actúen de acuerdo con objetivos humanos— ni a los mecanismos de monitorización. La presión competitiva, sostiene, no puede justificar despliegues imprudentes. 213

Entre las medidas que ha destacado están:

• Alineación y supervisión al ritmo de las nuevas capacidades. Los desarrolladores deben poder evaluar y controlar de forma significativa el comportamiento de sistemas cada vez más capaces. 213
• Una IA al servicio de las personas. Ese es el objetivo que articula su alerta sobre la pérdida de control. 216
• Requisitos federales homogéneos para la IA de frontera. Altman respaldó un marco federal estadounidense para gestionar los riesgos de los modelos más avanzados, en lugar de depender solo de compromisos voluntarios y fragmentados. 1316
• Fiscalización independiente. Ha señalado a los auditores independientes como un mecanismo prometedor para reforzar la confianza pública en las empresas que desarrollan modelos cada vez más capaces. 16

En la práctica, esto implica elevar la carga de la prueba para los sistemas más avanzados: las medidas de seguridad deberían estar probadas y ser creíbles antes de decidir su despliegue, no añadirse cuando las capacidades ya han avanzado.

Las advertencias de Anthropic elevan el tono del debate

Esa misma semana, Jacob Coxon, exinvestigador de Anthropic, alertó de que los principales laboratorios estaban compitiendo por desarrollar IA capaz de mejorarse a sí misma mientras «se juegan nuestras vidas». La información sobre su dimisión indicó que creía que investigadores involucrados en estos sistemas temían seriamente que llegaran a ser demasiado poderosos para que los humanos pudieran controlarlos. 17

El tono de Coxon es más directo que el de Altman, pero la preocupación de fondo coincide: el aumento de las capacidades puede superar la posibilidad de supervisar los sistemas de forma fiable. En un intercambio público recogido por medios, Evan Hubinger, responsable de ciencia de alineación en Anthropic, estimó personalmente en más de un 10 % la probabilidad de que la IA cause la extinción humana en la próxima década y reconoció que todavía no existe una solución completa al problema de alinear una superinteligencia. Esa es una valoración individual de riesgo, no una previsión establecida ni una probabilidad científica consensuada. 17

Lo relevante no es que se haya demostrado un calendario concreto de extinción: no se ha demostrado. La cuestión es que investigadores próximos al desarrollo de IA de frontera discuten públicamente si las prácticas de seguridad actuales avanzan con la suficiente rapidez para los sistemas que se están construyendo.

El desacuerdo central: ¿capacidades primero o seguridad primero?

La división suele presentarse como una disputa entre acelerar o frenar la IA, pero esa descripción se queda corta. La mayoría de los participantes considera que la IA puede aportar beneficios importantes. El desacuerdo se centra en el ritmo y la exigibilidad de las reglas.

Una postura defiende acompasar el desarrollo de frontera para que la investigación en seguridad, las evaluaciones, la gobernanza y la respuesta a usos indebidos tengan tiempo de madurar. Dario Amodei, CEO de Anthropic, pidió reducir la velocidad del aumento de capacidades y propuso evaluadores independientes integrados, coordinación entre laboratorios de frontera y cooperación internacional.

La presión contraria también existe: empresas y gobiernos temen que avanzar más despacio que sus rivales implique perder ventajas económicas o geopolíticas. Sin embargo, el planteamiento de Altman es que la competencia no puede justificar que las capacidades superen a la alineación y la monitorización. 13

Reuters informó de que algunos investigadores creen que las capacidades de los modelos están llegando más rápido de lo esperado, mientras disminuyen la visibilidad humana sobre su funcionamiento y el posible control sobre ellos. Esto vuelve urgente la pregunta política central: ¿deben los laboratorios seguir desplegando modelos progresivamente más autónomos mientras las salvaguardas se ponen al día, o deben demostrar primero que esas salvaguardas son suficientes?

Lo que plantea para la gobernanza de la IA

Las dos advertencias de Altman sugieren que la gobernanza de la IA de frontera debe abordar tanto el control técnico como la distribución del poder. Mejores evaluaciones de modelos, investigación en alineación, monitorización y supervisión independiente responden al primer problema. Las normas homogéneas, la transparencia y los límites al control unilateral responden al segundo.

Ni las predicciones catastróficas ni los plazos precisos deben tratarse como hechos establecidos. Pero la gravedad potencial de un fallo explica por qué las exigencias de evaluaciones más sólidas, escrutinio externo y requisitos de seguridad han pasado de ser una preocupación minoritaria a una cuestión central para la industria de la IA. 13