La estimación de 10% de Evan Hubinger reabre el debate sobre la seguridad de la IA

La declaración pública de Evan Hubinger no prueba que la inteligencia artificial vaya a causar la extinción humana. Lo que hizo fue algo más concreto y relevante: el responsable de ciencia de alineamiento de Anthropic afirmó que, a título personal, asigna una probabilidad superior al 10% a ese desenlace durante la próxima década. Al mismo tiempo, reconoció que Anthropic aún no dispone de un plan para resolver el alineamiento de una superinteligencia ni de una vía claramente definida para lograrlo. 12

Esa combinación dio peso a la preocupación que expresó Jacob Coxon, exinvestigador de Anthropic y OpenAI, al renunciar: los laboratorios de IA de frontera podrían estar avanzando hacia sistemas mucho más capaces sin que se haya demostrado cómo mantenerlos de forma fiable bajo control humano. 23

Una previsión personal, no una conclusión de Anthropic

El «más del 10%» era la estimación de Hubinger. No se presentó como una probabilidad oficial de Anthropic, un consenso de su plantilla ni una previsión científica cerrada. 12

La diferencia importa. Una cifra de probabilidad, por sí sola, no explica el mecanismo por el que se produciría una catástrofe, no fija un calendario preciso ni demuestra que ese desenlace sea probable. Hubinger también indicó que el riesgo de los modelos disponibles hoy es bajo. Su inquietud se refiere a sistemas futuros mucho más capaces, incluidos aquellos que podrían contribuir a crear versiones de IA más potentes mediante mejora recursiva. 210

Por eso, lo más significativo de sus palabras no es solo el número. Es la brecha que expuso entre el rápido aumento de capacidades y la confianza en poder alinear una superinteligencia —es decir, lograr que persiga de manera fiable objetivos compatibles con las intenciones y límites humanos—. 12

Por qué sus palabras refuerzan la advertencia de Jacob Coxon

Coxon, que trabajó en OpenAI y después en Anthropic, dimitió al sostener que ninguna de las dos compañías estaba actuando de forma responsable y que ambas competían por desarrollar superinteligencia capaz de mejorarse a sí misma. Hubinger respaldó públicamente la idea de que quienes construyen estos sistemas consideran sinceramente posibles escenarios de extinción. 23

Eso no demuestra que toda la plantilla comparta una misma evaluación, ni convierte el relato de Coxon en una auditoría independiente de ambas empresas. Pero hace más difícil descartar su renuncia como la queja aislada de un antiguo empleado. Un responsable actual de alineamiento confirmó el punto de fondo: la preocupación seria dentro de un laboratorio puede coexistir con el desarrollo continuo de modelos de frontera. 12

Los comentarios atribuidos a Samuel Marks requieren la misma cautela. Según los reportes, dijo que desarrolladores de IA creen que su tecnología podría causar extinción humana u otros resultados de gravedad similar. Se trata de una visión desde dentro, no de evidencia publicada de una estimación corporativa compartida por toda la empresa. 5

El desacuerdo real: cómo gobernar una incertidumbre extrema

Este episodio suele resumirse como una disputa entre «pesimismo» y «optimismo» sobre la IA. La pregunta más útil es práctica: ¿qué salvaguardas deberían exigirse cuando el daño potencial sería global e irreversible, pero la probabilidad y el plazo siguen siendo inciertos?

Las declaraciones de Hubinger ponen sobre la mesa varios asuntos:

• El alineamiento no está resuelto. Que un laboratorio dedique recursos a la seguridad no equivale a demostrar un método validado para controlar sistemas muy superiores a los actuales. 1
• La competencia puede dificultar la contención voluntaria. La crítica de Coxon es que la presión competitiva impulsa capacidades cada vez mayores mientras siguen abiertas cuestiones fundamentales de seguridad. 23
• La seguridad de los modelos actuales no agota el problema. Hubinger diferenció entre el riesgo bajo que atribuye a los sistemas presentes y su preocupación por modelos futuros mucho más capaces. 210
• La verificación externa es crucial. Sin evaluaciones independientes e informes transparentes, al público, los clientes y los gobiernos les resulta difícil valorar las afirmaciones de las empresas sobre sus procesos de seguridad.

Nada de ello prueba un desastre inminente. Pero sí describe problemas de gobernanza que serían mucho más difíciles de corregir una vez que una tecnología adquiriera capacidades peligrosas.

La transparencia, bajo mayor escrutinio

También se informó de que Anthropic declinó someter su modelo más reciente a pruebas del Instituto de Seguridad de la IA del Reino Unido antes de lanzarlo. Esa información debe tratarse con cautela: los relatos disponibles lo presentan como un reporte periodístico, no como una conclusión pública confirmada por Anthropic o por el Gobierno británico. 10

Aun con esa salvedad, el caso ilustra por qué los compromisos voluntarios de seguridad generan escepticismo. Si responsables internos reconocen que el alineamiento de sistemas futuros sigue sin resolverse, es razonable preguntar qué pruebas se hicieron, quién las revisó, qué resultados se compartieron y qué umbrales de capacidad activarían controles más estrictos.

Qué implicaría avanzar más despacio y con más controles

Pedir que se reduzca el ritmo no equivale necesariamente a prohibir toda investigación o despliegue de IA. El argumento regulatorio apunta a establecer controles exigibles antes de que los sistemas superen umbrales de capacidad especialmente relevantes.

Entre las medidas posibles figuran:

• evaluaciones independientes de capacidades y seguridad antes del despliegue;
• obligaciones de informar sobre incidentes graves y capacidades materialmente peligrosas;
• criterios claros para activar medidas reforzadas de ciberseguridad y gobernanza;
• auditorías que no dependan solo de las garantías internas del desarrollador; y
• coordinación internacional para que ninguna empresa o país se vea empujado a rebajar estándares con tal de no quedarse atrás.

La lógica es sencilla: si la probabilidad es incierta pero el peor resultado concebible es extremo, las salvaguardas deben poder demostrarse antes de una eventual pérdida de control, no después.

Lo que realmente reveló la declaración

El mensaje de Hubinger dejó visible una tensión central en la IA de frontera: sus principales desarrolladores pueden reconocer públicamente riesgos graves a largo plazo mientras continúan construyendo las capacidades que vuelven esos riesgos más acuciantes. 12

No resuelve la probabilidad de un daño catastrófico causado por IA ni debe leerse como una predicción oficial de Anthropic. Pero sí vuelve el debate más concreto. La cuestión ya no es solo si una IA avanzada podría resultar peligrosa, sino si empresas y gobiernos pueden demostrar —con evidencia independiente, normas exigibles y coordinación internacional— que estarán preparados antes de que esos sistemas sean demasiado potentes para gobernarlos de forma segura. 110