Geoffrey Hinton ve «no irrazonable» un 10% de riesgo de extinción por IA en una década

Geoffrey Hinton, científico informático galardonado con el Nobel y una de las figuras pioneras de la IA moderna, afirmó que una probabilidad del 10% de que la IA acabe con toda la humanidad en la próxima década «no parece una estimación irrazonable». Pero acompañó esa frase de una cautela esencial: «nadie sabe realmente» cómo asignar una probabilidad sensata a ese desenlace. 91012

No se trata, por tanto, de una predicción de que la extinción vaya a ocurrir ni de una afirmación de que los asistentes de IA actuales ya tengan esa capacidad. Su advertencia es preventiva: plantea qué podría pasar si surgieran sistemas mucho más capaces que las personas y siguieran siendo difíciles de controlar.

Qué quiso decir Hinton con ese 10%

En una entrevista con Newsnight de la BBC, Hinton aceptó que ese 10% no era una cifra descabellada para un evento de extinción humana causado por IA durante los próximos diez años. Su razonamiento parte de la incertidumbre: la humanidad nunca ha tenido que convivir con entidades que podrían llegar a ser más inteligentes que ella. 910

Hinton ya había planteado valoraciones graves a plazos más largos. A finales de 2024 habló de una probabilidad de entre el 10% y el 20% de que la IA condujera a la extinción humana en tres décadas; en 2025 describió ese rango como una intuición, no como un pronóstico calculado. 1415

La diferencia es importante: una estimación de riesgo no equivale a anunciar que el resultado sea inevitable. Para Hinton, la magnitud de las consecuencias potenciales hace que la incertidumbre sea una razón para extremar la precaución, no para restar importancia al asunto.

Por qué le preocupan los sistemas sobrehumanos

El escenario que describe no es una rebelión de máquinas de película. Su preocupación es que una IA con una capacidad estratégica y técnica muy superior a la humana pueda generar caos o perseguir objetivos incompatibles con los intereses humanos.

Entre las vías de daño que se han mencionado figuran la manipulación de personas, la creación de virus biológicos o informáticos, los ciberataques y la alteración de infraestructuras críticas. Son mecanismos hipotéticos asociados a sistemas futuros de enorme capacidad, no aptitudes demostradas por las herramientas de IA disponibles hoy. 1011

Esa distinción es clave. Evan Hubinger, responsable de ciencia de alineamiento de Anthropic —empresa estadounidense que desarrolla modelos de IA—, dijo expresamente que considera bajo el riesgo de los modelos actuales. Su inquietud, como la de Hinton, se centra en que sistemas futuros puedan volverse mucho más capaces o mejorarse a sí mismos con mayor rapidez de la que los investigadores pueden gestionar de forma segura. 11624

La salida de Jacob Coxon y la advertencia desde Anthropic

El debate cobró fuerza después de que Jacob Coxon abandonara Anthropic y el sector de la IA. Coxon sostuvo que Anthropic y OpenAI competían por crear una superinteligencia capaz de automejorarse sin actuar con la responsabilidad suficiente, y calificó esa carrera de apuesta con vidas humanas. 317

Coxon no predijo de manera concreta que la humanidad vaya a desaparecer en 2030. Su afirmación fue más acotada, aunque igualmente llamativa: quienes construyen sistemas de IA de frontera creen de verdad que la tecnología podría matar a todos antes de que termine la década. 57

Hubinger respaldó públicamente la seriedad de esa preocupación. Escribió que, a título personal, asigna una probabilidad superior al 10% a que la IA mate a todos los humanos en los próximos diez años, a la vez que afirmó que Anthropic está haciendo todo lo posible. Añadió, sin embargo, que la empresa todavía no dispone de un plan para resolver el alineamiento de una superinteligencia y que no está claramente encaminada a lograrlo. 16

Qué significa «alineamiento» en este debate

El alineamiento es el problema de conseguir que sistemas de IA avanzados actúen de forma fiable conforme a los objetivos humanos previstos y permanezcan bajo control, incluso ante situaciones que sus creadores no anticiparon.

Para los investigadores centrados en seguridad, el desafío no consiste solo en lograr que un modelo rechace una petición dañina. La cuestión es si un sistema con amplia autonomía, acceso a herramientas y capacidades que sus operadores no comprendan por completo podría dirigirse con seguridad en condiciones reales.

Los comentarios de Hubinger no prueban que el alineamiento sea imposible. Lo que reflejan es que, según su evaluación, aún no existe una solución demostrada para alinear sistemas superinteligentes antes de que estos puedan llegar. 16

Dónde coinciden —y discrepan— otros expertos

No hay consenso en torno a la cifra exacta del 10% de Hinton.

Gary Marcus respaldó la idea preventiva central de Hinton: sería imprudente desarrollar una superinteligencia sin consenso científico de que puede construirse de manera segura y controlable. Sin embargo, también se ha informado de que Marcus no ve una vía realista hacia la extinción en el corto plazo. Esa diferencia ilustra el núcleo del desacuerdo: se puede exigir más protección sin compartir la misma probabilidad ni el mismo calendario para una catástrofe. 1141

Por eso, estas cifras deben leerse como juicios personales de expertos bajo gran incertidumbre, no como una medición científica precisa del futuro.

La pregunta práctica: qué garantías exigir antes de seguir escalando

El principal terreno común no es que la extinción por IA sea segura. Es que una posibilidad no trivial de perder el control sobre sistemas más capaces que sus propios operadores merece escrutinio público antes de que el desarrollo tecnológico adelante al trabajo de seguridad.

La estimación de Hinton, la renuncia de Coxon y la advertencia de Hubinger apuntan a una misma cuestión aún sin resolver: ¿qué pruebas debería exigir la sociedad antes de desplegar o seguir ampliando sistemas que puedan llegar a ser estratégicamente sobrehumanos?

Conviene separar tres afirmaciones que a menudo se mezclan:

• Los modelos de IA actuales representan una amenaza de extinción.
• Los sistemas futuros podrían adquirir capacidades que generen esa amenaza.
• La probabilidad de ese resultado puede estimarse con precisión.

Las fuentes respaldan la segunda como una preocupación seria planteada por investigadores destacados. Al mismo tiempo, Hubinger califica de bajo el riesgo de los modelos presentes y Hinton admite que la probabilidad no puede calcularse con fiabilidad. 11016