Geoffrey Hinton ve «no irrazonable» un 10% de riesgo de extinción por IA

Geoffrey Hinton, pionero de la IA y ganador del Nobel de Física de 2024, dijo que una probabilidad del 10% de que la IA provoque la extinción humana durante la próxima década no le parecía irrazonable. Pero añadió una precisión esencial: «nadie sabe realmente cómo hacer una estimación sensata». 14

La diferencia es importante. Hinton no presentó un pronóstico científico calibrado, sino un juicio ante una incertidumbre enorme: si el daño potencial es tan extremo y no se conoce el alcance de las capacidades que podrían adquirir los sistemas futuros, descartar el escenario por completo sería imprudente.

Dos riesgos distintos: el mal uso y la pérdida de control

Hinton distingue entre dos problemas relacionados, pero diferentes: que personas empleen la IA con fines dañinos y que sistemas muy capaces puedan llegar a ser difíciles de controlar.

En su discurso del Nobel, alertó sobre los sistemas de recomendación que alimentan la polarización, la vigilancia masiva y el phishing asistido por IA. También advirtió de que la tecnología podría ayudar a crear virus peligrosos y armas letales. Pidió una respuesta urgente de gobiernos y organismos internacionales.

No se trata de un único modo de fallo. Sistemas avanzados podrían hacer la desinformación más convincente y personalizada, ayudar a encontrar vulnerabilidades de software o reducir barreras para usos biológicos y cibernéticos dañinos. En el escenario más grave planteado por defensores de la seguridad de la IA, un sistema con amplias capacidades estratégicas, técnicas y operativas podría obtener recursos o acceso a infraestructuras críticas y resistirse a los intentos humanos de limitarlo. 5

El problema de la alineación

La preocupación técnica central es la alineación: la capacidad de lograr que un sistema mucho más inteligente que los humanos persiga de forma fiable los objetivos que las personas pretenden, acepte correcciones y permanezca bajo límites efectivos.

Jacob Coxon, antiguo investigador de Anthropic y OpenAI, dimitió de Anthropic afirmando que los principales laboratorios estaban «corriendo directamente hacia una superinteligencia que se mejora a sí misma» y «jugando con nuestras vidas». 18 Su advertencia se centra en la posibilidad de que la mejora de las capacidades de esos sistemas avance más deprisa que los métodos para hacerlos seguros.

Evan Hubinger, responsable de ciencia de alineación en Anthropic, respaldó públicamente el núcleo de esa advertencia. Dijo que, a título personal, cree que hay una probabilidad superior al 10% de que la IA pueda matar a todos los seres humanos en la próxima década. Añadió que Anthropic todavía no tiene un plan para resolver la alineación de una superinteligencia ni parece estar claramente encaminada a conseguirlo. 16

El argumento no es que los modelos actuales estén a punto de exterminar a la humanidad por sí solos. Hubinger señaló que el riesgo de los modelos existentes es bajo. La inquietud se refiere a una transición futura: que los modelos lleguen a ser capaces de mejorar sus propias capacidades o de actuar eficazmente en el mundo antes de que sus desarrolladores sepan controlarlos de forma fiable. 116

Por qué otros expertos rechazan el pronóstico de extinción a corto plazo

Otros investigadores no niegan que la IA pueda agravar la ciberdelincuencia, la desinformación o el uso indebido de herramientas biológicas. El desacuerdo está en el salto desde daños graves hasta la extinción humana.

Gary Marcus ha dicho que la IA puede contribuir a ciberataques, amenazas biológicas, campañas de desinformación y escaladas de conflictos. Sin embargo, no ve una vía realista, a corto plazo, para que llegue literalmente a «matar a todos los humanos». 15 Su posición es que los riesgos concretos merecen atención sin asumir que los actuales modelos de lenguaje estén en una trayectoria directa hacia una superinteligencia incontrolable.

Yann LeCun también ha cuestionado las estimaciones de alta confianza sobre el llamado p(doom) —la probabilidad asignada a un desastre existencial causado por IA—. La cobertura del debate resume su postura como una valoración del riesgo de extinción por IA muy inferior al de una catástrofe nuclear, al tiempo que subraya el carácter inherentemente especulativo de esas cifras.

Por tanto, la división no es simplemente entre quienes se preocupan y quienes no. Gira en torno a dos preguntas aún sin resolver:

1. Calendario de capacidades: ¿cuándo, si es que ocurre, los sistemas serán ampliamente sobrehumanos y capaces de mejorar su propio rendimiento?
2. Control: si eso sucede, ¿podrán los desarrolladores mantenerlos bajo control de forma fiable, o las salvaguardas fallarán ante modelos más capaces y la presión competitiva por desplegarlos?

Qué puede decir —y qué no— una cifra del 10%

No existe un método validado para calcular una probabilidad precisa de que la IA cause la extinción humana. Estimaciones como las de Hinton y Hubinger son juicios bajo una incertidumbre profunda, no probabilidades obtenidas a partir de datos históricos repetibles. 14

Eso significa que el 10% no debe leerse como prueba de que la extinción sea probable. Pero la ausencia de una cifra fiable tampoco demuestra que el riesgo sea insignificante. La conclusión más acotada es que los expertos discrepan intensamente sobre la probabilidad y los mecanismos, aunque muchos coinciden en que una IA muy potente puede generar retos serios de seguridad y gobernanza mucho antes de cualquier escenario hipotético de extinción.

La propuesta: evaluar las capacidades antes del despliegue

Hinton ha reclamado atención urgente de gobiernos y organizaciones internacionales frente a los riesgos de la IA. Coxon, por su parte, ha defendido que la regulación es clave para reducir el peligro.

Por ello, la discusión pública se concentra en salvaguardas aplicables a capacidades y usos identificables: evaluaciones rigurosas de modelos de frontera, ciberseguridad reforzada, protecciones de bioseguridad, comunicación y supervisión de incidentes graves, y revisión independiente antes de conceder a los sistemas más autonomía o acceso a herramientas sensibles.

La discusión sobre ese 10% seguirá sin una respuesta definitiva. El punto de Hinton no es que alguien pueda calcular las probabilidades con certeza, sino que lo que está en juego es tan grave —y la incertidumbre tan grande— que esperar a tener certeza podría ser un criterio equivocado para actuar con precaución. 14