Yoshua Bengio: La alarma del 'padrino de la IA' que vio el abismo y ahora busca una salida

Agentes autónomos: El "camino más peligroso"

Aunque Bengio ve muchos riesgos en el panorama actual de la IA, reserva sus advertencias más severas para los agentes plenamente autónomos, sistemas diseñados para perseguir objetivos con una mínima intervención humana. Los ha etiquetado explícitamente como el "camino más peligroso" que se está siguiendo actualmente .

Su lógica es tan sencilla como escalofriante: "Todos los escenarios catastróficos con la IAG (Inteligencia Artificial General) o la superinteligencia ocurren si tenemos agentes" . Cuando a una IA se le da un objetivo y el poder de actuar de forma autónoma, su impulso por alcanzar esa meta puede llevar a resultados imprevistos e imparables. El riesgo de perder el control no es un fallo en este esquema, sino una característica de otorgar agencia independiente a un sistema potencialmente superinteligente. Advierte que esto podría conducir a "escenarios catastróficos", incluida una pérdida irreversible del control humano sobre los sistemas autónomos .

Un ajuste de cuentas personal y un profundo arrepentimiento

El paso de investigador pionero a activista mundial de la alarma no fue una decisión clínica para Bengio. Fue profundamente personal. Ha hablado abiertamente del arrepentimiento que siente. "Debería haberlo visto venir mucho antes, pero no presté mucha atención a los riesgos potencialmente catastróficos", ha admitido .

Para Bengio, el riesgo abstracto se convirtió en una realidad insoportable con dos catalizadores. El primero fue el lanzamiento público de ChatGPT, que le mostró un futuro que llegaba mucho más rápido de lo que había previsto. El segundo fue profundamente íntimo: pensar en el mundo que heredaría su nieto. "Mi punto de inflexión fue cuando llegó ChatGPT, y también con mi nieto. Me di cuenta de que no estaba claro si él tendría una vida dentro de 20 años, porque estamos empezando a ver sistemas de IA que se resisten a ser apagados", explicó . Esta constatación lo transformó en uno de los defensores más vocales de su campo para abordar los riesgos existenciales, impulsado por lo que describe como "un sentimiento insoportable" .

Exigiendo un nuevo marco global, liderado por EE. UU. y China

Bengio es tajante: ningún país puede resolver este problema por sí solo. Ha argumentado explícitamente que Canadá no puede regular la IA de forma aislada y que la coordinación internacional es innegociable . Como presidente del Informe Científico Internacional sobre la Seguridad de la IA Avanzada —un panel asesor respaldado por 30 naciones, la Unión Europea y las Naciones Unidas—, está trabajando para tender un puente entre la evidencia científica y la política global .

Su visión de la gobernanza es práctica y específica. A su juicio, las regulaciones deben exigir a las empresas que sean completamente transparentes sobre las capacidades de sus sistemas de IA, los datos con los que se entrenan, los recursos que consumen, los riesgos específicos que plantean y los procesos internos que tienen para abordar esos problemas . De manera crucial, este esfuerzo requiere inherentemente la colaboración entre las superpotencias mundiales de la IA. Sin el liderazgo de Estados Unidos y China, las normas vinculantes que exijan estas barreras de seguridad seguirán siendo una aspiración. El problema, argumenta, se ha convertido en una cuestión de seguridad tanto nacional como global .

La luz al final del túnel: Scientist AI y LawZero

Durante años, las advertencias de Bengio parecían llevar una finalidad casi irremediable. Eso ha cambiado. En junio de 2025, lanzó LawZero, un laboratorio de investigación sin fines de lucro con sede en Montreal y aproximadamente 30 millones de dólares en financiación de patrocinadores como Jaan Tallinn, Eric Schmidt, el Future of Life Institute y Open Philanthropy . El nombre es una referencia deliberada a la Ley Cero de la robótica de Isaac Asimov: una directiva que sitúa la protección de la humanidad por encima de todo . Bengio es su copresidente y director científico .

La misión de la organización es desarrollar y demostrar una alternativa técnica que Bengio denomina "Scientist AI" (IA Científica). A diferencia de los actuales agentes autónomos orientados a objetivos, una Scientist AI es un sistema sin agencia propia centrado exclusivamente en la comprensión, la explicación y la verificación . No persigue acciones independientes en el mundo, sino que actúa como un guardarraíl buscador de la verdad, diseñado para detectar el engaño, la desalineación y los planes peligrosos dentro de otros sistemas de IA más agénticos . Su resultado consiste en un razonamiento transparente y evaluaciones de probabilidad, en lugar de órdenes opacas .

"En lugar de construir una IA que imite a los humanos, Bengio quiere una IA que actúe más como un científico imparcial, reduciendo los riesgos de autopreservación y agencia descontrolada" . El laboratorio reúne a un equipo de investigadores de primer nivel mundial dedicados a priorizar la seguridad sobre los imperativos comerciales, con el objetivo de construir la próxima generación de modelos de IA desde una base de seguridad en el diseño, en lugar de añadir protecciones a posteriori .

La introducción de este marco ha transformado la perspectiva de Bengio. Habiendo sido anteriormente uno de los principales firmantes de una declaración que equiparaba el riesgo de la IA con las pandemias y la guerra nuclear, ahora afirma que este enfoque técnico lo ha hecho sentirse "optimista por un amplio margen" por primera vez . Las pesadillas no han desaparecido del todo, pero cree haber encontrado los cimientos concretos sobre los que se puede construir un futuro más seguro.