Geoffrey Hinton juge « non déraisonnable » un risque de 10 % d’extinction lié à l’IA

Geoffrey Hinton, pionnier de l’IA et lauréat du prix Nobel de physique 2024, estime qu’une probabilité de 10 % que l’IA entraîne l’extinction de l’humanité au cours des dix prochaines années n’est pas « déraisonnable ». Il a aussitôt posé une limite essentielle à cette affirmation : « personne ne sait vraiment produire une estimation sensée ». 14

Autrement dit, il ne présente pas un calcul scientifique solidement étalonné. Il défend l’idée qu’au vu de l’ampleur potentielle des conséquences et de l’incertitude sur les capacités futures des systèmes, écarter ce risque d’un revers de main serait imprudent.

Deux catégories de risques : l’usage malveillant et la perte de contrôle

Hinton distingue les dommages provoqués par des humains qui utiliseraient l’IA à des fins malveillantes, et le risque à plus long terme de systèmes très puissants qui deviendraient difficiles à maîtriser.

Les dangers les plus immédiats sont déjà identifiables. Dans son discours pour le Nobel, il a cité les bulles de recommandation qui attisent les divisions, la surveillance de masse par des gouvernements autoritaires et les attaques d’hameçonnage facilitées par l’IA. Il a aussi averti que cette technologie pourrait aider à créer de dangereux virus ou des armes létales capables de décider elles-mêmes qui tuer ou blesser. Selon lui, ces risques exigent une réponse urgente et ferme des gouvernements et des organisations internationales.

Dans les scénarios les plus graves envisagés par les spécialistes de la sûreté de l’IA, des systèmes disposant de fortes capacités techniques, stratégiques et opérationnelles pourraient contribuer à découvrir des failles informatiques, à concevoir des armes biologiques ou à s’emparer de ressources et d’infrastructures critiques. 5

Le cœur du débat : « l’alignement »

La question technique centrale est celle de l’alignement : peut-on s’assurer qu’une IA beaucoup plus capable que l’être humain poursuive réellement les objectifs fixés par les humains, accepte d’être corrigée et reste soumise à des limites effectives ?

Jacob Coxon, ancien chercheur d’Anthropic et d’OpenAI, a quitté Anthropic en affirmant que les grands laboratoires « couraient droit vers une superintelligence auto-améliorante » et « jouaient avec nos vies ». 18 Son inquiétude tient à l’hypothèse selon laquelle des systèmes pourraient améliorer leurs propres capacités plus vite que les méthodes de sécurité ne progressent.

Evan Hubinger, responsable des travaux d’Anthropic sur la science de l’alignement, a publiquement soutenu l’essentiel de cette alerte. Il a écrit estimer personnellement à plus de 10 % la probabilité que l’IA puisse tuer tous les humains dans les dix ans, ajoutant qu’Anthropic ne disposait pas encore d’un plan pour résoudre l’alignement d’une superintelligence et n’était pas clairement en bonne voie pour y parvenir. 16

Ces avertissements ne signifient pas que les modèles actuels seraient sur le point d’agir seuls contre l’humanité. Hubinger a au contraire décrit le risque des systèmes existants comme faible. Leur crainte concerne une transition future : celle où des modèles deviendraient assez compétents pour s’améliorer ou agir efficacement dans le monde avant que leurs concepteurs ne sachent les contrôler de façon fiable. 116

Pourquoi certains chercheurs rejettent le scénario d’extinction proche

Les sceptiques ne nient pas que l’IA puisse aggraver la cybercriminalité, la désinformation ou les risques biologiques. Leur désaccord porte sur le passage d’un préjudice grave à l’extinction de l’espèce humaine.

Le chercheur Gary Marcus considère que l’IA peut faciliter des cyberattaques, des menaces biologiques, la désinformation ou l’escalade de conflits. Mais il dit ne connaître aucun scénario réaliste, à court terme, qui conduirait littéralement à « tuer tous les humains ». 15

Yann LeCun a lui aussi contesté les estimations très affirmatives du risque existentiel, parfois désigné dans le secteur par l’expression p(doom). Selon les éléments rapportés sur ce débat, il juge ce risque nettement inférieur à celui d’un holocauste nucléaire, tout en soulignant le caractère nécessairement spéculatif de ces évaluations.

La ligne de fracture n’oppose donc pas simplement les « inquiets » aux « rassurés ». Elle porte surtout sur deux inconnues :

1. Le calendrier des capacités : à quelle vitesse, si cela arrive un jour, des systèmes deviendront-ils largement surhumains et capables d’améliorer leurs propres performances ?
2. La contrôlabilité : si ce seuil est franchi, les développeurs sauront-ils maintenir ces systèmes sous contrôle, y compris face à la pression concurrentielle de leur déploiement ?

Ce qu’un chiffre de 10 % dit — et ne dit pas

Il n’existe pas de méthode validée permettant de calculer une probabilité précise que l’IA cause l’extinction humaine. Les chiffres avancés par Hinton ou Hubinger relèvent donc de jugements d’experts dans une situation d’incertitude extrême, et non de probabilités déduites de données historiques répétables. 14

Ce 10 % ne prouve pas que l’extinction est probable. Mais l’impossibilité de fournir un chiffre fiable ne prouve pas non plus que le risque est négligeable. Le constat le plus solide est plus limité : les experts divergent fortement sur la probabilité et le mécanisme d’un scénario extrême, tandis que beaucoup reconnaissent que les IA puissantes peuvent poser des défis majeurs de sécurité et de gouvernance bien avant une hypothétique catastrophe existentielle.

Agir avant le déploiement de capacités sensibles

Hinton demande une attention urgente des autorités publiques et des organisations internationales. Jacob Coxon a également présenté la régulation comme un élément central de la réduction du danger.

Dans cette optique, le débat réglementaire se concentre sur des mesures applicables aux systèmes et usages identifiables : évaluations rigoureuses des modèles de pointe, cybersécurité renforcée, protections en biosécurité, signalement des incidents graves, contrôle indépendant et examen préalable à l’octroi d’une plus grande autonomie ou d’un accès à des outils sensibles.

La controverse sur le chiffre de 10 % ne sera pas tranchée par une formule. Le point soulevé par Hinton est plutôt que les enjeux sont suffisamment élevés — et l’incertitude suffisamment grande — pour que l’absence de certitude ne devienne pas un prétexte à l’inaction. 14