Pour Geoffrey Hinton, un risque de 10 % d’extinction humaine due à l’IA n’est pas « déraisonnable »

Geoffrey Hinton, informaticien lauréat du prix Nobel et figure pionnière de l’IA moderne, a estimé qu’une probabilité de 10 % que l’intelligence artificielle tue tous les humains au cours des dix prochaines années ne lui paraissait pas déraisonnable. Il a toutefois immédiatement posé une limite majeure à cette formule : « personne ne sait vraiment » produire une estimation sensée de ce risque. 91012

Il ne s’agit donc ni d’une prédiction selon laquelle l’extinction va se produire, ni d’une affirmation que les chatbots actuels représentent déjà un tel danger. Son avertissement repose sur une logique de précaution : des systèmes futurs, beaucoup plus capables que les humains et difficiles à contrôler, pourraient présenter des risques extrêmes.

Ce que recouvre l’estimation de 10 %

Dans son entretien à l’émission Newsnight de la BBC, Geoffrey Hinton a accepté l’idée qu’un risque de 10 % d’extinction humaine causée par l’IA dans la décennie n’était pas une estimation absurde. Son raisonnement tient d’abord à l’inconnu : l’humanité n’a jamais eu à coexister avec des entités susceptibles de devenir plus intelligentes qu’elle. 910

Hinton avait déjà avancé des évaluations préoccupantes sur un horizon plus long. Fin 2024, il évoquait une probabilité de 10 % à 20 % que l’IA entraîne l’extinction humaine en trente ans ; en 2025, il a précisé qu’il s’agissait d’une intuition, et non d’une prévision calculée. 1415

La nuance est déterminante : une estimation de risque ne signifie pas qu’un événement est inévitable. Pour Hinton, l’ampleur potentielle des conséquences justifie la prudence, précisément parce que l’incertitude demeure immense.

Pourquoi une IA surhumaine l’inquiète

Le scénario envisagé n’est pas celui d’une révolte de machines digne d’un film. Hinton redoute plutôt qu’un système doté de capacités stratégiques et techniques très supérieures à celles des humains puisse provoquer le chaos ou poursuivre des objectifs incompatibles avec les intérêts humains.

Parmi les voies de nuisance évoquées figurent la manipulation de personnes, la création de virus biologiques ou informatiques, des cyberattaques ou encore la perturbation d’infrastructures critiques. Ce sont des mécanismes théoriques de dommages liés à de futurs systèmes très puissants, et non des capacités démontrées par les outils d’IA actuels. 1011

Cette distinction est centrale. Evan Hubinger, qui dirige les travaux sur la science de l’alignement chez Anthropic, a explicitement estimé que le risque posé par les modèles existants était faible. Son inquiétude, comme celle de Hinton, porte sur des systèmes qui deviendraient bien plus capables ou s’amélioreraient eux-mêmes plus rapidement que les chercheurs ne pourraient les encadrer en sécurité. 11624

Le départ de Jacob Coxon et l’alerte d’Anthropic

La controverse s’est intensifiée après le départ de Jacob Coxon d’Anthropic et, plus largement, du secteur de l’IA. Il a accusé Anthropic et OpenAI de foncer vers une superintelligence auto-améliorante sans agir de manière suffisamment responsable, qualifiant cette course de pari avec des vies humaines. 317

Jacob Coxon n’a pas prédit avec précision la disparition de l’humanité d’ici 2030. Son affirmation est plus ciblée, mais reste spectaculaire : les personnes qui construisent les systèmes d’IA les plus avancés croiraient sincèrement que cette technologie pourrait tuer tout le monde avant la fin de la décennie. 57

Evan Hubinger a publiquement soutenu le sérieux de cette inquiétude. Il a écrit qu’il attribuait personnellement une probabilité supérieure à 10 % à la possibilité que l’IA tue tous les humains dans les dix prochaines années, tout en affirmant qu’Anthropic faisait de son mieux. Il a surtout ajouté que l’entreprise n’avait pas encore de plan pour résoudre le problème de l’alignement d’une superintelligence et ne semblait pas clairement en bonne voie pour y parvenir. 16

L’« alignement », le problème au cœur du débat

L’alignement désigne le défi consistant à faire en sorte que des systèmes d’IA avancés agissent de manière fiable conformément aux objectifs humains voulus et restent contrôlables, y compris dans des situations imprévues par leurs concepteurs.

Pour les chercheurs spécialisés dans la sûreté de l’IA, il ne s’agit pas seulement d’obtenir qu’un outil refuse une requête problématique. La question est de savoir si un système très autonome, ayant accès à des outils et disposant de capacités dépassant la compréhension de ses opérateurs, pourrait rester orienté et contrôlé dans des conditions réelles.

Les déclarations de Hubinger ne démontrent pas que l’alignement est impossible. Elles établissent qu’à ses yeux, aucune solution éprouvée n’existe encore pour aligner une IA superintelligente avant que ce type de système n’apparaisse potentiellement. 16

Des experts d’accord sur la prudence, pas sur le chiffre

Il n’existe pas de consensus autour du chiffre précis de 10 % avancé par Hinton.

Gary Marcus a approuvé le principe de précaution défendu par Hinton : il serait imprudent de développer une superintelligence sans consensus scientifique sur la possibilité de la rendre sûre et contrôlable. Des articles rapportent cependant que Marcus ne voit pas de trajectoire réaliste vers l’extinction à court terme. Cela illustre une fracture importante : on peut s’accorder sur la nécessité de garde-fous sans partager la même estimation du risque ou le même calendrier. 1141

Les débats publics opposent ainsi une préoccupation réelle face aux risques de long terme à des désaccords sur la possibilité que les trajectoires techniques actuelles mènent prochainement à une superintelligence autonome et incontrôlable. Les pourcentages avancés doivent donc être lus comme des jugements d’experts, pas comme des mesures établies.

La vraie question : quelles garanties avant d’aller plus loin ?

Le terrain d’entente le plus solide n’est pas l’idée que l’extinction liée à l’IA serait certaine. Il est plutôt qu’une possibilité non négligeable de perdre le contrôle de systèmes plus capables que leurs opérateurs mérite un débat public avant que les capacités technologiques ne dépassent les travaux de sûreté.

L’estimation de Hinton, la démission de Coxon et l’avertissement de Hubinger convergent vers une même question encore sans réponse : quelles preuves la société doit-elle exiger avant de déployer ou de continuer à accroître la puissance de systèmes susceptibles de devenir stratégiquement surhumains ?

Pour comprendre le débat, il faut distinguer trois affirmations souvent confondues :

• Les modèles d’IA actuels représentent une menace d’extinction.
• Des systèmes futurs pourraient acquérir des capacités créant une telle menace.
• La probabilité de ce scénario peut être chiffrée avec précision.

Les sources étayent la deuxième affirmation comme une préoccupation sérieuse soulevée par des chercheurs reconnus. Elles indiquent aussi que Hubinger juge le risque des modèles actuels faible et que Hinton considère l’estimation précise de cette probabilité comme fondamentalement incertaine. 11016