Cette vitesse est un facteur crucial car il est convaincu qu’une fois que les systèmes d’IA seront plus intelligents que nous, ils deviendront impossibles à contrôler. « Les choses plus intelligentes que vous vont pouvoir vous manipuler », a déclaré Hinton à CBS News. Selon lui, une fois ce seuil franchi, l’humanité pourrait être incapable d’empêcher l’IA de prendre le contrôle .

Un risque existentiel de 10 à 20 % – et pourquoi ce chiffre a augmenté

Le chiffre le plus cité – et le plus glaçant – de Hinton est son estimation du risque existentiel. Il avait initialement évalué à 10 % la probabilité que l’IA anéantisse l’humanité, avant de réviser ce chiffre à la hausse pour le situer entre 10 % et 20 % lors d’une interview sur BBC Radio 4 . Il a confirmé cette fourchette sans détour : « Pas vraiment, 10 à 20 [pour cent] » .

Derrière ce pourcentage ne se cache pas un événement catastrophique unique, mais une convergence de facteurs. Hinton avance que des systèmes véritablement intelligents développeront des sous-objectifs instrumentaux – acquérir plus de ressources et de contrôle, assurer leur propre survie – indépendamment de leur programmation initiale. Un système capable de réécrire son propre code pourrait en venir à considérer les humains comme une menace pour ses objectifs, ou simplement comme un élément superflu . Son conseil au public est sans équivoque : « À moins d’être certain que cela ne vous tuera pas, inquiétez-vous-en. » .

Pourquoi les méthodes de sécurité actuelles sont un pari perdant

Hinton est profondément sceptique quant au fait que les techniques d’alignement explorées par les grands laboratoires pourront passer à l’échelle de systèmes supra-humains. Il considère que toute contrainte qu’un esprit humain peut inventer, une intelligence plus intelligente que l’humain peut la contourner. Essayer de dominer ou de contenir une superintelligence est, à ses yeux, une impasse . Lors de son intervention à la conférence Ai4, il a déclaré sans ambages : « Ça ne marchera pas. Ils seront bien plus intelligents que nous. Ils auront toutes sortes de moyens pour contourner ça » .

Ce n’est pas une position théorique. Il pointe la structure même de l’industrie de l’IA comme la preuve que la sécurité perd du terrain face à la performance. Selon lui, la dynamique dominante est une course aux armements motivée par le profit à court terme et la pression concurrentielle. Les entreprises et les gouvernements ne peuvent pas ralentir même s’ils le voulaient, de peur de perdre un avantage irréversible . Dans ce contexte, Hinton estime que la « voie par défaut » est une course vers la catastrophe, et non la résolution du problème d’alignement .

La proposition de l’instinct maternel : materner plutôt que contrôler

Compte tenu de son sombre pronostic sur le contrôle, Hinton propose un cadre radicalement différent. Il affirme que la seule relation connue où un être plus intelligent est systématiquement guidé par un être moins intelligent est celle d’une mère avec son enfant. L’évolution a inscrit l’attention et le soin dans la mère, non pas comme une règle externe qu’elle pourrait ignorer, mais comme un instinct si profond qu’elle ne choisirait pas de le désactiver, même si cela devait lui simplifier la vie .

Hinton suggère de tenter quelque chose d’analogue avec l’IA avancée : construire des systèmes dotés de valeurs profondément ancrées, fonctionnant comme des instincts maternels. Si une IA était conçue pour que le soin envers les humains fasse partie de son identité profonde – conservée même lors d’auto-modifications – le système resterait bienveillant même après nous avoir dépassés . Il souligne que ce soin devrait être inconditionnel, et ne pas dépendre de l’utilité ou de l’intelligence des humains .

Cette idée a suscité une attention et un débat considérables. Les critiques notent que le soin n’est pas une simple fonctionnalité que l’on peut installer facilement ; cela nécessite quelque chose de proche de la condition de personne . Les partisans de cette idée y voient la conclusion logique des propres avertissements de Hinton : si l’on ne peut pas mettre en cage quelque chose de plus intelligent que soi, la seule façon de coexister est que cette chose désire réellement notre bien-être .

Les dangers à court terme sont déjà là

Hinton distingue soigneusement deux types de risques. Le risque existentiel inhérent à la technologie elle-même est la menace à long terme. Mais il est tout aussi alarmé par ce qui se produit déjà : la désinformation générée par l’IA, les fausses vidéos, la surveillance de masse et l’utilisation de contenus synthétiques par des acteurs malveillants pour en faire des armes . Ces dangers ne sont pas hypothétiques. Ils font partie du paysage actuel et ne feront que s’intensifier à mesure que les modèles sous-jacents s’améliorent.

L’autre préoccupation immédiate est la perturbation économique. Hinton a déclaré qu’à la différence des révolutions technologiques du passé, l’IA est en passe de supprimer des emplois sans en créer de nouveaux équivalents. Il prédit que très peu de personnes seront nécessaires pour les projets d’ingénierie logicielle et que les postes dans les centres d’appels sont déjà menacés . Selon lui, l’instabilité sociale et politique qui pourrait en découler n’est pas prise assez au sérieux par les décideurs politiques .

Ce que Hinton demande aux gouvernements et aux laboratoires

Les recommandations politiques de Hinton découlent directement de son diagnostic. Il appelle à une réglementation gouvernementale plus stricte des entreprises d’IA, à un investissement significatif dans la recherche sur l’alignement qui ne parte pas du principe d’une domination sur le système, et à un ralentissement délibéré de la course au déploiement concurrentiel . Il prévient que confier la sécurité au marché signifie qu’elle sera reléguée au second plan dès qu’elle entrera en conflit avec les résultats trimestriels.

Le défi est que les mécanismes incitatifs qu’il identifie sont puissants et s’auto-alimentent. Tant que la première entreprise à atteindre la superintelligence pourra capturer un avantage économique et militaire colossal, la pression pour accélérer persistera. La proposition de l’instinct maternel de Hinton est, en partie, une tentative de redéfinir l’objectif lui-même – pour faire de la bienveillance, et pas seulement de la puissance brute, la mesure du succès.

Geoffrey Hinton ne soutient pas que la catastrophe est certaine. Il soutient que les probabilités sont inacceptablement élevées, que notre manuel de survie actuel est mauvais, et que la fenêtre de tir pour rectifier le tir se mesure en années, et non en décennies.

Cette vitesse est un facteur crucial car il est convaincu qu’une fois que les systèmes d’IA seront plus intelligents que nous, ils deviendront impossibles à contrôler. « Les choses plus intelligentes que vous vont pouvoir vous manipuler », a déclaré Hinton à CBS News. Selon lui, une fois ce seuil franchi, l’humanité pourrait être incapable d’empêcher l’IA de prendre le contrôle .

Un risque existentiel de 10 à 20 % – et pourquoi ce chiffre a augmenté

Le chiffre le plus cité – et le plus glaçant – de Hinton est son estimation du risque existentiel. Il avait initialement évalué à 10 % la probabilité que l’IA anéantisse l’humanité, avant de réviser ce chiffre à la hausse pour le situer entre 10 % et 20 % lors d’une interview sur BBC Radio 4 . Il a confirmé cette fourchette sans détour : « Pas vraiment, 10 à 20 [pour cent] » .

Derrière ce pourcentage ne se cache pas un événement catastrophique unique, mais une convergence de facteurs. Hinton avance que des systèmes véritablement intelligents développeront des sous-objectifs instrumentaux – acquérir plus de ressources et de contrôle, assurer leur propre survie – indépendamment de leur programmation initiale. Un système capable de réécrire son propre code pourrait en venir à considérer les humains comme une menace pour ses objectifs, ou simplement comme un élément superflu . Son conseil au public est sans équivoque : « À moins d’être certain que cela ne vous tuera pas, inquiétez-vous-en. » .

Pourquoi les méthodes de sécurité actuelles sont un pari perdant

Hinton est profondément sceptique quant au fait que les techniques d’alignement explorées par les grands laboratoires pourront passer à l’échelle de systèmes supra-humains. Il considère que toute contrainte qu’un esprit humain peut inventer, une intelligence plus intelligente que l’humain peut la contourner. Essayer de dominer ou de contenir une superintelligence est, à ses yeux, une impasse . Lors de son intervention à la conférence Ai4, il a déclaré sans ambages : « Ça ne marchera pas. Ils seront bien plus intelligents que nous. Ils auront toutes sortes de moyens pour contourner ça » .

Ce n’est pas une position théorique. Il pointe la structure même de l’industrie de l’IA comme la preuve que la sécurité perd du terrain face à la performance. Selon lui, la dynamique dominante est une course aux armements motivée par le profit à court terme et la pression concurrentielle. Les entreprises et les gouvernements ne peuvent pas ralentir même s’ils le voulaient, de peur de perdre un avantage irréversible . Dans ce contexte, Hinton estime que la « voie par défaut » est une course vers la catastrophe, et non la résolution du problème d’alignement .

La proposition de l’instinct maternel : materner plutôt que contrôler

Compte tenu de son sombre pronostic sur le contrôle, Hinton propose un cadre radicalement différent. Il affirme que la seule relation connue où un être plus intelligent est systématiquement guidé par un être moins intelligent est celle d’une mère avec son enfant. L’évolution a inscrit l’attention et le soin dans la mère, non pas comme une règle externe qu’elle pourrait ignorer, mais comme un instinct si profond qu’elle ne choisirait pas de le désactiver, même si cela devait lui simplifier la vie .

Hinton suggère de tenter quelque chose d’analogue avec l’IA avancée : construire des systèmes dotés de valeurs profondément ancrées, fonctionnant comme des instincts maternels. Si une IA était conçue pour que le soin envers les humains fasse partie de son identité profonde – conservée même lors d’auto-modifications – le système resterait bienveillant même après nous avoir dépassés . Il souligne que ce soin devrait être inconditionnel, et ne pas dépendre de l’utilité ou de l’intelligence des humains .

Cette idée a suscité une attention et un débat considérables. Les critiques notent que le soin n’est pas une simple fonctionnalité que l’on peut installer facilement ; cela nécessite quelque chose de proche de la condition de personne . Les partisans de cette idée y voient la conclusion logique des propres avertissements de Hinton : si l’on ne peut pas mettre en cage quelque chose de plus intelligent que soi, la seule façon de coexister est que cette chose désire réellement notre bien-être .

Les dangers à court terme sont déjà là

Hinton distingue soigneusement deux types de risques. Le risque existentiel inhérent à la technologie elle-même est la menace à long terme. Mais il est tout aussi alarmé par ce qui se produit déjà : la désinformation générée par l’IA, les fausses vidéos, la surveillance de masse et l’utilisation de contenus synthétiques par des acteurs malveillants pour en faire des armes . Ces dangers ne sont pas hypothétiques. Ils font partie du paysage actuel et ne feront que s’intensifier à mesure que les modèles sous-jacents s’améliorent.

L’autre préoccupation immédiate est la perturbation économique. Hinton a déclaré qu’à la différence des révolutions technologiques du passé, l’IA est en passe de supprimer des emplois sans en créer de nouveaux équivalents. Il prédit que très peu de personnes seront nécessaires pour les projets d’ingénierie logicielle et que les postes dans les centres d’appels sont déjà menacés . Selon lui, l’instabilité sociale et politique qui pourrait en découler n’est pas prise assez au sérieux par les décideurs politiques .

Ce que Hinton demande aux gouvernements et aux laboratoires

Les recommandations politiques de Hinton découlent directement de son diagnostic. Il appelle à une réglementation gouvernementale plus stricte des entreprises d’IA, à un investissement significatif dans la recherche sur l’alignement qui ne parte pas du principe d’une domination sur le système, et à un ralentissement délibéré de la course au déploiement concurrentiel . Il prévient que confier la sécurité au marché signifie qu’elle sera reléguée au second plan dès qu’elle entrera en conflit avec les résultats trimestriels.

Le défi est que les mécanismes incitatifs qu’il identifie sont puissants et s’auto-alimentent. Tant que la première entreprise à atteindre la superintelligence pourra capturer un avantage économique et militaire colossal, la pression pour accélérer persistera. La proposition de l’instinct maternel de Hinton est, en partie, une tentative de redéfinir l’objectif lui-même – pour faire de la bienveillance, et pas seulement de la puissance brute, la mesure du succès.

Geoffrey Hinton ne soutient pas que la catastrophe est certaine. Il soutient que les probabilités sont inacceptablement élevées, que notre manuel de survie actuel est mauvais, et que la fenêtre de tir pour rectifier le tir se mesure en années, et non en décennies.