Le risque de 10 % évoqué par Evan Hubinger ravive le débat sur l’alignement de l’IA

Evan Hubinger n’a pas démontré que l’IA entraînerait l’extinction humaine. Son message public a établi un point plus précis, mais particulièrement marquant : le responsable de l’équipe de science de l’alignement d’Anthropic a déclaré estimer personnellement à plus de 10 % la probabilité d’un tel scénario au cours des dix prochaines années. Il a aussi reconnu qu’Anthropic ne disposait pas encore d’un plan pour résoudre le problème de l’alignement d’une superintelligence, ni d’une trajectoire clairement établie pour y parvenir. 12

Ces déclarations apportent un écho concret à la préoccupation formulée par Jacob Coxon, ancien chercheur d’Anthropic et d’OpenAI, au moment de sa démission : les laboratoires de pointe progressent vers des systèmes beaucoup plus capables, alors que les méthodes permettant de les maintenir de façon fiable au service des intentions humaines restent non démontrées. 23

Une estimation personnelle, pas une conclusion d’entreprise

Le chiffre de « plus de 10 % » est l’évaluation propre à Evan Hubinger. Il n’a pas été présenté comme une estimation officielle d’Anthropic, comme un avis partagé par l’ensemble de ses salariés, ni comme une prévision scientifique établie. 12

Cette nuance est essentielle. Une probabilité, à elle seule, ne décrit pas le mécanisme d’une catastrophe, ne fixe pas un calendrier précis et ne prouve pas qu’elle est probable. Hubinger aurait par ailleurs indiqué que le risque posé par les modèles actuellement disponibles était faible. Son inquiétude vise des systèmes futurs, nettement plus capables, notamment s’ils pouvaient s’améliorer de manière récursive — en mobilisant leurs propres capacités pour aider à concevoir une IA plus performante. 210

La portée de son intervention ne se réduit donc pas à un chiffre spectaculaire. Elle réside dans le décalage qu’elle met en lumière entre l’accélération des capacités et la confiance dans la possibilité de garder une éventuelle superintelligence sous contrôle humain. 12

Pourquoi cela renforce l’alerte lancée par Jacob Coxon

Jacob Coxon, qui a travaillé chez OpenAI puis Anthropic, a quitté Anthropic en accusant les deux entreprises de ne pas agir de façon responsable et de courir vers une superintelligence auto-améliorable. Hubinger a publiquement approuvé son affirmation selon laquelle les personnes qui construisent ces systèmes envisagent sincèrement la possibilité de conséquences allant jusqu’à l’extinction. 23

Cela ne prouve pas que tous les salariés partagent cette analyse, ni que le récit de Coxon constitue à lui seul une évaluation indépendante des deux entreprises. En revanche, l’intervention d’un responsable actuel de l’alignement rend plus difficile de réduire sa démission à une protestation isolée d’un ancien employé. Elle montre qu’une inquiétude sérieuse peut coexister, au sein d’un laboratoire, avec la poursuite du développement des modèles de pointe. 12

Les commentaires attribués à Samuel Marks doivent être lus avec la même prudence. Selon les informations publiées, il a déclaré que des développeurs d’IA estimaient que leur technologie pouvait mener à l’extinction humaine ou à des issues d’une gravité comparable. Il s’agit toutefois d’un point de vue d’initié, et non d’une estimation de risque publiée à l’échelle d’une entreprise. 5

Le débat de fond : gouverner dans l’incertitude

L’épisode est souvent résumé à une opposition entre « catastrophisme » et optimisme technologique. La question utile est plus concrète : quelles garanties faut-il exiger lorsque les dommages potentiels seraient mondiaux et irréversibles, mais que leur probabilité et leur échéance restent profondément incertaines ?

Les propos de Hubinger mettent plusieurs enjeux en relief :

• L’alignement n’est pas résolu. Affirmer qu’un laboratoire travaille activement sur la sûreté ne revient pas à démontrer qu’il dispose d’une méthode validée pour contrôler des systèmes bien plus capables que ceux d’aujourd’hui. 1
• La concurrence peut rendre l’autolimitation difficile. Coxon reproche aux laboratoires d’être poussés vers des capacités supérieures par la compétition, alors que des questions majeures de sécurité demeurent sans réponse. 23
• La sûreté des modèles actuels ne règle pas tout. Hubinger distingue le risque qu’il estime faible pour les modèles présents de celui associé à de futurs systèmes beaucoup plus puissants. 210
• La vérification extérieure compte. Sans évaluations indépendantes et comptes rendus transparents, le public, les clients et les autorités ont peu de moyens d’apprécier les processus internes de sécurité invoqués par les entreprises.

Ces éléments ne constituent pas la preuve d’un désastre imminent. Ce sont des problèmes de gouvernance, qui pourraient devenir beaucoup plus difficiles à résoudre une fois certaines capacités dangereuses acquises.

La transparence, un point de friction supplémentaire

Des informations de presse indiquent qu’Anthropic aurait refusé de soumettre son dernier modèle à des tests de l’AI Safety Institute britannique avant sa sortie. Cette affirmation doit être maniée avec précaution : les récits disponibles la présentent comme une information rapportée, et non comme une conclusion publique confirmée par l’entreprise ou le gouvernement britannique. 10

Elle illustre néanmoins la raison pour laquelle les engagements volontaires de sûreté suscitent du scepticisme. Lorsque des responsables de la sécurité d’une entreprise reconnaissent que l’alignement reste non résolu, il est légitime de demander quels tests ont été effectués, qui les a examinés, quels résultats ont été communiqués et quels seuils de capacité déclenchent des contrôles plus stricts.

Ce que pourrait recouvrir une trajectoire plus prudente

Demander de ralentir ne signifie pas nécessairement interrompre indéfiniment toute recherche ou tout déploiement d’IA. L’enjeu politique est plutôt d’imposer des contrôles opposables avant que les systèmes ne franchissent des seuils de capacité particulièrement sensibles.

Parmi les mesures envisageables figurent :

• des évaluations indépendantes de capacités et de sûreté avant déploiement ;
• des obligations de signalement des incidents graves et des capacités présentant un danger significatif ;
• des seuils plus clairs imposant des exigences renforcées en matière de sécurité et de gouvernance ;
• des audits ne reposant pas uniquement sur les assurances internes des développeurs ;
• une coordination internationale afin qu’aucune entreprise ni aucun pays ne soit incité à rogner sur la sûreté pour ne pas perdre la course.

Le raisonnement est simple : si la probabilité demeure incertaine mais que le dommage potentiel est extrême, les garanties doivent être vérifiables avant une éventuelle perte de contrôle, et non après.

Ce que révèle réellement cette déclaration

Le message d’Evan Hubinger expose une tension centrale de l’IA de pointe : des acteurs qui développent les systèmes les plus avancés peuvent reconnaître publiquement des risques graves à long terme tout en poursuivant la course vers les capacités qui rendent ces risques plus pressants. 12

Il ne tranche pas la probabilité d’un dommage catastrophique lié à l’IA et ne doit pas être interprété comme une prédiction officielle d’Anthropic. Il rend toutefois le débat sur l’alignement bien plus concret : entreprises et gouvernements peuvent-ils démontrer, par des preuves indépendantes, des règles applicables et une coordination internationale, qu’ils seront prêts avant que les systèmes concernés ne deviennent trop puissants pour être gouvernés en toute sécurité ? 110