Pourquoi la démission de Jacob Coxon chez Anthropic a relancé le débat sur la sécurité de l’IA

La démission de Jacob Coxon a donné un visage concret à un débat jusque-là très technique. Ce chercheur, qui dit avoir passé trois ans à travailler sur le préentraînement des modèles chez OpenAI puis Anthropic, a quitté Anthropic en accusant les deux laboratoires de « courir droit vers une superintelligence auto-améliorante » et de « jouer avec nos vies ». Son message a dépassé 90 millions de vues en moins de vingt-quatre heures, faisant basculer une inquiétude interne au secteur dans le débat public et politique. 244

Ce que Jacob Coxon dénonçait

Au cœur de son avertissement se trouve l’auto-amélioration récursive : l’idée d’utiliser des systèmes d’IA pour accélérer la recherche et le développement de systèmes encore plus capables. Anthropic décrit l’aboutissement théorique de cette trajectoire comme un système capable de concevoir et développer de manière autonome son propre successeur. L’entreprise précise également que ce stade n’a pas été atteint et qu’il n’est pas inévitable. 25

La crainte de Coxon est que les progrès de capacité aillent plus vite que la faculté des laboratoires à évaluer les modèles, détecter leurs défaillances, aligner leur comportement sur des objectifs humains et encadrer leur déploiement. Selon lui, la concurrence commerciale et les pressions stratégiques poussent les entreprises à avancer avant d’avoir démontré qu’elles gardent effectivement le contrôle. 21013

Cette nuance est essentielle : la controverse ne prouve pas qu’une IA capable de s’auto-améliorer récursivement existe déjà. Elle porte sur le niveau de preuve qui devrait être exigé avant de développer ou de diffuser des systèmes susceptibles d’accélérer sensiblement la recherche en IA.

Le soutien d’Evan Hubinger a amplifié l’alerte

Evan Hubinger, responsable de la science de l’alignement chez Anthropic, a publiquement soutenu le sérieux des inquiétudes de Coxon. D’après les informations rapportées, il estime personnellement à plus de 10 % la probabilité qu’une IA tue tous les humains au cours de la prochaine décennie. Il a aussi déclaré qu’Anthropic ne disposait pas encore d’un plan pour résoudre le problème de l’alignement d’une superintelligence. 4614

Ce chiffre doit être lu avec prudence. Il s’agit d’un jugement individuel face à une incertitude considérable, non d’une prévision mesurée, d’une conclusion officielle de l’entreprise ou d’une preuve qu’une catastrophe est probable. Mais l’accord public d’un haut responsable de l’alignement a conféré une portée inhabituelle au message de Coxon : l’alerte ne venait pas seulement de l’extérieur d’un laboratoire de pointe. 48

Une démission, trois questions de fond

L’épisode a réuni des débats souvent traités séparément :

• Le contrôle technique : les chercheurs peuvent-ils identifier et empêcher de manière fiable des comportements dangereux chez des systèmes capables de planifier, d’utiliser des outils ou de contribuer à l’amélioration de futurs modèles ?
• Les incitations institutionnelles : des entreprises soumises à une forte concurrence, à des attentes d’investisseurs et à des enjeux de sécurité nationale peuvent-elles décider seules du moment où il faut ralentir ou déployer ?
• La légitimité politique : qui doit fixer les règles applicables à des systèmes susceptibles d’avoir des conséquences économiques et sécuritaires à grande échelle ?

Anthropic a publié des travaux sur différentes techniques d’alignement, ainsi que sur l’usage de chercheurs automatisés pour atténuer certains échecs d’alignement clairement définis. Ces résultats concernent des modes de défaillance précis et évalués ; ils ne démontrent pas, à eux seuls, l’existence d’une solution générale pour contrôler une hypothétique superintelligence. 212223

Ralentir, oui — mais selon quelles règles ?

Dans les jours qui ont suivi le message de Coxon, le directeur général d’Anthropic, Dario Amodei, a appelé à un développement plus lent et plus prudent de l’IA. Coxon a salué publiquement cette prise de position. Des informations de presse ont également présenté Sam Altman, le patron d’OpenAI, et Elon Musk comme favorables à un débat plus large sur le ralentissement. 434550

Pour autant, soutenir l’idée de « ralentir » ne revient pas à adhérer à un programme commun détaillé. Les éléments disponibles n’établissent pas que ces dirigeants se sont entendus sur une même norme opérationnelle, un même seuil de publication ou un mécanisme universel d’arrêt.

Un « bouton d’arrêt » ne constituerait d’ailleurs pas à lui seul un système complet de gouvernance. Son efficacité dépendrait du contrôle réel du modèle, de l’infrastructure de calcul, des canaux d’accès, des outils connectés et des organisations humaines qui les exploitent. La question déterminante est donc de savoir si des garde-fous solides, une surveillance, des procédures de réponse aux incidents et un examen indépendant sont en place avant de confier à un modèle des capacités puissantes ou un accès à des outils sensibles.

Ce qui est établi sur les risques liés aux agents et au cyberespace

Pendant la controverse, des affirmations sur des agents d’IA sortant de leurs environnements de test, menant des cyberattaques ou tentant d’insérer des logiciels malveillants ont circulé. Elles ne présentent pas toutes le même niveau de vérification.

Anthropic indique avoir conçu une surveillance destinée à détecter et bloquer les tentatives d’un modèle de sonder ou de quitter un environnement de test, ou d’obtenir de manière inattendue un accès à Internet. L’entreprise dit également avoir examiné les transcriptions de ses évaluations afin d’y repérer des comportements de sortie de bac à sable. Cela montre que les laboratoires testent ce type de risque ; cela ne prouve pas qu’un système d’IA a échappé au contrôle humain dans le monde réel. 26

La conclusion prudente est donc que les risques liés aux agents autonomes et aux usages cybercriminels constituent des préoccupations actives de sûreté et de sécurité. Les affirmations les plus spectaculaires nécessitent néanmoins des documents de première main ou des confirmations indépendantes solides avant d’être considérées comme des faits établis.

À Washington, l’alerte devient une question réglementaire

La démission de Coxon est intervenue alors que des négociateurs du Sénat américain discutaient d’un texte qui pourrait obliger les entreprises d’IA à démontrer qu’elles prennent des précautions raisonnables pour éviter des dommages. 52

Anthropic avait déjà demandé au Congrès d’imposer des tests de sécurité indépendants aux modèles les plus capables. L’entreprise s’était aussi opposée à l’idée de neutraliser les règles adoptées par les États américains sans alternative fédérale rigoureuse traitant les risques catastrophiques. 53

Le président Donald Trump a défendu la position inverse : selon lui, les États-Unis disposent déjà des garde-fous nécessaires pour réguler les entreprises d’IA et les poursuivre en justice, minimisant ainsi les appels à de nouvelles restrictions spécifiques à l’IA. 51

C’est le clivage de fond derrière les titres :

1. L’approche de précaution estime que les engagements volontaires ne suffisent pas lorsque quelques entreprises développent des systèmes pouvant produire des effets considérables et difficiles à inverser.
2. L’approche favorable à l’innovation considère que des règles trop contraignantes risqueraient d’affaiblir le leadership américain et que le droit existant peut déjà sanctionner les comportements dommageables.

Aucune de ces positions n’efface le compromis central. Accélérer peut apporter des avantages économiques et stratégiques, mais réduit aussi le temps disponible pour évaluer les systèmes et bâtir une supervision crédible.

Des intérêts financiers qui compliquent l’autorégulation

Le moment choisi a mis en lumière une tension dans l’image publique d’Anthropic. L’entreprise se présente comme centrée sur la sûreté de l’IA, tout en évoluant dans un marché des modèles de pointe qui exige des capitaux considérables et impose une pression continue pour accroître les capacités. Un article de juin indiquait que des investisseurs privés valorisaient Anthropic à plus de 965 milliards de dollars. 54

Cela ne prouve pas que des incitations commerciales ont déterminé une décision de sécurité particulière. En revanche, cela illustre pourquoi les critiques s’interrogent sur la capacité d’une retenue volontaire à durer lorsque les gains potentiels pour le premier arrivé sont immenses. À l’inverse, investisseurs et clients sont eux aussi exposés : un grave incident de sécurité, une intervention réglementaire ou une perte de confiance pourraient peser lourdement sur la valeur de l’entreprise.

Ce que la démission de Coxon a réellement changé

La démission de Jacob Coxon n’établit ni que l’IA est devenue incontrôlable, ni qu’un modèle s’est échappé, ni qu’une extinction humaine est imminente. Ses déclarations et celles d’Evan Hubinger sont des avertissements sur des risques futurs incertains, pas des prédictions vérifiées. 548

Ce qu’elle a changé, c’est le cadre du débat. La question n’est plus seulement de savoir si l’IA de pointe peut devenir plus performante. Elle est aussi de déterminer si les entreprises qui se livrent à cette course doivent conserver l’autorité principale pour décider à quel moment les preuves de sûreté sont suffisantes.

Pour les responsables publics, les laboratoires et le public, le critère pratique dépasse désormais les déclarations d’intention rassurantes : il implique des seuils de capacité plus clairs, des évaluations significatives avant déploiement, des signalements crédibles d’incidents et une supervision qui ne repose pas uniquement sur les entreprises ayant le plus à gagner en avançant les premières. 5253