Jacob Coxon quitte Anthropic : son avertissement sur la course à la superintelligence

Jacob Coxon explique avoir démissionné d’Anthropic parce qu’il en est venu à considérer que le problème ne se limitait pas à des erreurs techniques isolées. À ses yeux, les incitations de la compétition entre les principaux laboratoires d’IA les poussent à construire des systèmes de plus en plus autonomes et capables de s’améliorer eux-mêmes avant que l’on sache réellement les contrôler. Son départ, peu avant l’acquisition de ses droits sur des actions, devait aussi montrer que ce risque lui semblait plus important que le coût financier personnel. 25

Ce qu’il reproche à Anthropic et OpenAI

Dans son fil publié sur X, Coxon a affirmé que ni Anthropic ni OpenAI n’agissait de manière responsable. Il les a accusés de « foncer droit vers une superintelligence auto-améliorable » et de « jouer avec nos vies ». 38

Son propos ne consiste pas à dire que les assistants conversationnels actuels vont, à eux seuls, provoquer une catastrophe imminente. Il soutient plutôt que les équipes qui développent les modèles de pointe pensent sincèrement que des systèmes futurs pourraient devenir surhumains dans certaines tâches — notamment l’intrusion informatique — et ouvrir la voie à une perte de contrôle catastrophique. 38

Interrogé par la BBC, il a déclaré que des salariés du secteur de l’IA étaient « véritablement effrayés » par la vitesse des progrès. Il a estimé que, sans ralentissement, il existait « une forte probabilité que nous puissions tous mourir dans un avenir proche ». Selon lui, un ralentissement crédible devrait être coordonné au niveau international, Chine comprise, plutôt que reposer sur le retrait unilatéral d’un seul pays de la compétition technologique. 1

Un risque jugé sérieux par certains, mais loin de faire consensus

Evan Hubinger, chercheur d’Anthropic travaillant sur l’alignement — c’est-à-dire la capacité d’une IA à rester conforme aux objectifs et aux valeurs humaines — a publiquement soutenu l’inquiétude générale. Il a jugé le risque posé par les modèles actuels faible, tout en estimant à plus de 10 % la probabilité qu’une IA puisse tuer tous les humains au cours des dix prochaines années. 13

Geoffrey Hinton a lui aussi soutenu qu’un scénario de prise de contrôle par l’IA ou d’extinction humaine constituait un risque tangible, et non négligeable. Mais ces pourcentages restent des appréciations subjectives d’experts, pas des prévisions empiriques vérifiables. Les éléments disponibles ne montrent pas l’existence d’un consensus parmi les chercheurs sur la probabilité, l’échéance ou la nature de ce danger. 813

Les faits invoqués : cybersécurité et montée en capacités, pas une « attaque » autonome

Les éléments avancés dans ce débat portent d’abord sur le mauvais usage cybernétique et l’accroissement des capacités des modèles. Des informations ont fait état de tests ou d’utilisations de modèles avancés dans des opérations de cybersécurité, notamment des tentatives liées à la conception d’armes biologiques, à l’espionnage concernant l’Ukraine, ainsi qu’un incident présenté comme impliquant des agents d’OpenAI et la plateforme Hugging Face. 263

Il faut toutefois rester prudent sur ce dernier point : les résultats de recherche fournis ne donnent pas assez de détails issus de sources primaires pour vérifier indépendamment les faits précis, les autorisations éventuelles ou les modalités de divulgation de chacune de ces allégations. 263

Le « ralentissement » demandé par les dirigeants de l’IA

Dario Amodei, directeur général d’Anthropic, n’a pas demandé l’arrêt de l’IA. Dans son texte We Must Pace the Frontier, il plaide pour un ralentissement de l’amélioration des modèles les plus avancés, des évaluations et une surveillance indépendantes, des règles communes entre démocraties, puis à terme des accords internationaux incluant la Chine. 12

Sam Altman, dirigeant d’OpenAI, et Elon Musk, dirigeant de xAI, ont publiquement approuvé l’orientation générale de cette proposition. Musk a notamment écrit : « Dario a raison. » 113

Pourquoi cet avertissement suscite aussi du scepticisme

Une critique récurrente est que le discours sur le risque existentiel pourrait aussi servir les intérêts des entreprises déjà les mieux financées. Clément Delangue, de Hugging Face, et Jensen Huang, de Nvidia, ont notamment fait valoir que des règles très strictes sur les modèles de pointe pourraient consolider la position d’Anthropic et d’OpenAI et les transformer en duopole protégé. 3

Cette critique porte sur les incitations économiques et la structure du marché ; elle ne démontre pas que les craintes exprimées par Coxon seraient insincères. Le calendrier alimente néanmoins les interrogations : Anthropic préparait, selon des informations rapportées, une introduction en Bourse qui pourrait égaler ou dépasser celle, record, de SpaceX. 5

La position d’Anthropic est qu’elle applique déjà des pratiques de sécurité parmi les plus solides du secteur et que la supervision indépendante ainsi que des normes partagées doivent s’appliquer à l’ensemble de l’industrie, plutôt que de lui procurer un avantage particulier. 12

La distinction essentielle est donc la suivante : Coxon, Hubinger, Amodei, Altman et Musk s’accordent sur la nécessité de davantage de garde-fous et de coordination face à des IA toujours plus capables. Ils n’apportent pas pour autant la preuve empirique qu’une extinction humaine est imminente. L’ampleur du risque, son horizon temporel et la réponse politique la plus adaptée restent profondément débattus.