Pourquoi des chercheurs en sécurité de l’IA craquent face à la course aux modèles de pointe

Les témoignages disponibles décrivent avant tout la rencontre entre une pression morale et une pression organisationnelle. Les personnes chargées de tester les modèles d’IA les plus avancés redoutent que ces outils, ainsi que la compétition pour les déployer, ne facilitent des dommages biologiques ou cybernétiques avant que les garde-fous, les contrôles et les capacités d’évaluation ne soient à la hauteur.

Selon des informations rapportées par la presse, plusieurs membres de l’AI Safety Institute (AISI) du Royaume-Uni — organisme chargé d’évaluer de manière indépendante les modèles de pointe — ont pris des congés pour raisons médicales ou demandé un soutien psychologique. Les sources évoquent des délais de tests serrés, une baisse du moral et de l’épuisement professionnel. 15 Des inquiétudes comparables sont exprimées dans l’écosystème des grands laboratoires, mais les éléments publics ne permettent pas d’en mesurer précisément l’ampleur au sein de chaque entreprise.

Des risques perçus comme proches, mais aussi potentiellement extrêmes

Les scénarios redoutés ne concernent pas uniquement un avenir très lointain. Des chercheurs craignent que des modèles plus performants abaissent la barrière d’accès à des cyberattaques ou à des usages biologiques dangereux. Jacob Coxon a notamment cité les menaces biologiques facilitées par l’IA et les cyberarmes parmi les voies plausibles vers une catastrophe. 15

À plus long terme, une autre inquiétude porte sur des systèmes de plus en plus autonomes, dont les comportements ou les capacités deviendraient difficiles à comprendre, tester et encadrer par des humains. Cela ne signifie pas qu’une IA capable de s’améliorer récursivement existe déjà : ce seuil n’a pas été atteint. 6 Mais l’automatisation progressive de tâches de recherche et d’ingénierie pourrait raccourcir les cycles de développement et accélérer les progrès au-delà du rythme des évaluations de sûreté. 4

Une étude récente illustre cette nuance : des agents ont pu réaliser de façon autonome une part importante du travail d’ingénierie lié à la recherche, sans parvenir à faire des avancées substantielles dans une recherche scientifique ouverte. 5

Le sentiment d’être impliqué dans le problème

Pour les équipes de sûreté, il ne s’agit pas d’observer un risque abstrait depuis l’extérieur. Elles évaluent, entraînent ou contribuent au déploiement des systèmes qu’elles jugent potentiellement dangereux. Lorsque les calendriers sont tendus et que la concurrence commerciale demeure forte, identifier un problème sans disposer du pouvoir effectif de retarder une sortie peut nourrir l’impuissance, l’épuisement et ce que l’on appelle parfois une blessure morale.

La démission de Jacob Coxon, après avoir travaillé sur le préentraînement chez OpenAI puis Anthropic, a cristallisé ce malaise. Il a accusé ces entreprises de se précipiter vers une superintelligence capable de s’améliorer elle-même sans agir de façon responsable. 14 Dans un entretien à la BBC, il a affirmé que des employés de laboratoires de premier plan étaient « véritablement effrayés » par la vitesse des progrès et leurs conséquences possibles. 9

Pourquoi le débat dépasse les choix individuels

Le problème, pour ces chercheurs, ne peut pas être résolu par la seule prudence d’un salarié ou d’un laboratoire. Dans un marché compétitif, un acteur qui ralentit seul peut craindre d’être dépassé par un rival. C’est pourquoi le débat porte de plus en plus sur des mécanismes collectifs : évaluations indépendantes, supervision publique, obligations vérifiables et coordination internationale.

Lors d’un débat de Stanford, les intervenants ont estimé qu’un ralentissement général du développement des capacités serait difficile à obtenir. Ils ont toutefois insisté sur le rôle que devraient jouer des évaluations conduites par les pouvoirs publics ou par des organismes tiers qualifiés. 3 Rob Reich, philosophe politique à Stanford, inscrit cette discussion dans une question plus large : faut-il laisser les décisions cruciales sur une science de frontière aux seuls chercheurs et aux entreprises qui la développent ? 1

Les appels au ralentissement ne dissipent pas la défiance

Dario Amodei, dirigeant d’Anthropic, Sam Altman d’OpenAI et Demis Hassabis de Google DeepMind figurent parmi les responsables ayant soutenu, à des degrés divers, l’idée de ralentir le développement de l’IA de pointe. 2 Mais ces déclarations ne règlent pas la question de la crédibilité.

Des critiques soulignent qu’un « gel » ou un fort ralentissement conçu par les entreprises dominantes pourrait aussi consolider leur position et écarter des concurrents plus petits. 11 La question décisive est donc moins celle des déclarations que celle d’engagements contrôlables : reports de lancement, audits réellement indépendants, seuils de risque opposables, protection des lanceurs d’alerte et acceptation de contraintes externes.

Une alerte éthique, pas une preuve d’une catastrophe imminente

Ces départs, congés maladie et demandes de soutien psychologique ne prouvent pas qu’une extinction humaine est imminente. Ils montrent en revanche que certaines personnes au plus près du développement des modèles de pointe considèrent la combinaison d’une accélération technique, de risques à double usage, d’incitations concurrentielles et d’un contrôle externe insuffisant comme psychologiquement et éthiquement intenable.