Pourquoi les chercheurs en sécurité de l’IA demandent de ralentir

Le travail sur la sécurité des IA de pointe — les modèles les plus capables, susceptibles d’être déployés rapidement à grande échelle — exerce une pression particulière. Certaines personnes chargées de les évaluer craignent des dommages graves, tout en ayant peu de pouvoir pour retarder une sortie ou imposer des corrections.

D’après des informations rapportées sur l’AI Safety Institute (AISI) britannique, plusieurs membres du personnel ont pris des congés maladie ou recherché un soutien psychologique. Des délais de test serrés, un moral en baisse et l’inquiétude face à des déploiements accélérés sont cités parmi les facteurs en cause. Cela ne prouve ni que la détresse est généralisée dans l’institut, ni qu’elle l’est chez Anthropic, OpenAI ou Google DeepMind. C’est en revanche un signal sur le coût humain d’une compétition technologique à forts enjeux. 2

Pourquoi cette mission peut devenir éprouvante

Les équipes de sûreté ne travaillent pas sur un danger abstrait ou lointain : elles testent des systèmes qui peuvent être mis sur le marché peu après. Il peut alors y avoir un décalage entre la responsabilité professionnelle — détecter une vulnérabilité — et l’autorité réelle — pouvoir empêcher un lancement.

Les difficultés rapportées à l’AISI se concentrent notamment sur la réduction des fenêtres d’évaluation de systèmes non publiés et sur le sentiment que le déploiement commercial, comme le gain de capacités, avance très vite. 2 Quand une personne estime que les conséquences d’une erreur pourraient être importantes, sans pouvoir les résoudre seule, l’intensité du rythme peut nourrir l’épuisement.

Il s’agit avant tout d’un problème institutionnel. Ces témoignages ne démontrent ni qu’un salarié est irrationnel, ni qu’une catastrophe est certaine. Ils décrivent une situation où les enjeux perçus sont élevés, les délais courts et les possibilités d’intervention indépendante insuffisamment définies.

Les risques qui alimentent les inquiétudes

Les craintes portent à la fois sur des usages malveillants à court terme et sur des scénarios plus spéculatifs de perte de contrôle à long terme.

Détournements en cybersécurité et en biologie

Un modèle très capable pourrait réduire les compétences, le temps ou le coût nécessaires à des activités nuisibles. Jacob Coxon, ancien chercheur chez Anthropic qui a aussi travaillé chez OpenAI, a cité les menaces biologiques facilitées par l’IA et les cyberarmes parmi les voies plausibles vers des dommages graves. 15

Cela ne signifie pas qu’un modèle précis a déjà provoqué un tel événement. C’est l’une des raisons pour lesquelles les équipes de sécurité demandent des évaluations, des contrôles d’accès et une surveillance avant la diffusion large de systèmes dotés d’un raisonnement ou de comportements agentiques plus avancés.

Des systèmes qui progressent plus vite que la supervision

Une autre inquiétude concerne l’automatisation d’une part croissante de la recherche et de l’ingénierie par l’IA, ce qui accélérerait le cycle de développement lui-même. Un rapport du Center for Security and Emerging Technology (CSET) de Georgetown envisage le scénario dans lequel une R&D très automatisée accélérerait les progrès de capacités tout en rendant les systèmes plus difficiles à comprendre et à contrôler pour les humains. Il s’agit d’un risque possible, non d’un résultat établi. 48

Les données disponibles posent aussi une limite importante. Une étude récente a constaté que des agents pouvaient effectuer une part substantielle du travail d’ingénierie lié à la recherche sans aide humaine, mais sans progresser de manière significative sur les questions de recherche ouvertes qui leur étaient soumises. 49 L’auto-amélioration récursive complète n’est donc pas établie. La préoccupation porte plutôt sur la direction et la vitesse : même une automatisation partielle peut réduire le temps laissé à l’évaluation, à la gouvernance et aux corrections.

Pourquoi la démission de Jacob Coxon a marqué les esprits

La démission publique de Jacob Coxon a donné un visage humain à des préoccupations souvent confinées à l’interne. Après avoir travaillé sur la recherche de pré-entraînement chez OpenAI et Anthropic, il a déclaré que ces entreprises se lançaient, selon lui, dans une course vers une superintelligence auto-améliorante sans agir de façon responsable. Il a aussi affirmé à la BBC que les personnes travaillant sur cette technologie étaient « véritablement effrayées » par la rapidité de ses progrès et leurs implications possibles. 1

Le départ d’une personne ne valide pas toutes ses prédictions. Mais il rend visible un dilemme professionnel : rester dans un laboratoire pour tenter d’améliorer les garde-fous, ou partir et s’exprimer publiquement lorsque les voies internes semblent insuffisantes.

Pourquoi un laboratoire ne peut pas ralentir seul

Le problème central est celui de l’action collective. Un laboratoire qui freinerait seul le développement de capacités peut craindre de perdre du terrain face à ses concurrents. Et les salariés de ce laboratoire disposent alors de peu de prise sur une course qui dépasse leur entreprise.

Lors d’un débat de Stanford HAI sur la possibilité de ralentir l’IA, les intervenants ont jugé qu’un ralentissement général du développement des capacités serait difficile à obtenir. Ils ont néanmoins mis en avant les évaluations indépendantes, menées par les pouvoirs publics ou des tiers qualifiés, ainsi qu’un investissement accru dans la sûreté, la sécurité et le suivi des systèmes. 18

Cette approche est plus concrète que de faire peser la charge sur la conscience individuelle des chercheurs. Elle pose des questions vérifiables : qui réalise les tests, que se passe-t-il lorsqu’un seuil de risque est franchi et qui contrôle le respect des règles ?

Les appels de l’industrie à ralentir sont-ils crédibles ?

Dario Amodei d’Anthropic, Sam Altman d’OpenAI et Demis Hassabis de Google DeepMind ont publiquement soutenu, à des degrés divers, l’idée de ralentir ou de « cadencer » le développement de l’IA de pointe. 32 Parmi les propositions évoquées figure l’accès continu d’évaluateurs externes indépendants aux laboratoires développant ces systèmes. 36

Mais un engagement public ne vaut pas, à lui seul, une contrainte applicable. Des critiques soulignent qu’un gel de l’IA conçu par les entreprises dominantes pourrait consolider leur pouvoir et pénaliser les concurrents plus petits. 34 Ces deux constats peuvent coexister : certains dirigeants peuvent percevoir sincèrement des risques de sûreté, tout en bénéficiant de règles difficiles à respecter pour les nouveaux entrants.

Le critère utile n’est donc pas de deviner les intentions, mais de vérifier les mécanismes. Un engagement sérieux serait plus crédible avec :

• des évaluations indépendantes, non contrôlées uniquement par le développeur ;
• des seuils de risque clairs et des conséquences prévues en cas de franchissement ;
• une déclaration transparente des incidents et des pratiques de sécurité robustes ;
• une supervision extérieure réelle ;
• des protections effectives pour les salariés qui signalent des problèmes de sûreté.

Ce que ces alertes montrent — et ne montrent pas

Ces informations ne démontrent pas que l’extinction humaine est imminente, que tous les salariés des laboratoires de pointe sont en détresse, ni que les systèmes actuels savent s’améliorer eux-mêmes sans limite.

Elles montrent pourquoi certaines personnes proches de cette technologie vivent la période comme un conflit éthique difficile : des systèmes puissants sont testés sous pression temporelle ; les préjudices redoutés vont des détournements cyber et biologiques à une perte de contrôle ; et les institutions censées encadrer les sorties ne disposent pas encore forcément d’une indépendance ou d’une autorité suffisante. 2 15 18

Pour les chercheurs en sécurité de l’IA, cette combinaison peut transformer une mission technique en question de responsabilité personnelle. La réponse durable n’est pas de laisser cette responsabilité reposer sur les individus seuls, mais de construire des dispositifs d’évaluation et de reddition de comptes crédibles, indépendants et vérifiables, capables de suivre le rythme de la technologie qu’ils doivent encadrer.