IA : entre scénarios d’extinction et demande de preuves, le débat se durcit

Le débat sur une possible extinction de l’humanité causée par l’intelligence artificielle ne se résume pas à une opposition entre optimistes et catastrophistes. La vraie fracture porte sur trois questions : à quelle vitesse les capacités des modèles peuvent-elles progresser, quelles étapes seraient nécessaires pour qu’un système provoque un dommage irréversible, et quel niveau de preuve exiger avant d’imposer des garde-fous plus stricts.

Les prises de parole de chercheurs ayant travaillé dans les grands laboratoires ont rendu le sujet plus brûlant. Mais même les critiques les plus fermes des discours apocalyptiques ne plaident pas nécessairement contre les tests de sécurité. La question pratique devient plutôt la suivante : les entreprises peuvent-elles démontrer qu’elles contrôlent réellement leurs systèmes avant de les déployer à une échelle toujours plus vaste ?

Les alertes venues de l’intérieur

Jacob Coxon, ancien chercheur d’Anthropic qui a également déclaré avoir travaillé chez OpenAI, a démissionné en septembre 2026. Il estime que les deux entreprises privilégient la compétition au détriment d’un développement responsable et qu’elles foncent vers une « superintelligence auto-améliorante ». 49

Evan Hubinger, responsable de la science de l’alignement chez Anthropic, a publiquement soutenu ce constat. Il a dit estimer personnellement à plus de 10 % la probabilité qu’une IA tue tous les humains au cours des dix prochaines années. Il a aussi affirmé qu’Anthropic ne disposait pas encore d’un plan pour résoudre le problème de l’alignement d’une superintelligence — c’est-à-dire s’assurer qu’un système très puissant poursuive effectivement les objectifs et les limites fixés par les humains. 16

Ce chiffre doit être lu pour ce qu’il est : une appréciation individuelle face à une incertitude extrême, et non un consensus scientifique ni une probabilité calculée à partir de données historiques. 12

Bilal Chughtai, ancien chercheur de Google DeepMind, a formulé une alerte comparable : selon lui, l’IA pourrait tuer tout le monde et le temps pour éviter cette issue pourrait manquer. 2

Ces scénarios ne décrivent généralement pas des assistants conversationnels actuels qui deviendraient soudainement dangereux. Ils reposent sur une chaîne d’hypothèses : des systèmes futurs pourraient accélérer la recherche en IA, agir avec davantage d’autonomie, échapper à une supervision humaine effective ou amplifier l’accès à des capacités cyber, biologiques et institutionnelles plus vite que les méthodes de sûreté ne progressent. C’est précisément la plausibilité et le calendrier de cette chaîne qui font débat.

Pourquoi le chiffre de 10 % n’est pas une prévision établie

Pour qu’un risque d’extinction se matérialise, plusieurs conditions contestées devraient s’aligner :

• les systèmes devraient devenir nettement plus capables que les modèles actuels ;
• ces capacités devraient se traduire par une autonomie stratégique durable ou un pouvoir concret de nuisance ;
• les contrôles techniques, les opérateurs, les institutions et les contre-mesures devraient échouer à contenir le système ou ses usages ;
• les travaux sur la sécurité et l’alignement devraient rester en retard sur les gains de capacités.

Chaque maillon peut être discuté séparément. Cela ne rend pas le risque négligeable ; cela signifie simplement qu’un pourcentage spectaculaire ne doit pas être confondu avec une prédiction démontrée.

L’argument sceptique : savoir concevoir n’est pas pouvoir agir

Les sceptiques contestent le saut entre de très bonnes performances en logiciel ou en langage et la capacité à produire des dégâts physiques à l’échelle mondiale. Le cas de la biologie illustre cette distinction.

Eric Xing souligne que générer avec un grand modèle de langage le plan théorique d’un génome viral n’a rien à voir avec la création d’un virus viable. Il faudrait encore accéder aux matériaux, fabriquer, vérifier la viabilité biologique, travailler en laboratoire et mener des essais. 46

Autrement dit, une IA peut fournir de l’information ou des pistes de conception, sans pour autant disposer des infrastructures, du savoir-faire tacite, des chaînes d’approvisionnement, des autorisations et des cycles d’expérimentation nécessaires pour les convertir en action réelle. Ces obstacles ne font pas disparaître les risques de biosécurité ; ils contestent l’idée qu’une compétence numérique suffirait immédiatement à conférer une puissance physique décisive.

Jensen Huang, directeur général de Nvidia, a qualifié de « non-sens absolu » l’idée que l’IA mettra fin à l’humanité. 33 Mark Cuban, lui, estime que les réactions humaines aux affirmations alarmistes pourraient représenter un danger plus grand que des essaims d’agents IA. 43

La position sceptique ne consiste donc pas forcément à dire que l’IA de pointe n’exige aucune protection. Elle soutient que des affirmations extraordinaires sur une extinction imminente demandent des éléments plus solides que l’extrapolation des performances actuelles et des scénarios futurs spéculatifs.

Le compromis qui émerge : ralentir, tester et vérifier

Une voie plus opérationnelle est défendue par des dirigeants qui ne tiennent ni l’extinction pour certaine ni pour impossible. Dario Amodei, directeur général d’Anthropic, a appelé à ralentir le rythme d’amélioration des capacités des modèles afin de dégager du temps pour les travaux de sécurité. Son cadre prévoit notamment des évaluateurs indépendants intégrés, avec un accès comparable à celui de salariés, ainsi qu’une coordination entre les entreprises à la frontière technologique. 18

Reuters a rapporté que Sam Altman, le dirigeant d’OpenAI, faisait partie des responsables favorables à un ralentissement coordonné, dans un secteur toutefois divisé sur la place à laisser aux garanties reposant principalement sur le marché. 19 Il a également soutenu le recours à des évaluateurs externes dans ce dispositif. 20

Cette approche déplace le débat des prédictions abstraites vers des pratiques vérifiables :

1. Évaluation indépendante : permettre à des experts extérieurs qualifiés d’examiner réellement les affirmations de sécurité, plutôt que de s’en remettre aux seules déclarations des entreprises. 18
2. Seuils fondés sur les capacités : accroître le contrôle ou restreindre le déploiement lorsque des modèles progressent sensiblement dans des domaines dangereux, comme les opérations cybernétiques ou le comportement autonome d’agents.
3. Coordination entre laboratoires : réduire l’incitation à rogner sur les marges de sécurité pour ne pas perdre du terrain face aux concurrents. 18
4. Coopération internationale : coordonner les normes entre gouvernements et principaux développeurs, y compris par des arrangements limitant la pression concurrentielle en faveur de mises sur le marché insuffisamment sécurisées. 27
5. Sécurité au même rythme que les capacités : exiger que le contrôle démontré, la surveillance et la capacité de réponse progressent avec la puissance des systèmes.

Ne pas oublier les risques déjà présents

Une autre critique porte sur les priorités. Même si les risques catastrophiques justifient recherche et préparation, une focalisation exclusive sur l’extinction pourrait reléguer au second plan des préjudices déjà plausibles ou observables : cybercriminalité facilitée par l’IA, fraude, surveillance, désinformation, décisions automatisées discriminatoires, bouleversements du travail et concentration du pouvoir.

Dario Amodei cite lui-même les détournements possibles liés au développement d’armes, aux cyberattaques et à la surveillance pour défendre un rythme de développement plus lent. 29

Il ne s’agit pas nécessairement de choisir entre les dommages actuels et les risques de long terme. Plusieurs outils servent aux deux : des contrôles d’accès plus robustes, de meilleures évaluations, des politiques de déploiement prudentes, un examen indépendant, le signalement des incidents et des responsabilités clairement attribuées.

Ce que le débat change réellement

La conclusion la plus solide n’est ni que l’extinction causée par l’IA est prouvée, ni qu’elle peut être balayée au motif qu’aucune trajectoire catastrophique complète n’a été démontrée. À mesure que les systèmes gagnent en capacité, leurs affirmations de sûreté devraient être testables, soumises à un examen indépendant et proportionnées à l’ampleur des dommages possibles.

Coxon, Hubinger et Chughtai plaident pour la précaution dans l’incertitude. Des sceptiques comme Huang et Xing contestent que les preuves disponibles justifient des conclusions catastrophistes à court terme. Amodei et Altman esquissent une réponse qui ne suppose pas de trancher immédiatement chaque désaccord philosophique : cadencer la frontière technologique, mesurer les capacités dangereuses, ouvrir les laboratoires à un contrôle crédible et coordonner les règles avant que la concurrence ne transforme des promesses de sécurité non vérifiées en norme de déploiement. 49 16 33 18 19