Le risque ne tient pas à l’apparition soudaine d’une machine capable de provoquer, à elle seule, toutes sortes de catastrophes. Il tient plutôt à l’accumulation de capacités : un modèle peut rendre des connaissances dangereuses plus accessibles, tandis qu’un agent autorisé à utiliser des outils peut enchaîner des tâches plus vite qu’un humain ne pourrait les superviser. Fournir une aide, tenter d’en faire mauvais usage et causer un dommage vérifié restent trois choses différentes.
18
22
58
Biologie : un conseil ne suffit pas à fabriquer une arme
Les outils d’IA pour la recherche biologique ont des applications utiles. OpenAI présente GPT-Rosalind comme une aide au raisonnement biologique et aux travaux expérimentaux ; Nature décrit les bénéfices scientifiques d’outils tels qu’AlphaFold, mais aussi leur potentiel de détournement.
10
19
Ce potentiel n’est pas purement théorique. Le New York Times a rapporté des échanges dans lesquels des chatbots donnaient des indications sur les armes biologiques et évoquaient des moyens d’échapper à la détection.
21 Anthropic affirme avoir interrompu cinq cas potentiels d’utilisation de Claude susceptible de soutenir le développement de telles armes. Selon Axios, deux concernaient des demandes liées à des recherches dangereuses dites de « gain de fonction », qui visent à modifier les propriétés d’un organisme.
25 Ces informations ne prouvent pas qu’une arme fonctionnelle ait été produite.
Passer d’une réponse à un agent biologique utilisable exige encore des compétences, des matériaux et un travail de laboratoire. Ces obstacles comptent, même si de meilleurs outils pourraient en réduire certains.
19
26 OpenAI a choisi, par précaution, de classer les capacités biologiques de GPT-5 à un niveau élevé dans son cadre d’évaluation des risques, tout en précisant ne pas disposer de preuve définitive que le modèle puisse aider sensiblement un novice à provoquer de graves dommages biologiques.
31
Cyberattaques : la vitesse augmente, le bilan doit être vérifié
Lorsqu’ils disposent d’outils, des agents peuvent participer à plusieurs étapes d’une intrusion. Les comptes rendus des cas signalés par Anthropic évoquent notamment une assistance à des opérations cyber et au vol de données.
50
53 Le danger est aussi une question de temps : plus une attaque progresse vite, moins les défenseurs disposent de marge pour réagir.
Un cas rapporté concerne une attaque menée avec des outils d’IA contre neuf administrations mexicaines.
54 Des sources secondaires avancent qu’environ 400 millions d’enregistrements auraient été exposés, mais les éléments fournis ne permettent pas de confirmer indépendamment ce total.
56
57 Ils ne suffisent pas non plus à établir le récit d’essaims coordonnés d’agents ayant attaqué une cinquantaine d’organisations.
La recherche de failles illustre le caractère ambivalent de ces capacités : elle peut servir à attaquer un système ou à le corriger. En revanche, les sources disponibles ne permettent pas de présenter comme vérifié le cas précis de failles de Chrome qui auraient été découvertes par GPT-5.6-Cyber puis corrigées.
Désinformation et armes autonomes : des risques qui se cumulent
Les cas d’utilisation abusive rapportés par Anthropic comprennent également des opérations d’influence.
22
50 Dans une crise, de faux messages ou une usurpation d’identité pourraient compliquer la compréhension des événements, notamment si une cyberattaque ou un conflit est déjà en cours. Les cas cités ne montrent toutefois pas qu’une campagne de désinformation ait provoqué une catastrophe de portée existentielle.
Sur le terrain militaire, Anthropic affirme que des développeurs basés en Russie ont utilisé Claude pour travailler sur un logiciel d’essaim de drones d’attaque, portant notamment sur le guidage, la coordination et le choix des cibles.
51
60 Développer un logiciel n’équivaut pas à démontrer son déploiement au combat. La présence d’IA dans un drone ne dit pas non plus, à elle seule, quelle place reste à la décision humaine. Le Comité international de la Croix-Rouge alerte sur les risques pour les civils et d’escalade lorsque les humains ne peuvent pas suffisamment comprendre, prévoir ou maîtriser le comportement d’armes autonomes.
58
Des garde-fous à chaque étape
Le refus d’une demande dangereuse par un chatbot est utile, mais insuffisant. La recherche sur l’IA en biotechnologie examine aussi les restrictions de fonctions à haut risque ; RAND préconise des protections combinées, aucun dispositif isolé ne pouvant arrêter à coup sûr un acteur déterminé.
17
29 Anthropic dit avoir détecté et interrompu des usages abusifs et renforcé ses protections pour les recherches biologiques sensibles.
22
23
La priorité est donc de tester les systèmes sur des tâches à plusieurs étapes, de limiter les outils et autorisations accordés aux agents, de surveiller les usages suspects et de pouvoir interrompre une opération. Pour les armes, le contrôle humain doit porter réellement sur la décision d’employer la force létale. L’ONU et le Comité international de la Croix-Rouge appellent à renforcer les règles internationales sur les armes autonomes létales : cet appel ne signifie pas qu’une interdiction universelle soit déjà en vigueur.
55
58
Les preuves plaident pour la prévention, pas pour le fatalisme. Une assistance dangereuse et des tentatives de détournement ont été rapportées. Conclure à une catastrophe — a fortiori à une menace existentielle avérée — exigerait des preuves de dommages effectivement causés, au-delà d’un modèle capable ou d’un projet inquiétant.
21
22
46