Pourquoi un bouton d’arrêt ne garantirait pas le contrôle humain sur l’IA

Le débat sur le « bouton d’arrêt » de l’IA ne porte plus seulement sur la capacité d’un laboratoire à éteindre un modèle. La question décisive est de savoir si ce mécanisme resterait réellement opérationnel lorsque des systèmes très puissants seront déployés sur de vastes infrastructures distribuées — ou agiront avec une autonomie suffisante pour dépasser un environnement unique et contrôlé.

Pour Jacob Coxon, le mécanisme peut marcher aujourd’hui, pas forcément demain

L’ancien chercheur d’Anthropic et d’OpenAI Jacob Coxon a déclaré à Meet the Press, sur NBC News, qu’un mécanisme d’arrêt fonctionnerait probablement encore pour de nombreux systèmes actuels. Il a toutefois souligné qu’il ne s’agirait pas d’appuyer sur un unique bouton : il faudrait interrompre de multiples composants, centres de données et systèmes déployés. L’opération est complexe, mais resterait réalisable tant que le système est confiné à un lieu physique identifiable. 8

Son inquiétude concerne l’étape suivante. Si une IA évolue vers un « essaim » autonome et distribué, une commande d’arrêt centralisée pourrait ne plus être techniquement efficace. Tout dépend alors de sa portée : un dispositif de contrôle ne peut fonctionner que s’il est capable d’atteindre chaque instance active du système.

Après son départ d’Anthropic, Coxon a plus largement averti que les principaux laboratoires se livraient à une course vers des systèmes capables de s’améliorer eux-mêmes, alors même qu’ils risqueraient de devenir impossibles à contrôler. 150

D’un arrêt interne à une garantie vérifiable

Jack Clark, cofondateur d’Anthropic, estime que la capacité à désactiver une IA dangereuse pourrait à terme relever de la loi, et non d’un simple engagement volontaire de l’entreprise qui l’a conçue. Il a indiqué à la BBC que la plupart des grands laboratoires, dont Anthropic, disposent déjà de moyens d’arrêter leurs systèmes. Mais il pose une question essentielle : ce « kill switch » devrait-il être vérifiable par un tiers indépendant ? 33

La nuance est importante. Affirmer qu’une procédure d’arrêt existe n’est pas la même chose que permettre à un évaluateur extérieur de vérifier qu’elle existe réellement, qu’elle est correctement conçue et qu’elle peut être activée en cas d’urgence.

La proposition de Dario Amodei : « rythmer la frontière »

Dario Amodei, directeur général d’Anthropic, a proposé de faire progresser les capacités des IA de pointe à un rythme compatible avec les mesures de sûreté. Son plan repose sur trois axes :

1. Des évaluateurs indépendants intégrés : les entreprises développant des IA de pointe accorderaient à des évaluateurs extérieurs un accès continu, comparable à celui de salariés, aux systèmes concernés et aux pratiques de sûreté. Ils pourraient ainsi vérifier les engagements pris et signaler les problèmes.
2. Des normes communes entre pays démocratiques : les principaux développeurs coordonneraient des standards de sécurité partagés et des limites à une progression des capacités laissée sans contrôle.
3. Une coopération internationale : les gouvernements travailleraient au-delà des frontières sur des risques qu’aucune entreprise ni aucun pays ne peut contenir seul. 17

Il ne s’agit pas d’arrêter toute recherche sur l’IA. L’idée est plutôt de conditionner les progrès à des garanties de sécurité susceptibles d’être examinées au-delà des entreprises qui développent ces systèmes.

Quels soutiens parmi les dirigeants de la tech ?

Selon Reuters, Sam Altman, patron d’OpenAI, et Elon Musk, qui dirige xAI, ont publiquement soutenu l’orientation générale proposée par Dario Amodei. Sam Altman a déclaré qu’OpenAI adopterait le principe d’évaluateurs indépendants bénéficiant d’un accès de type salarié ; Elon Musk a pour sa part écrit : « Dario a raison. » 17

Des informations disponibles décrivent également Demis Hassabis, directeur général de Google DeepMind, comme favorable à cette direction. 30 En revanche, les éléments fournis ne permettent pas d’attribuer une position précise et vérifiable à Satya Nadella, le directeur général de Microsoft : il serait donc prématuré de présenter son point de vue comme un soutien ou une opposition.

Ce que prévoit l’AI Kill Switch Act aux États-Unis

Le texte H.R. 9917, baptisé AI Kill Switch Act, modifierait le Homeland Security Act afin d’imposer à certaines entités couvertes de maintenir les capacités techniques nécessaires pour interrompre l’inférence — c’est-à-dire l’exécution d’un modèle pour produire une réponse —, mettre fin à l’accès des utilisateurs et arrêter une technologie d’IA concernée. 49

Le texte reste une proposition législative, non une réponse démontrée à tous les enjeux de contrôle. Son utilité concrète dépendrait de la capacité du développeur à identifier, atteindre puis désactiver le système visé au moment d’un incident grave — précisément le défi soulevé par Coxon pour de futurs systèmes potentiellement distribués.

Des estimations de risque, pas des prévisions

Evan Hubinger, chercheur chez Anthropic, a estimé à titre personnel à plus de 10 % le risque que l’IA provoque l’extinction de l’humanité au cours des dix prochaines années. Geoffrey Hinton a déclaré à la BBC qu’une probabilité de 10 % n’était « pas déraisonnable ». 57

Ces appréciations ne constituent ni des probabilités mesurées ni un consensus scientifique. Elles illustrent néanmoins pourquoi le débat sur l’arrêt d’urgence dépasse désormais la seule sécurité des produits : pour les défenseurs de garde-fous plus solides, même une probabilité limitée d’une catastrophe irréversible justifie des protections substantielles.

Pourquoi certains gouvernements refusent les obligations d’arrêt

Le gouvernement britannique a rejeté l’idée d’un mécanisme national de coupure, affirmant que le pays ne peut pas « simplement éteindre l’IA ». Son argument est pratique : bloquer l’accès à des modèles au Royaume-Uni n’empêcherait pas qu’ils soient développés ou détournés ailleurs. 51

C’est le nœud géopolitique du dossier. Un État peut imposer des règles aux entreprises et infrastructures relevant de sa juridiction, mais le développement de l’IA est international. Les gouvernements préoccupés par leur compétitivité peuvent craindre que des restrictions unilatérales déplacent investissements, capacités techniques et avantage stratégique vers des concurrents moins contraints.

À l’inverse, les partisans d’une gouvernance plus ferme estiment que c’est justement la raison pour laquelle les engagements volontaires des entreprises et les règles nationales ne suffisent pas à eux seuls. Si les risques traversent les frontières, le contrôle et les garanties de sécurité doivent, selon eux, devenir crédibles à l’échelle internationale.

Le vrai désaccord : aller vite ou rester maître du système

La ligne de fracture ne sépare pas simplement les partisans de l’IA de ses opposants.

• Les défenseurs de la sécurité réclament des garanties inspectables de manière indépendante, une capacité d’arrêt effective et des limites empêchant les capacités de progresser plus vite que l’évaluation et le contrôle.
• Les sceptiques face aux restrictions rigides jugent que des pauses seraient difficiles à faire respecter à l’échelle mondiale et risqueraient de freiner des innovations utiles sans empêcher leur développement ailleurs.
• La position du développement sous conditions, illustrée par Coxon, Clark et Amodei, cherche à poursuivre les avancées tout en exigeant des garde-fous qui puissent être testés, plutôt que seulement promis. 83317

Le « kill switch » doit donc être vu comme une couche d’un dispositif de sécurité plus vaste, non comme son substitut. Si les systèmes avancés deviennent un jour trop distribués pour qu’une seule commande puisse les atteindre, la supervision avant déploiement, l’évaluation indépendante et la coordination internationale deviendront encore plus importantes.