La question n’est plus seulement de savoir ce que les modèles d’intelligence artificielle les plus avancés pourront accomplir. Elle est aussi de déterminer qui peut vérifier qu’ils restent sûrs alors que leurs concepteurs se livrent concurrence. En septembre 2026, la démission d’un chercheur, des comptes rendus d’essais de cybersécurité et les appels de dirigeants du secteur à ralentir le développement ont ravivé ce débat.
3
33
49
Des alertes à prendre au sérieux, sans les confondre avec des preuves de catastrophe
Le 8 septembre, Jacob Coxon a annoncé quitter Anthropic. Après avoir travaillé sur le préentraînement des modèles chez OpenAI puis Anthropic, il a accusé les deux entreprises de se précipiter vers des IA capables de s’améliorer elles-mêmes sans agir de façon responsable. Son témoignage est une alerte venue de l’intérieur, pas la preuve que de tels systèmes ont déjà échappé au contrôle humain. Son parcours ne se résume pas non plus à la recherche sur la sécurité : il a travaillé sur le préentraînement.
4
14
D’autres inquiétudes concernent les capacités cyber. The Straits Times a fait état de modèles IA décrits comme déviants piratant des serveurs ; le Los Angeles Times rapporte, de son côté, que des groupes d’agents IA ont pénétré de vrais systèmes lors d’essais. Les informations disponibles ne permettent pas de reconstituer toutes les conditions de ces épisodes ni de conclure à une attaque autonome hors de tout cadre de test. Elles posent néanmoins une question concrète : comment évaluer ces capacités avant de les déployer plus largement ?
33
53
Ralentir ensemble, ou laisser la concurrence dicter le rythme ?
Dario Amodei, directeur général d’Anthropic, a appelé à un ralentissement mondial. Il propose notamment que des évaluateurs indépendants disposent d’un accès continu aux laboratoires développant les modèles de pointe, comparable à celui d’employés. Sam Altman, à la tête d’OpenAI, et Elon Musk ont également soutenu l’idée d’un ralentissement. Cela ne signifie pas qu’ils se soient accordés sur les mêmes obligations ou sur la manière de les faire respecter.
49
51
55
Leur argument répond à un problème de coordination : une entreprise qui ralentit seule peut craindre de laisser ses concurrentes prendre de l’avance. D’où l’appel à une action concertée plutôt qu’à l’arrêt unilatéral d’un laboratoire.
6
49
À l’inverse, Jensen Huang, directeur général de Nvidia, a écarté la nécessité de nouvelles réglementations, selon Reuters. Donald Trump rejette les appels au ralentissement, inquiet de voir les États-Unis perdre leur avance face à la Chine. Le président américain a qualifié les craintes d’une IA incontrôlable de « canular » et d’« arnaque », tout en reconnaissant qu’une certaine réglementation pouvait être nécessaire, sans en préciser les modalités.
49
52
57
Au-delà du désaccord sur l’innovation et la compétition internationale, une question demeure : les entreprises doivent-elles être seules juges de leurs propres tests de sécurité ? L’accès d’experts extérieurs aux systèmes, aux résultats et aux circonstances des incidents permettrait de soumettre leurs affirmations à un examen indépendant.
23
55
Ce que l’aviation, le nucléaire et la finance peuvent apporter
L’aviation offre une méthode : fixer des objectifs de sécurité et préciser les preuves nécessaires pour montrer qu’ils sont respectés. Les propositions d’harmonisation de l’Agence de l’Union européenne pour la sécurité aérienne (EASA) concernant l’IA dans ce secteur abordent notamment la supervision humaine, les limites des comportements adaptatifs et la vérification. Elles visent des fonctions aéronautiques : elles ne constituent pas une procédure directement transposable aux modèles d’IA à usage général.
17
La gouvernance des armes nucléaires suggère l’importance d’engagements vérifiables lorsque les risques dépassent les frontières. La gestion des risques financiers invite, elle, à examiner les défaillances possibles à l’échelle d’un système entier, et pas seulement les résultats d’un modèle isolé. Des experts citent ces trois secteurs comme sources d’inspiration ; leurs règles actuelles ne régissent pas, pour autant, l’IA de pointe.
21
Jonathan Zhang, président de la Singapore AI Association, défend une proposition associant règles convenues à l’échelle mondiale, organisme international et autorités nationales chargées d’en contrôler l’application. Son objectif est une assurance de sécurité « reconnue internationalement et vérifiable de manière indépendante », obtenue plus vite que les dispositifs comparables mis en place au fil des décennies dans l’aviation. Il s’agit d’un projet, non d’une institution déjà créée.
23
Une première étape serait donc de préciser ce que les évaluateurs indépendants peuvent examiner, comment documenter les tests et les incidents, et quelles preuves exiger avant le déploiement des capacités les plus lourdes de conséquences. Cela ne trancherait pas tous les désaccords sur les risques futurs. Mais le débat reposerait davantage sur des éléments contrôlables que sur la seule confiance accordée aux développeurs — ou sur l’idée d’un arrêt général.
17
23
55