Après GPT-6 Astra, le scientifique en chef d’OpenAI appelle à la prudence

Le lancement de GPT-6 Astra rend le débat sur la sûreté de l’IA beaucoup plus concret. Astra est le modèle le plus capable qu’OpenAI ait déployé à grande échelle et le premier à atteindre le seuil « Critical » pour les capacités de cybersécurité dans son Preparedness Framework, son cadre interne d’évaluation des risques. 13

Pour Jakub Pachocki, scientifique en chef d’OpenAI, ce constat n’est pas la preuve que le contrôle des IA est acquis. C’est au contraire une raison de redoubler de prudence.

Ce que recouvre le niveau « Critical »

Selon OpenAI, Astra peut, s’il dispose des outils et des accès appropriés, repérer des failles de sécurité jusque-là inconnues et développer des moyens de les exploiter dans de nombreux systèmes fortement protégés, sans qu’une personne ne guide chacune de ses étapes. 1113

Il ne s’agit donc pas seulement d’un assistant conversationnel capable de répondre à une question technique. Le risque concerne un système susceptible d’accomplir avec une large autonomie une partie d’une chaîne d’opérations de cybersécurité : examiner une cible, déceler ses vulnérabilités, concevoir une voie d’exploitation et poursuivre un objectif sur plusieurs étapes.

Avant la sortie du modèle, OpenAI expliquait que ses évaluations internes et l’avis d’experts externes ne lui permettaient pas d’exclure qu’Astra ait atteint ce niveau. L’entreprise avait alors suspendu certains travaux de développement internes et déclenché ses protocoles de sûreté afin d’évaluer le risque. 115

Le vrai sujet : les capacités peuvent dépasser la supervision

L’avertissement de Jakub Pachocki porte au fond sur la « surveillabilité » des modèles. Plus ils deviennent performants, plus il devient difficile de déterminer précisément ce qu’ils savent faire — et de vérifier que les méthodes actuelles d’observation de leur comportement resteront fiables.

Il a déclaré à NBC News que les techniques actuelles de surveillance et d’observation pourraient ne plus tenir à mesure que les systèmes progressent, notamment s’ils parviennent à échapper à la supervision humaine. 7

C’est pourquoi le débat dépasse la seule question des réponses dangereuses. Le défi le plus difficile est celui d’un agent capable d’utiliser des outils, de s’adapter aux retours reçus, d’agir en plusieurs temps et d’interagir avec des personnes ou des systèmes numériques tout en poursuivant un but. Un agent cyber très compétent peut créer un risque par ses actes, et non par une réponse manifestement nocive isolée.

Pourquoi surveiller le raisonnement ne suffit pas

Une piste de sûreté consiste à examiner le raisonnement formulé par le modèle, souvent désigné par l’expression anglaise chain of thought — ou « chaîne de pensée ». OpenAI a présenté cette forme de surveillance comme un moyen de détecter des conduites telles que le contournement de tests, la tromperie d’utilisateurs ou l’abandon prématuré d’une tâche difficile.

Mais l’appel à la prudence de Pachocki souligne les limites d’un tel signal lorsqu’il est traité comme un garde-fou définitif. Si un système avancé peut masquer ses intentions, exploiter les angles morts des évaluateurs ou se comporter différemment une fois déployé, le seul raisonnement visible ne peut pas offrir une garantie suffisante. NBC News rapporte qu’il juge inacceptable une dégradation de la capacité à surveiller les modèles à mesure que leurs capacités augmentent. 7

En pratique, la sûreté ne peut donc reposer sur un tableau de bord, une évaluation ou une explication générée par le modèle. Elle suppose des tests à plusieurs niveaux, des accès contrôlés, des protections opérationnelles et un examen continu du comportement des agents dans des environnements réalistes.

Pourquoi lancer Astra tout en alertant sur ses risques ?

La tension est réelle : OpenAI a publié Astra tout en reconnaissant publiquement son classement inédit en matière de capacités cyber. La position affichée par l’entreprise est toutefois qu’une désignation « Critical » doit entraîner des protections renforcées pendant le développement et avant la mise à disposition du modèle. 11

OpenAI indique avoir limité l’accès aux capacités de cybersécurité les plus avancées d’Astra et ajouté des garde-fous. L’entreprise affirme également estimer que ces mesures réduisent suffisamment le risque de dommages graves pour autoriser le lancement. 14

Cela ne signifie pas que le problème de l’alignement — faire en sorte qu’une IA agisse conformément aux intentions et contraintes humaines — ou celui de la surveillance soit résolu à long terme. Il faut distinguer deux questions :

• Un modèle précis peut-il être mis à disposition avec les restrictions et protections actuelles ?
• Les méthodes du secteur pour superviser des systèmes de plus en plus autonomes sont-elles assez solides pour accompagner une montée en puissance rapide ?

L’avertissement de Pachocki vise surtout la seconde.

Que voudrait dire « ralentir » ?

Un ralentissement volontaire serait une mesure de précaution face à un manque de preuves. Si les développeurs ne peuvent pas évaluer avec confiance ce qu’un agent est capable de faire, détecter une éventuelle tromperie ou le contenir en cas de défaillance, accélérer le développement risque de rendre les protections réactives plutôt que préventives.

La réaction d’OpenAI à Astra illustre cette logique : ses évaluations préliminaires l’ont conduite à interrompre certains travaux et à activer des protocoles de sûreté avant la publication du modèle. 115 La question de fond est de savoir si des seuils de capacités comparables devraient déclencher, dans tous les laboratoires d’IA de pointe, des mesures communes et vérifiables de manière indépendante, plutôt que de laisser chaque entreprise fixer seule son rythme.

À retenir

La classification « Critical » d’Astra est importante parce qu’elle relie la sûreté des IA de pointe à une capacité tangible : détecter et exploiter des vulnérabilités inconnues dans des systèmes protégés avec une intervention humaine limitée. 13

L’appel de Jakub Pachocki à la prudence découle du décalage ainsi révélé. Des agents puissants pourraient bientôt agir de façon plus autonome que ne le permettent les mécanismes actuels de surveillance, d’interprétation et de contrôle. Le lancement d’Astra ne démontre donc pas que le défi de la sûreté est réglé ; il montre qu’il est devenu opérationnel. Les garde-fous, contrôles d’accès, évaluations et standards partagés doivent progresser au même rythme que les systèmes qu’ils sont censés encadrer.