Pourquoi des chercheurs veulent que les autorités surveillent l’IA qui automatise la recherche en IA

L’inquiétude à l’origine du nouvel appel à la vigilance ne porte pas seulement sur des modèles d’IA toujours plus performants. Elle concerne aussi la possibilité que l’IA contribue à mettre au point la génération suivante de systèmes, qui pourrait ensuite prendre en charge davantage de travaux de recherche. Ce cercle d’accélération potentielle pousse des chercheurs et responsables d’OpenAI, d’Anthropic, de Meta et de Microsoft à demander aux décideurs d’évaluer les progrès de l’automatisation avant que le rythme du développement ne complique la supervision. 23

Le scénario, parfois appelé « explosion d’intelligence », est une hypothèse de risque — pas la preuve que l’IA s’améliore déjà seule, sans intervention humaine. La question centrale est de savoir comment mesurer et encadrer sa place grandissante dans la recherche sur l’IA. 114

Comment l’IA pourrait accélérer le développement

L’IA peut contribuer aux différentes étapes de la mise au point de futurs modèles. Si cette aide permet de créer des systèmes plus performants, lesquels peuvent ensuite participer davantage à la recherche, chaque cycle pourrait accélérer le suivant. C’est ce qu’on appelle l’auto-amélioration récursive : des systèmes d’IA contribuent à améliorer le processus qui sert à construire d’autres systèmes d’IA. 15

L’avertissement porte surtout sur le rythme du progrès. Dans un scénario rapporté à propos de leur travail, des avancées qui auraient autrement pris un an pourraient survenir en quelques semaines. Il s’agit d’une projection, et non d’un résultat mesuré : les sources ne montrent pas que ce rythme est déjà atteint. 314

Une étude antérieure, fondée sur des entretiens avec 25 chercheurs de laboratoires d’IA de pointe et du milieu universitaire, indiquait que beaucoup s’attendaient à ce que l’IA automatise une partie de la recherche en IA et crée une boucle de rétroaction positive. Ce constat aide à comprendre pourquoi le scénario est pris au sérieux dans le secteur, mais ne signifie pas qu’une explosion d’intelligence est inévitable. 1

Ce que les chercheurs demandent aux décideurs

Leur demande immédiate : mieux savoir dans quelle mesure les entreprises utilisent déjà l’IA en recherche et développement. Plus de vingt chercheurs et responsables du secteur ont appelé les décideurs à examiner ces progrès et à envisager des mesures de protection. 2

Cette demande ne prouve pas que les laboratoires ont déjà confié le contrôle de leurs recherches à des systèmes d’IA. Disposer d’informations plus précises sur les usages et leur ampleur aiderait plutôt à déterminer si les mécanismes de supervision actuels restent adaptés, à mesure que l’IA prend davantage part au développement des modèles. 23

Ralentir pour gagner du temps — mais comment ?

Un ralentissement coordonné pourrait laisser davantage de temps pour tester les systèmes, les faire évaluer de façon indépendante et renforcer les mécanismes de supervision avant une nouvelle évolution des capacités. Des chercheurs d’OpenAI et d’Anthropic ont publiquement plaidé pour un développement plus lent, tandis que d’autres figures du secteur privilégient une approche davantage guidée par le marché. Aucun consensus ne se dégage sur l’ampleur d’un ralentissement ni sur les modalités d’une éventuelle pause. 818

Les questions pratiques sont nombreuses : quels systèmes ou quelles activités seraient concernés ? Qui vérifierait le respect des règles ? Comment coordonner les entreprises concurrentes ? Les informations disponibles indiquent que la définition d’une pause, comme les moyens de la faire appliquer, reste incertaine.

Un bouton d’arrêt comme frein d’urgence ?

Brad Smith, président de Microsoft, a défendu l’idée que les créateurs de modèles, les fournisseurs d’infrastructures cloud et les personnes qui encadrent des agents d’IA devraient pouvoir arrêter les systèmes. Cette capacité serait un possible frein d’urgence, mais ne remplacerait ni la prévention ni la surveillance continue.

La mesure a aussi ses limites techniques. Les systèmes d’IA peuvent fonctionner sur des infrastructures distribuées : aucun interrupteur unique ne garantit donc que tous leurs éléments s’arrêteront. Des spécialistes soulignent également le besoin d’une surveillance continue et d’une intervention humaine.

Des intérêts commerciaux à prendre en compte

Confier un rôle de supervision aux développeurs et aux fournisseurs de cloud soulève une question de gouvernance : certaines entreprises pourraient contribuer à encadrer des systèmes qu’elles conçoivent ou hébergent. Microsoft participe au développement de modèles d’IA et fournit aussi des services cloud, comme l’illustrent les propos de Brad Smith. Ce chevauchement rend importantes l’existence de règles claires et la possibilité de contrôles indépendants ; il ne suffit pas, à lui seul, à mettre en doute la sincérité des positions de sécurité d’une entreprise. 2

La coordination entre acteurs pose un autre problème. Les dirigeants du secteur sont divisés sur le rythme de développement, alors que les appels à ralentir s’inscrivent dans un contexte de forte concurrence. Une entreprise pourrait avoir du mal à maintenir seule une démarche de retenue si d’autres continuent d’avancer rapidement. Les sources font état de désaccords et de pressions concurrentielles, mais ne démontrent pas que les intérêts financiers déterminent les opinions de tel ou tel chercheur. 1218

Pour les décideurs, deux enjeux se dessinent : suivre la place de l’IA dans le développement de l’IA, et rendre les garde-fous vérifiables plutôt que de dépendre uniquement des assurances des entreprises. Les avertissements justifient d’examiner ces questions dès maintenant ; ils ne permettent pas, à eux seuls, de déterminer la probabilité d’une explosion d’intelligence ni la mesure qui serait la plus efficace. 123