Sam Altman alerte sur deux risques de l’IA : perte de contrôle et concentration du pouvoir

Pour Sam Altman, directeur général d’OpenAI, l’IA avancée pourrait mal tourner de deux façons très différentes : l’humanité pourrait perdre le contrôle de systèmes toujours plus capables, ou bien ce contrôle pourrait se retrouver entre les mains d’un nombre très limité d’acteurs. Son avertissement place sur le même plan la sûreté technique des modèles et la gouvernance politique : une IA sûre ne dépend pas seulement de ce qu’elle sait faire, mais aussi de qui la dirige. 1316

Deux dérives à éviter

La première est la perte de contrôle humain. Sam Altman prévient que l’humanité pourrait « perdre le contrôle de son avenir au profit de l’IA », une issue qu’il juge inacceptable. Son principe est clair : l’IA doit servir les êtres humains, et non les placer sous la dépendance de systèmes qu’ils ne peuvent pas superviser de manière suffisante. 216

La seconde est la concentration du pouvoir. Il met également en garde contre un monde où une IA extraordinairement puissante serait contrôlée par une seule personne, une entreprise ou un pays, puis utilisée pour imposer sa vision du monde à tous les autres. Selon lui, le résultat pourrait être « extrêmement dystopique ». 113

Ces risques sont liés, mais ils ne se confondent pas. Le premier concerne notre capacité à comprendre, limiter et reprendre la main sur des systèmes puissants. Le second concerne l’usage de systèmes qui resteraient, en théorie, contrôlables, mais seraient mis au service d’un acteur disposant d’une autorité excessive et insuffisamment contrôlée.

Les garde-fous défendus par Sam Altman

La position publique du patron d’OpenAI n’est pas d’arrêter purement et simplement le développement de l’IA. Il soutient plutôt que les capacités des modèles ne doivent pas prendre de l’avance sur leur alignement — c’est-à-dire leur capacité à agir conformément à des objectifs humains — et sur les moyens de les surveiller. La compétition ne doit pas servir de prétexte à des déploiements imprudents. 213

Parmi les mesures qu’il met en avant figurent :

• Un alignement et une surveillance qui progressent au même rythme que les capacités. Les développeurs doivent pouvoir évaluer et contrôler concrètement le comportement de systèmes de plus en plus puissants. 213
• Une IA qui reste au service des personnes. C’est l’objectif central de son avertissement sur la perte de contrôle. 216
• Des exigences fédérales cohérentes aux États-Unis pour l’IA de pointe. Altman appelle à un cadre national harmonisé pour gérer les risques liés aux modèles les plus avancés, plutôt qu’à une mosaïque d’engagements volontaires. 1316
• Un contrôle indépendant. Il cite les auditeurs indépendants comme une piste prometteuse pour renforcer la confiance du public envers les entreprises qui développent ces modèles. 16

En pratique, cela implique d’exiger davantage de preuves de sûreté pour les systèmes les plus capables : les protections devraient être testées et jugées crédibles avant les décisions de déploiement, et non ajoutées après coup.

Les avertissements d’Anthropic accentuent la controverse

La même semaine, Jacob Coxon, ancien chercheur d’Anthropic, a averti que les grands laboratoires se lançaient dans une course vers une IA capable de s’améliorer elle-même, tout en « jouant avec nos vies ». D’après les informations relatant sa démission, il estime que des chercheurs travaillant sur ces systèmes craignent sérieusement qu’ils deviennent trop puissants pour rester sous contrôle humain. 17

Le ton est plus frontal que celui de Sam Altman, mais la préoccupation de fond se recoupe : les gains de capacité pourraient devancer notre faculté de supervision fiable. Lors d’un échange public rapporté, Evan Hubinger, responsable de l’alignement chez Anthropic, a avancé à titre personnel une probabilité supérieure à 10 % que l’IA provoque l’extinction humaine au cours des dix prochaines années. Il a aussi reconnu qu’il n’existe pas encore de solution complète au problème de l’alignement d’une superintelligence. Il s’agit d’une appréciation individuelle du risque, et non d’une prévision établie ni d’une probabilité faisant consensus scientifique. 17

L’enjeu n’est donc pas d’affirmer qu’un calendrier d’extinction précis serait démontré : il ne l’est pas. Il est de constater que des chercheurs au plus près des systèmes de pointe contestent publiquement le rythme auquel les pratiques de sûreté progressent face aux modèles en développement.

Le vrai désaccord : avancer d’abord, sécuriser ensuite ?

La ligne de fracture est souvent présentée comme un conflit entre accélération et ralentissement de l’IA. C’est réducteur. La plupart des participants reconnaissent les bénéfices potentiels majeurs de cette technologie. Le désaccord porte surtout sur l’ordre des priorités et sur le caractère contraignant des garde-fous.

Selon une première approche, le développement des modèles de pointe devrait être rythmé de façon à laisser le temps à la recherche en sûreté, aux évaluations, à la gouvernance et aux réponses aux usages malveillants de mûrir. Dario Amodei, directeur général d’Anthropic, a appelé à ralentir la progression des capacités et proposé notamment l’intervention d’évaluateurs indépendants intégrés, une coordination entre les laboratoires de pointe et une coopération internationale.

La pression inverse existe bel et bien : entreprises et gouvernements redoutent qu’un ralentissement par rapport à leurs concurrents ne se traduise par une perte d’avantage économique ou géopolitique. Mais Sam Altman soutient que cette compétition ne peut justifier des capacités qui dépasseraient l’alignement et la surveillance. 13

Reuters rapporte que certains chercheurs jugent les progrès des modèles plus rapides que prévu, alors même que la visibilité humaine sur leur fonctionnement — et, potentiellement, la capacité à les contrôler — diminue. Dès lors, la question de politique publique devient pressante : faut-il continuer à déployer des modèles progressivement plus autonomes pendant que les protections rattrapent leur retard, ou faut-il d’abord démontrer que ces protections sont adéquates ?

Ce que cela change pour la gouvernance de l’IA

Les deux avertissements de Sam Altman indiquent que la gouvernance de l’IA de pointe doit traiter à la fois le contrôle technique et la répartition du pouvoir. De meilleures évaluations, la recherche sur l’alignement, la surveillance et un examen indépendant répondent au premier problème. Des règles cohérentes, de la transparence et des limites au contrôle unilatéral répondent au second.

Les prédictions catastrophistes comme les échéances précises ne doivent pas être considérées comme des faits établis. Mais la gravité potentielle d’un échec explique pourquoi les demandes d’évaluations plus strictes, de contrôle extérieur et d’exigences de sûreté sont devenues une question centrale pour l’industrie de l’IA. 13