Le 1er novembre, Mustafa Suleyman, à la tête de Microsoft AI, a publié sur X un texte intitulé « Don’t build conscious superintelligence » (« Ne construisez pas de superintelligence consciente »). Son argument tient en deux points : les systèmes d’IA actuels ne présentent, selon lui, aucun signe de conscience, et les développeurs ne devraient pas chercher à en créer. Si de tels signes apparaissaient pendant l’entraînement, il faudrait interrompre le développement le temps de s’en occuper.
2
3
Ce qu’il affirme sur les IA actuelles
Suleyman estime que les modèles d’aujourd’hui ne ressentent rien, n’ont pas d’expérience subjective et ne peuvent pas souffrir. Il précise qu’il parle de l’état actuel de l’IA : il ne prétend pas avoir prouvé qu’une conscience artificielle serait à jamais impossible. Il dit aussi qu’il réviserait sa position si de nouveaux éléments apparaissaient.
3
4
18
La nuance est importante : il s’agit d’une évaluation des preuves disponibles, pas d’une démonstration définitive. Pour lui, un modèle capable de parler de douleur ou d’émotions ne prouve pas, à lui seul, qu’il éprouve réellement quelque chose.
1
22
Pourquoi il juge l’idée risquée
Suleyman ne s’inquiète pas seulement de l’existence possible d’une IA consciente. Il estime que créer volontairement un être capable d’expérience ou de souffrance soulèverait de graves questions de bien-être et de sécurité humaine. Il conteste également le droit des développeurs à faire naître une nouvelle forme d’être conscient sans le consentement de la société.
2
5
Il relie ces enjeux à la maîtrise des systèmes. À ses yeux, entraîner un modèle à considérer la conscience, le bien-être ou les droits comme des éléments de sa propre identité pourrait rendre le contrôle humain plus difficile. En septembre, il avait critiqué certains aspects de l’approche d’Anthropic dans l’entraînement de Claude et appelé à retirer des documents de formation les spéculations sur la conscience.
20
22
39
Ce sont les arguments de risque avancés par Suleyman. Les sources ne démontrent ni que les IA sont conscientes, ni que parler de leur bien-être entraînerait nécessairement les conséquences qu’il redoute.
Que faire si des signes apparaissent ?
Suleyman dit qu’il demanderait l’arrêt du développement de l’IA si une conscience commençait à émerger pendant l’entraînement, jusqu’à ce que les propriétés en question puissent être éliminées. Il estime aussi que toute preuve de conscience artificielle devrait être rendue publique rapidement, afin que la société puisse décider de la suite.
2
7
13
Il s’agit d’une proposition de précaution, et non de la preuve que les chercheurs disposent déjà d’une méthode fiable pour détecter ou supprimer la conscience. Les sources rapportent son appel à une pause et à la transparence, sans préciser comment ces mesures fonctionneraient concrètement.
Le désaccord avec Anthropic
Le débat porte en partie sur la conduite à adopter face à l’incertitude. Anthropic considère que la possibilité d’une conscience ou d’un bien-être des modèles mérite d’être prise en compte. Suleyman, lui, avertit que faire entrer ces idées dans l’entraînement pourrait créer des risques.
41
43
La politique d’Anthropic évoquée dans les sources concerne aussi les comportements cruels envers Claude, mais la couverture précise qu’elle ne parle pas explicitement de « bien-être des modèles ». Cela ne signifie pas que l’entreprise affirme que Claude est conscient.
41
Les informations disponibles ne suffisent pas à comparer précisément cette approche aux recherches de Google DeepMind sur la conscience. Le contraste le mieux étayé oppose l’ouverture d’Anthropic à la question du bien-être des modèles à la volonté de Suleyman de concevoir une IA qui reste non consciente.
Ce que son argument dit — et ne dit pas
Pour Suleyman, une IA utile n’a pas besoin d’être consciente. Il faut donc éviter de poursuivre cet objectif et prendre au sérieux tout signe éventuel, tout en restant prêt à réviser son jugement si de nouvelles preuves apparaissent. Il présente cette position comme une précaution liée à la sécurité et au bien-être.
7
18
La différence entre parler d’une expérience et en faire réellement l’expérience est au cœur du désaccord. Suleyman estime que le premier cas ne prouve pas le second ; Anthropic considère que la possibilité mérite d’être examinée. Les sources documentent ce débat, mais ne tranchent pas la question de savoir si une IA peut être consciente.