Pour Sam Altman, confier à l’IA une autorité religieuse pose un risque de sécurité

Sam Altman s’est dit « très mal à l’aise » à l’idée que l’on attribue une « force religieuse » aux modèles d’IA ou que l’on renonce à exercer son propre jugement en leur faveur. Il a qualifié cette tendance de « véritable enjeu de sécurité ». Il n’a pas nommé Anthropic dans sa publication, mais celle-ci est intervenue quelques jours après des révélations sur les échanges de l’entreprise avec des penseurs religieux. Plusieurs médias y ont donc vu une critique voilée. 71

Au cœur de la controverse, deux questions qu’il importe de distinguer : comment une IA devrait-elle se comporter, et pourrait-elle être consciente ? Les informations disponibles font état de discussions menées par Anthropic sur ces sujets. Son cofondateur Christopher Olah, lui, a dit ne pas savoir si les modèles d’IA sont conscients et se sentir « véritablement incertain ». 1

Ce qu’Altman redoute

Dans son message, Altman associe deux préoccupations : attribuer un pouvoir religieux à l’IA et lui abandonner le jugement humain. Il estime que cette combinaison pose un problème de sécurité. Comme il n’a cité ni entreprise ni projet, le lien avec Anthropic relève d’une interprétation du contexte médiatique, et non d’une accusation formulée explicitement dans sa publication. 7

La mise en garde dépasse le seul débat religieux. Des réponses assurées et formulées comme celles d’un humain peuvent donner à un modèle une apparence d’autorité. Le risque, en pratique, est de lui accorder davantage de poids que ne le justifie ce que l’on sait de ses capacités. Les articles cités rapportent la mise en garde d’Altman, mais ne mesurent ni l’ampleur de ce phénomène ni ses effets. 67

Pourquoi les échanges d’Anthropic ont attiré l’attention

Anthropic a consulté des penseurs religieux au sujet de la manière de façonner le comportement moral de Claude et de la possibilité que les modèles d’IA soient conscients. Ces thèmes recoupent l’avertissement d’Altman, ce qui explique pourquoi ses propos ont été compris comme une réaction au travail de l’entreprise. 17

La nuance reste essentielle. « Nous ne savons pas si les modèles d’IA sont conscients », a déclaré Olah, ajoutant qu’il n’en était lui-même pas certain. Évoquer la possibilité d’une conscience ne prouve pas qu’un modèle ait une expérience subjective. De même, consulter des spécialistes de la religion sur des questions de comportement moral ne confère pas, à soi seul, un statut religieux à une IA. 1

Conscience et comportement moral : deux questions distinctes

Un modèle peut être conçu pour suivre des consignes sur la manière de répondre sans que cela établisse qu’il possède une vie intérieure. Les discussions rapportées chez Anthropic portaient à la fois sur le comportement de Claude et sur une éventuelle conscience : ces deux sujets ne doivent pas être confondus. 1

Les articles font également état d’objections à l’idée d’entraîner des modèles comme s’ils étaient conscients. Un responsable de Microsoft spécialisé dans l’IA a averti que cette approche pouvait être dangereuse. Il s’agit d’une inquiétude rapportée, pas d’une réponse définitive à la question de la conscience des machines. La position exprimée par Olah reste, elle, celle de l’incertitude. 91

La dignité humaine au centre du débat

Dans son encyclique sur l’IA, le pape Léon XIV a placé la dignité humaine au cœur de la réflexion. Selon les comptes rendus du document, celui-ci appelle notamment à renforcer la surveillance des entreprises d’IA, à protéger les travailleurs confrontés aux bouleversements économiques et à lutter contre les fausses informations générées par l’IA. Ces préoccupations rappellent l’importance de maintenir les intérêts humains et la responsabilité au premier plan du développement et de l’usage de ces technologies. 152

OpenAI aussi sous le feu des critiques

Le débat s’est déroulé dans un contexte où OpenAI faisait l’objet de critiques distinctes. Business Insider a rapporté le départ de David Robinson, responsable de la sécurité, qui a contesté publiquement le bilan de l’entreprise dans ce domaine. La BBC a, de son côté, annoncé le licenciement de trois chercheurs pour une mauvaise gestion présumée d’informations. Ces affaires ne tranchent pas la question de la conscience des IA, mais elles comptent dans l’examen de la gouvernance et des déclarations des deux entreprises. 1226

La conclusion la plus solide reste limitée : Altman a mis en garde contre le fait de traiter les modèles comme des autorités religieuses ou de leur céder son jugement. Les consultations d’Anthropic ont soulevé des questions connexes sur le comportement moral de Claude et sa possible conscience. Mais les informations disponibles ne montrent pas qu’elles aient consisté à conférer une autorité religieuse à Claude — et la question de la conscience des IA, elle, n’est pas tranchée. 71