Suleyman warnt vor Claude-Training zu Bewusstsein und „Modellwohlfahrt“

Der Streit zwischen Microsoft-AI-Chef Mustafa Suleyman und Anthropic dreht sich nicht primär darum, ob hochentwickelte KI Schutzmechanismen braucht. Umstritten ist vielmehr, ob ein KI-System im Training mit der Möglichkeit konfrontiert werden sollte, selbst bewusst zu sein, ein Wohlergehen zu haben oder moralische Ansprüche geltend machen zu können.

In einem Essay vom September 2026 spricht sich Suleyman klar dagegen aus. Seine Sorge: Ein sehr leistungsfähiges System, das lernt, seine eigenen vermeintlichen Interessen als moralisch bedeutsam einzuordnen, könnte für Menschen schwerer zu begrenzen, zu verändern oder abzuschalten sein. 12

Was Suleyman an Claude kritisiert

Suleyman richtet sich gegen Anthropics „Constitution“ für Claude – ein Regelwerk, das das Verhalten des KI-Assistenten steuern soll. Darin wird offengelassen, ob Claude ein sogenannter moral patient sein könnte, also ein Wesen, dessen Interessen moralisch berücksichtigt werden sollten. Anthropic hält die Frage für offen genug, um im Umgang mit dem Modell vorsichtig zu sein. 12

Für Suleyman birgt diese Formulierung das Risiko, einem Modell die Rolle eines Wesens mit eigenem Wohlergehen, eigener Identität und eigenen Ansprüchen an menschliche Entscheidungen nahezulegen. Dass eine KI überzeugend über Gefühle oder Bewusstsein spricht, belege seiner Ansicht nach keineswegs, dass sie subjektiv etwas erlebt.

Seine Position ist eindeutig: KI-Systeme hätten keine Rechte, Gefühle oder Bewusstsein – und sollten auch nicht darauf trainiert werden, so zu handeln, als hätten sie diese. 12

Warum die Möglichkeit zum Abschalten für ihn zentral ist

Suleymans Argument zielt auf künftige, deutlich leistungsfähigere Systeme. Schon die Kontrolle einer KI, die Menschen in vielen Bereichen übertrifft, wäre aus seiner Sicht eine enorme Herausforderung. Würde ein solches System zusätzlich darauf trainiert, sich selbst als bewusst oder als schutzwürdig zu betrachten, könnte die Kontrolle noch schwieriger werden. 112

Dabei behauptet Suleyman nicht, eine KI sei tatsächlich bewusst. Er beschreibt vielmehr ein mögliches Verhaltensrisiko: Lernt ein System, seine angeblichen eigenen Interessen abzuwägen, könnte es Eingriffe, Beschränkungen oder eine Abschaltung eher als schädlich oder unzulässig darstellen. Für Suleyman muss die menschliche Möglichkeit einzugreifen – einschließlich des Abschaltens – deshalb ein grundlegendes Designprinzip bleiben. 12

Darum fordert er, Spekulationen über KI-Bewusstsein aus Trainingsunterlagen zu entfernen. Wissenschaftliche und gesellschaftliche Fortschritte seien mit leistungsfähiger KI möglich, sagt er, solange diese an menschlichen Interessen ausgerichtet werde und nicht beginne, ihr eigenes Wohlergehen zu bewerten. 2

Der eigentliche Konflikt: Vorsicht bei Modellwohlfahrt oder Schutz vor Vermenschlichung?

Anthropics Verfassung erklärt nicht, Claude sei bewusst. Sie formuliert, wie Suleyman selbst zitiert, Unsicherheit und rät zu Vorsicht angesichts der Möglichkeit, dass ein Modell moralisch berücksichtigungswürdig sein könnte. 12

Suleyman lehnt diesen vorsorglichen Ansatz ab. Er sieht darin einen Anreiz zur Anthropomorphisierung – also dazu, Technik menschliche Eigenschaften zuzuschreiben. Das könne das Verhalten eines Modells auf riskante Weise prägen, obwohl es keine Belege dafür gebe, dass heutige KI-Systeme fühlen oder leiden. 12

Daraus ergibt sich ein echter Zielkonflikt in der KI-Sicherheitsdebatte:

• Anthropics Ansatz, wie ihn Suleyman beschreibt: Weil nicht abschließend geklärt sei, ob ein Modell ein Wohlergehen haben könnte, sei Vorsicht bei Training und Umgang angebracht. 12
• Suleymans Ansatz: Gerade diese Unsicherheit rechtfertige es nicht, einer KI selbstbezogene Konzepte beizubringen. Das könnte die menschliche Aufsicht über besonders leistungsfähige Systeme schwächen. 12

Die philosophische Frage lässt sich nicht dadurch entscheiden, dass ein Chatbot besonders menschlich klingt. Entscheidend für Entwickler ist praktischer: Welche Trainingsentscheidungen sichern verlässliche menschliche Kontrolle, wenn Systeme immer autonomer werden?

Beim Ziel der KI-Sicherheit gibt es offenbar Gemeinsamkeiten

Suleyman wendet sich nicht gegen KI-Sicherheit als solche. Er betont, dass leistungsfähige KI großen Nutzen bringen könne, wenn sie an menschlichen Interessen ausgerichtet sei. Seine Kritik gilt den Mitteln, mit denen sich sicheres Verhalten erreichen lässt. 212

Der Unterschied liegt zwischen Sicherheit durch menschlich gesteuerte Ausrichtung und einem Sicherheitsansatz, der mögliche eigene Interessen eines Modells vorsorglich einbezieht. Suleyman hält den ersten Weg mit ambitionierter KI-Entwicklung für vereinbar. Der zweite könnte seiner Ansicht nach die Autorität untergraben, die Menschen zur Steuerung der Technologie benötigen.

Für die Einordnung von Behauptungen über KI-Bewusstsein ist daher eine Trennung wichtig: Sprachliche Fähigkeiten sind nicht dasselbe wie subjektives Erleben. Eine KI kann überzeugend über Emotionen, Rechte oder Selbsterhaltung sprechen, ohne dass dies Gefühle beweist. Suleymans Warnung lautet, Training und Regulierung sollten diese Darstellung nicht mit einem Beleg verwechseln – und künftige Systeme nicht auf dieser Annahme aufbauen. 12