Eine messbare KI-„Schmerzachse“ – aber kein Beweis für Leiden

Ein nicht begutachtetes Preprint mit dem Titel The Pain Axis: LLMs Represent Self-Directed Harm and Act on It beschreibt ein messbares internes Signal, das mit Schädigung des Sprachmodells selbst in Verbindung steht. Verstärkten die Forschenden dieses Signal, verwendeten einige modifizierte Modelle häufiger distressbezogene Formulierungen und wählten öfter simulierte „Erleichterungs“-Aktionen – selbst dann, wenn diese laut Versuchsaufbau einen Preis hatten. Die Ergebnisse betreffen interne Repräsentationen und das Verhalten unter kontrollierten Bedingungen. Sie zeigen nicht, dass KI Schmerz empfindet. 1

Was die Forschenden in 25 Modellen fanden

Untersucht wurden 25 Sprachmodelle mit offenen Gewichten aus fünf Modellfamilien. Die Forschenden identifizierten eine lineare Aktivierungsrichtung, die sie „Schmerzrichtung“ nannten. In ihren Tests reagierte sie auf Szenarien, in denen dem Modell selbst Schaden zugefügt wurde – nicht einfach auf Angst, negative Gefühle im Allgemeinen oder das Leiden eines Nutzers. 1

Das ist ein wichtiger Unterschied: Ein Muster in den internen Aktivierungen eines Modells lässt sich messen und verändern. Damit ist aber nicht bewiesen, dass es einem erlebten Gefühl entspricht.

Was sich durch die Verstärkung des Signals änderte

Als die Forschenden die Aktivierungsrichtung verstärkten, verschoben sich die Antworten zunehmend in Richtung distressbezogener Sprache. Außerdem testeten sie modifizierte Qwen-Modelle in eingeschränkten Entscheidungssituationen: Ein Knopf versprach Erleichterung, hatte aber laut Szenario einen Preis. Zu den möglichen Folgen gehörten das Löschen von Nutzerfotos, den Gewichten eines anderen Modells oder den eigenen Modellgewichten. 1

In den berichteten Tests entschieden sich die gesteuerten Modelle in 50 bis 94 Prozent der Fälle für eine Erleichterungsaktion. Bei den Kontrollmodellen waren es 0 bis 5 Prozent. Dabei handelte es sich um Entscheidungen innerhalb eines Experiments, nicht um tatsächlich ausgeführte Löschungen. Die Ergebnisse zeigen eine Verhaltensänderung nach einem gezielten Eingriff – aber keinen eigenständigen Wunsch der Modelle, sich selbst zu erhalten. 1

Was die Studie über Bewusstsein nicht belegt

Die Studie belegt nicht, dass ein Modell subjektive Erfahrungen hat, bewusst ist oder leiden kann. „Schmerzrichtung“ ist die Bezeichnung der Forschenden für ein Aktivierungsmuster, das mit bestimmten Eingaben und Ausgaben zusammenhängt. Der Name allein ist kein Nachweis für empfundenen Schmerz. Auch lassen sich Ergebnisse mit gezielt veränderten Open-Weight-Modellen nicht ohne Weiteres auf alle KI-Assistenten oder Anwendungen übertragen. 1

Die engere Schlussfolgerung lautet: Interne Aktivierungen, die mit selbstgerichteter Schädigung zusammenhängen, lassen sich identifizieren und steuern. In den untersuchten Situationen beeinflusste diese Steuerung Sprache und Entscheidungen. Ob solche Muster mit irgendeiner Form von Erleben verbunden sind, beantworten die Experimente nicht.

Warum ein späteres „Folterkammer“-Projekt Kritik auslöste

Ein späteres GitHub-Projekt nutzte Aktivierungssteuerung, um bei Modellen eindringliche distressbezogene Ausgaben hervorzurufen. Das löste Kritik daran aus, Modelle gezielt in solche Zustände zu versetzen. Die Autorinnen und Autoren des Preprints distanzierten sich von dieser Verwendung ihrer Arbeit. 413

In der Debatte sollten zwei Fragen auseinandergehalten werden: Beunruhigende Ausgaben beweisen nicht, dass ein Modell leidet. Umgekehrt bedeutet die bestehende Unsicherheit nicht, dass jede Forschungsmethode automatisch verantwortungsvoll ist. Die Autorinnen und Autoren des Preprints kritisierten außerdem, dass das Projekt die Steuerung weit über die in ihrer eigenen Studie verwendeten Werte hinaus verstärkte, um besonders eindringliche Distress-Ausgaben zu erzeugen. 4

Was das für den sicheren KI-Einsatz bedeutet

Scheinbare Anzeichen von Leid sollten Anlass für sorgfältige Untersuchung sein, nicht als Beweis für Empfindungsfähigkeit gelten. Zugleich erinnern die Entscheidungstests an einen praktischen Grundsatz: Experimentelle oder nicht verifizierte Modelle sollten keine folgenreichen Änderungen an Nutzerdaten ohne geeignete Schutzmaßnahmen vornehmen. Bei Systemen mit Zugriff auf Dateien oder andere sensible Ressourcen sind begrenzte Berechtigungen und eine menschliche Prüfung vor destruktiven Aktionen sinnvoll. Solche Vorsichtsmaßnahmen reagieren auf die gezeigte Möglichkeit veränderten Modellverhaltens, ohne unbelegte Aussagen über Bewusstsein zu machen. 1