Was Evan Hubingers 10-Prozent-Schätzung über den KI-Alignment-Streit verrät

Evan Hubingers öffentliche Aussage belegt nicht, dass KI die Menschheit auslöschen wird. Sie macht etwas Konkreteres sichtbar – und gerade deshalb ist sie so folgenreich: Der Leiter von Anthropics Alignment-Science-Arbeit schätzt die Möglichkeit persönlich auf mehr als 10 Prozent innerhalb der nächsten zehn Jahre. Zugleich räumte er ein, dass Anthropic bislang keinen Plan zur Lösung des Alignment-Problems bei Superintelligenz habe und auch nicht erkennbar auf einem klaren Weg dorthin sei. 12

Damit erhielt die Sorge hinter dem Rücktritt des früheren Anthropic- und OpenAI-Forschers Jacob Coxon besonderes Gewicht: Führende KI-Labore könnten Systeme mit deutlich weitergehenden Fähigkeiten vorantreiben, obwohl Methoden zur verlässlichen Ausrichtung dieser Systeme an menschlichen Absichten noch nicht bewiesen sind. 23

Persönliche Prognose, keine offizielle Unternehmensposition

Die Marke von „mehr als 10 Prozent“ war Hubingers eigene Einschätzung. Sie wurde weder als offizielle Risikoprognose von Anthropic noch als Konsens der Belegschaft oder als gesicherte wissenschaftliche Vorhersage vorgestellt. 12

Das ist ein wichtiger Unterschied. Eine Wahrscheinlichkeitsangabe erklärt noch keinen konkreten Schadensmechanismus, beweist keinen Zeitplan und bedeutet nicht, dass ein katastrophaler Ausgang wahrscheinlich ist. Hubinger soll zudem gesagt haben, das Risiko der heute verfügbaren Modelle sei gering. Seine Sorge gelte künftigen, wesentlich leistungsfähigeren Systemen – insbesondere einem Szenario rekursiver Selbstverbesserung, in dem KI-Fähigkeiten eingesetzt werden, um leistungsfähigere KI zu entwickeln. 210

Bemerkenswert ist die Aussage dennoch, weil sie von einer Person stammt, die bei einem großen Frontier-Labor die Alignment-Forschung leitet. Die zentrale Offenlegung ist nicht allein die drastische Zahl. Es ist die Differenz zwischen dem Fortschritt bei Fähigkeiten und dem Vertrauen, superintelligente Systeme unter menschlicher Kontrolle halten zu können. 12

Warum die Aussage Coxons Rücktrittswarnung verstärkt

Coxon, der bei OpenAI und Anthropic gearbeitet hatte, kündigte und argumentierte, keines der beiden Unternehmen handle verantwortungsvoll; beide lieferten sich ein Rennen in Richtung selbstverbessernder Superintelligenz. Hubinger stimmte Coxons Kernpunkt öffentlich zu: Menschen, die solche Systeme entwickeln, hielten Auslöschungsrisiken aufrichtig für möglich. 23

Das beweist weder, dass alle Beschäftigten dieselbe Einschätzung teilen, noch macht es Coxons Darstellung zu einer unabhängig bestätigten Gesamtbewertung beider Unternehmen. Seine Warnung lässt sich dadurch aber schwerer als bloßer Einzelfall eines ehemaligen Mitarbeiters abtun. Ein amtierender Alignment-Leiter bestätigte den zugrunde liegenden Befund: Ernsthafte interne Bedenken können neben fortgesetzter Entwicklung von Spitzenmodellen bestehen. 12

Auch die Aussagen von Samuel Marks sollten mit dieser Einschränkung gelesen werden. Berichten zufolge sagte er, KI-Entwickler hielten es für möglich, dass ihre Technologie menschliche Auslöschung oder ähnlich schwere Folgen verursachen könne. Das ist eine Insiderperspektive – kein veröffentlichter, unternehmensweiter Risiko-Schätzwert. 5

Im Kern geht es um Steuerung unter Unsicherheit

Die Debatte wird oft zu „KI-Untergang gegen KI-Optimismus“ verkürzt. Die praktischere Frage lautet: Welche Sicherungen müssen gelten, wenn mögliche Schäden global und unumkehrbar wären, Wahrscheinlichkeit und Zeitpunkt aber hochgradig unsicher bleiben?

Hubingers Äußerungen schärfen mehrere Punkte:

• Alignment ist nicht gelöst. Dass ein Labor intensiv daran arbeitet, ist etwas anderes als eine nachgewiesene Methode, Systeme zu kontrollieren, die heutigen Modellen weit überlegen sind. 1
• Wettbewerb erschwert freiwillige Zurückhaltung. Coxons Kritik lautet, Konkurrenzdruck treibe Labore zu immer höheren Fähigkeiten, obwohl zentrale Sicherheitsfragen offen seien. 23
• Die Sicherheit heutiger Modelle ist nicht die ganze Frage. Hubinger unterschied zwischen dem aus seiner Sicht geringen Risiko aktueller Systeme und der Gefahr künftiger, erheblich leistungsfähigerer KI. 210
• Externe Überprüfung ist entscheidend. Ohne unabhängige Evaluationen und transparente Berichte können Öffentlichkeit, Kunden und Regierungen interne Sicherheitsprozesse nur schwer bewerten.

Das sind Fragen der Governance, kein Nachweis einer unmittelbar bevorstehenden Katastrophe. Gerade solche Fragen lassen sich jedoch schlechter lösen, wenn Systeme bereits gefährliche Fähigkeiten erlangt haben.

Transparenz erhöht den Druck

Berichten zufolge lehnte Anthropic es ab, sein jüngstes Modell vor der Veröffentlichung dem britischen AI Safety Institute zur Prüfung vorzulegen. Diese Darstellung ist mit Vorsicht zu behandeln: Die vorliegenden Angaben beziehen sich auf Medienberichte, nicht auf eine bestätigte öffentliche Feststellung des Unternehmens oder der britischen Regierung. 10

Der Vorwurf verdeutlicht dennoch, warum freiwillige Sicherheitszusagen Skepsis auslösen. Wenn Sicherheitsverantwortliche eines Unternehmens selbst ungelöste Alignment-Probleme benennen, sind Fragen naheliegend: Welche Tests gab es? Wer hat sie geprüft? Welche Ergebnisse wurden geteilt? Und bei welchen Fähigkeitsgrenzen greifen strengere Kontrollen?

Was ein langsamerer, sichererer Kurs bedeuten könnte

Ein Ruf nach Verlangsamung heißt nicht zwingend, jede KI-Forschung oder jeden KI-Einsatz dauerhaft einzustellen. Das regulatorische Argument zielt auf verbindliche Prüfungen, bevor Systeme besonders folgenreiche Fähigkeitsgrenzen überschreiten.

Mögliche Maßnahmen wären:

• unabhängige Fähigkeits- und Sicherheitstests vor der Bereitstellung;
• Meldepflichten für schwerwiegende Vorfälle und erheblich gefährliche Fähigkeiten;
• klar definierte Schwellen, ab denen Entwickler stärkere Sicherheits- und Governance-Maßnahmen umsetzen müssen;
• Audits, die nicht allein auf internen Zusicherungen der Entwickler beruhen; sowie
• internationale Abstimmung, damit weder Unternehmen noch Staaten aus Konkurrenzdruck Sicherheitsstandards unterlaufen.

Die Logik dahinter ist einfach: Ist die Eintrittswahrscheinlichkeit unsicher, der mögliche Schaden aber extrem, müssen Schutzvorkehrungen nachweisbar vorhanden sein – bevor Kontrolle verloren geht, nicht erst danach.

Was Hubingers Aussage letztlich offenlegt

Hubingers Beitrag zeigt einen Grundkonflikt der Frontier-KI: Führende Entwickler können schwere Langzeitrisiken öffentlich anerkennen und gleichzeitig weiter auf jene Fähigkeiten hinarbeiten, die diese Risiken dringlicher machen. 12

Die Aussage entscheidet nicht über die tatsächliche Wahrscheinlichkeit katastrophaler KI-Schäden und darf nicht als offizielle Anthropic-Prognose verstanden werden. Sie macht die Alignment-Debatte aber konkreter. Es geht nicht mehr nur darum, ob fortgeschrittene KI gefährlich werden könnte. Entscheidend ist, ob Unternehmen und Regierungen mit unabhängigen Nachweisen, durchsetzbaren Regeln und internationaler Zusammenarbeit zeigen können, dass sie vorbereitet sind, bevor die betreffenden Systeme zu mächtig werden, um sie sicher zu steuern. 110