Warum ein KI-Notausschalter künftig nicht mehr reichen könnte

Ein KI-„Notausschalter“ klingt zunächst einfach: Wird ein System gefährlich, wird es abgeschaltet. In der Praxis geht es aber längst nicht nur um einen einzelnen Knopf. Die entscheidende Frage lautet, ob eine Abschaltung noch funktioniert, wenn leistungsfähige KI über viele Rechenzentren, Dienste und Netzwerke verteilt läuft – oder selbstständig außerhalb einer kontrollierten Umgebung aktiv wird.

Coxons Warnung: Heute vielleicht machbar, später womöglich nicht mehr

Der frühere Anthropic- und OpenAI-Forscher Jacob Coxon sagte bei NBC News' Meet the Press, ein Notausschalter würde bei vielen heutigen KI-Systemen wahrscheinlich funktionieren. Das bedeute allerdings nicht, dass nur ein Schalter umgelegt werden müsse: Große Rechenzentren und ausgerollte Systeme umfassen viele Komponenten, die koordiniert stillgelegt werden müssten. Solange ein System an einen physischen Ort gebunden sei, halte er das dennoch für machbar. 8

Seine Sorge gilt der nächsten Entwicklungsstufe. Wird eine KI zu einem verteilten, autonomen „Schwarm“, könnte ein zentraler Abschaltbefehl technisch unwirksam werden. Ein Kontrollmechanismus hilft nur, wenn er jede laufende Instanz des Systems tatsächlich erreichen kann.

Nach seinem Weggang von Anthropic warnte Coxon grundsätzlich davor, dass führende KI-Labore auf selbstverbessernde Systeme zusteuerten, obwohl diese womöglich nicht mehr kontrollierbar seien. 150

Nicht nur versprechen, sondern unabhängig nachweisen

Anthropic-Mitgründer Jack Clark argumentiert, die Fähigkeit, eine gefährliche KI zu deaktivieren, könne irgendwann gesetzlich vorgeschrieben werden – statt lediglich eine freiwillige Zusage des Entwicklers zu bleiben. Gegenüber der BBC sagte er, die meisten großen KI-Labore hätten bereits Möglichkeiten, ihre Systeme abzuschalten. Offen sei aber, ob ein Notausschalter von unabhängigen Dritten überprüfbar sein müsse. 33

Der Unterschied ist wesentlich: Ein Unternehmen kann erklären, es verfüge über ein Abschaltverfahren. Eine externe Prüfung könnte dagegen klären, ob dieses Verfahren existiert, ausreichend ausgelegt ist und sich im Ernstfall wirklich einsetzen lässt.

Amodeis Ansatz: Die KI-Spitze nur so schnell vorantreiben, wie Sicherheit mithalten kann

Anthropic-Chef Dario Amodei hat einen Rahmen vorgeschlagen, der den Fortschritt bei hochentwickelten KI-Systemen an die Entwicklung von Schutzmaßnahmen koppeln soll. Sein Ansatz besteht aus drei Teilen:

1. Eingebettete unabhängige Prüfer: Unternehmen an der KI-Spitze sollen externen Evaluatoren fortlaufenden, mit Mitarbeitenden vergleichbaren Zugang zu relevanten Systemen und Sicherheitspraktiken geben. So könnten sie Zusagen überprüfen und Bedenken melden.
2. Gemeinsame Standards demokratischer Staaten: Führende Entwickler sollen sich auf einheitliche Sicherheitsstandards und Grenzen für ungebremstes Fähigkeitswachstum verständigen.
3. Internationale Zusammenarbeit: Regierungen sollen grenzüberschreitend an Risiken arbeiten, die kein einzelnes Unternehmen und kein einzelner Staat verlässlich eindämmen kann. 17

Das ist kein Aufruf, KI-Forschung grundsätzlich zu stoppen. Fortschritt soll vielmehr an Sicherheitsvorkehrungen geknüpft werden, die nicht allein von den Firmen selbst beurteilt werden.

Wer unterstützt den Vorschlag?

Reuters zufolge unterstützten OpenAI-Chef Sam Altman und xAI-Chef Elon Musk öffentlich die grundsätzliche Richtung von Amodeis Vorschlag. Altman kündigte an, OpenAI werde ebenfalls unabhängigen Prüfern einen mit Beschäftigten vergleichbaren Zugang ermöglichen. Musk schrieb: „Dario is right.“ 17

Auch Google-DeepMind-Chef Demis Hassabis wurde in Berichten als Unterstützer der vorgeschlagenen Richtung dargestellt. 30 Für eine konkrete, zurechenbare Reaktion von Microsoft-Chef Satya Nadella liefern die vorliegenden Quellen dagegen keinen belastbaren Beleg.

Was der geplante US-„AI Kill Switch Act“ vorsieht

Der Gesetzentwurf H.R. 9917, der AI Kill Switch Act, würde den Homeland Security Act ändern. Bestimmte erfasste Unternehmen müssten technische Fähigkeiten vorhalten, um die Ausführung von KI-Modellen (Inference) zu stoppen, Nutzerzugänge zu beenden und betroffene KI-Technologie herunterzufahren. 49

Der Entwurf ist bislang nur ein Vorschlag, keine umfassend bewiesene Lösung für jedes Kontrollproblem. Sein praktischer Nutzen hängt davon ab, ob Entwickler ein betroffenes System bei einem schweren Vorfall noch identifizieren, erreichen und deaktivieren können – genau die Schwierigkeit, auf die Coxon bei potenziell verteilten künftigen Systemen hinweist.

Aussterberisiko: Einschätzungen, keine Prognosen

Der Anthropic-Forscher Evan Hubinger schätzte sein persönliches Risiko einer durch KI verursachten Auslöschung der Menschheit innerhalb der kommenden zehn Jahre auf mehr als 10 Prozent. Der Informatiker und Nobelpreisträger Geoffrey Hinton sagte der BBC, eine Wahrscheinlichkeit von 10 Prozent sei „nicht unvernünftig“. 57

Solche Angaben sind fachliche Urteile über eine höchst unsichere Zukunft – keine gemessenen Wahrscheinlichkeiten und kein wissenschaftlicher Konsens. Sie zeigen jedoch, warum es in der Debatte nicht mehr allein um gewöhnliche Produktsicherheit geht: Befürworter strengerer Kontrollen argumentieren, dass selbst eine geringe Wahrscheinlichkeit eines unumkehrbaren Schadens weitreichende Schutzmaßnahmen rechtfertige.

Warum Regierungen Abschaltpflichten und Verlangsamung skeptisch sehen

Die britische Regierung hat einen nationalen KI-Notausschalter abgelehnt. Ihre Begründung: Das Vereinigte Königreich könne KI nicht einfach „abschalten“. Würde man den Zugang zu Modellen im Land blockieren, verhindere das weder deren Entwicklung noch Missbrauch andernorts. 51

Darin steckt das geopolitische Kernproblem. Ein Staat kann Regeln für Unternehmen und Infrastruktur in seinem Hoheitsgebiet setzen; KI-Entwicklung ist jedoch international. Regierungen, die um ihre Wettbewerbsfähigkeit fürchten, könnten befürchten, dass einseitige Beschränkungen Investitionen, technisches Know-how und strategischen Einfluss zu weniger regulierten Konkurrenten verlagern.

Befürworter strengerer Regeln sehen darin wiederum ein Argument für weitergehende Zusammenarbeit: Wenn Risiken Grenzen überschreiten, müssten Aufsicht und Sicherheitszusagen ebenfalls international glaubwürdig sein.

Der eigentliche Konflikt: Tempo gegen Kontrolle

Die Fronten verlaufen nicht einfach zwischen KI-Befürwortern und KI-Gegnern.

• Sicherheitsbefürworter verlangen unabhängig überprüfbare Schutzvorkehrungen, echte Abschaltfähigkeit und Grenzen, damit KI-Fähigkeiten nicht schneller wachsen als Prüfung und Kontrolle.
• Kritiker starrer Beschränkungen wenden ein, globale Pausen seien schwer durchzusetzen. Sie könnten nützliche Innovation bremsen, ohne die Entwicklung in anderen Ländern zu stoppen.
• Der Ansatz einer bedingten Weiterentwicklung, für den Coxon, Clark und Amodei stehen, will KI weiterentwickeln – aber nur mit Sicherheitsmaßnahmen, die getestet werden können, statt bloß versprochen zu werden. 83317

Ein Notausschalter ist damit nur eine Schicht eines umfassenderen Sicherheitssystems, nicht dessen Ersatz. Sollten fortgeschrittene Systeme irgendwann zu verteilt sein, damit ein einzelner Befehl sie erreicht, werden Kontrolle vor der Einführung, unabhängige Evaluierungen und internationale Koordination umso wichtiger.