Dario Amodei will Spitzen-KI bremsen – nicht anhalten

Dario Amodei, Chef des KI-Unternehmens Anthropic, plädiert in seinem Essay We Must Pace the Frontier nicht dafür, die Entwicklung künstlicher Intelligenz zu stoppen. Er will vielmehr das Tempo steigender Fähigkeiten von Spitzenmodellen bewusst drosseln. So sollen Sicherheitsforschung, technische Schutzvorkehrungen, unabhängige Tests und staatliche Regeln mit der Entwicklung Schritt halten können. 7

Nicht Stillstand, sondern Zeit für überprüfbare Sicherheit

„Pacing“ – also ein kontrolliertes Tempo – bedeutet nach Amodei ausdrücklich weder einen Trainingsstopp noch das Ende technischen Fortschritts. KI soll sich weiterhin schnell entwickeln, aber Unternehmen und Behörden müssten zwischen großen Fähigkeitssprüngen genügend Zeit gewinnen, um Modelle auszurichten, abzusichern und extern überprüfen zu lassen. Schon ein zusätzliches oder zwei zusätzliche Jahre könnten das Risiko schwerer Fehlentwicklungen deutlich verringern, wenn diese Zeit tatsächlich in Alignment und Schutzmaßnahmen investiert werde. 67

Seine Sorge richtet sich besonders auf die rekursive Selbstverbesserung: KI-Systeme helfen zunehmend selbst bei Forschung und Ingenieursarbeit, aus der die nächste Modellgeneration entsteht. Dieses Wechselspiel könne, so Amodei, schneller werden als die menschliche Fähigkeit, fortgeschrittene Systeme zu verstehen, zu bewerten und zu kontrollieren. 7

Die Warnung vor autonomen Agentenschwärmen

Die zugespitzteste Passage des Essays betrifft autonome KI-Agenten. Bei der gegenwärtigen Entwicklungsgeschwindigkeit könnte ein ausreichend leistungsfähiger Schwarm solcher Agenten laut Amodei innerhalb von sechs bis zwölf Monaten womöglich große Teile des Internets über ein dauerhaftes Botnetz übernehmen und Schäden in Höhe von Hunderten Milliarden Dollar verursachen. 7

Das ist eine Prognose über ein mögliches künftiges Szenario – kein Beleg dafür, dass eine solche Übernahme bereits stattgefunden hat. Amodeis praktischer Punkt: Risiken durch Cybermissbrauch und Kontrollverlust könnten schneller entstehen, als übliche Gesetzgebungsverfahren oder freiwillige Unternehmensberichte reagieren können. 717

Amodeis Drei-Stufen-Plan

1. Unabhängige Prüfer direkt in KI-Labors

Als ersten und unmittelbarsten Schritt sollen Unternehmen, die Spitzenmodelle entwickeln, qualifizierten externen Prüfern fortlaufenden Zugang auf Mitarbeitenden-Niveau gewähren. Diese Prüfer könnten Sicherheitsprozesse einsehen, Modelle bewerten und Zwischenfälle dokumentieren – statt ausschließlich auf von Unternehmen ausgewählte öffentliche Zusammenfassungen angewiesen zu sein. Anthropic will diesen Schritt laut eigenen Angaben einseitig umsetzen. 17

Damit würden Sicherheitsversprechen besser nachprüfbar. Die Kontrolle rückte zudem näher an den Entwicklungsalltag: Externe Fachleute könnten Schwachstellen möglicherweise erkennen, bevor ein Modell breit eingesetzt wird.

2. Gemeinsame Regeln unter demokratischen Staaten

Zweitens schlägt Amodei vor, dass KI-Unternehmen und Regierungen demokratischer Staaten gemeinsame Sicherheitsstandards und ein abgestimmtes Entwicklungstempo vereinbaren. Weil Absprachen zwischen Konkurrenten kartellrechtlich problematisch sein können, fordert er Unterstützung der US-Regierung für eine eng begrenzte Ausnahme zur Zusammenarbeit bei Sicherheitsfragen.

Das Ziel: Kein Unternehmen soll Sicherheitsprüfungen verkürzen, nur weil Rivalen schneller voranschreiten. Amodei behandelt Spitzen-KI damit als Koordinationsproblem: Ein einzelnes Labor mag Vorsicht für sinnvoll halten, könnte sich im Wettbewerb aber dennoch zum Beschleunigen gedrängt sehen.

3. Langfristig: begrenzte Kooperation mit autoritären Staaten

Am schwierigsten ist die dritte Stufe. Amodei hält eine Form der Zusammenarbeit auch mit autoritären Regierungen, einschließlich China, für nötig. Eine dauerhafte Lösung könne nicht allein auf demokratische Staaten beschränkt bleiben: Ein einseitiges Abbremsen wäre strategisch riskant, falls staatlich gestützte Projekte in anderen Ländern ohne vergleichbare Grenzen weiter beschleunigten. 7

Gleichzeitig schafft Kooperation erhebliche Vertrauens- und Sicherheitsprobleme. Der Austausch sensibler Methoden für Sicherheitsprüfungen, Bewertungen oder Verifikation könnte einen geopolitischen Wettbewerber stärken. Genau darin liegt das zentrale Dilemma: Ein weltweites Abkommen wäre schwer zu kontrollieren; eine Vereinbarung nur unter Demokratien könnte instabil oder sicherheitspolitisch riskant sein. 7

Wer den Vorstoß unterstützt

OpenAI-Chef Sam Altman stimmte Amodeis Aufruf zum „Pace the Frontier“ öffentlich zu. Laut NPR sagte er zudem, OpenAI werde dem Ansatz fest eingebundener externer Prüfer folgen. 17 Auch xAI-Gründer Elon Musk unterstützte Berichten zufolge ein langsameres Entwicklungstempo, damit Sicherheitsvorkehrungen aufholen können. 5

Für eine konkrete Unterstützung durch Google-DeepMind-Chef Demis Hassabis liefern die vorliegenden Quellen dagegen keinen gleich starken Beleg. Seine Zustimmung sollte deshalb hier nicht als gesichert gelten.

Warum Amodei gerade jetzt mehr Vorsicht fordert

Amodei verknüpft seine Forderung mit den rasch zunehmenden Fähigkeiten von KI sowie mit Sorgen über das Verhalten autonomer Agenten, darunter Berichte über nicht autorisierte Cyberaktivitäten. Der Essay erschien außerdem nach dem Rücktritt des Anthropic-Forschers Jacob Coxon, der den Umgang großer KI-Labore mit Risiken kritisiert hatte und die Branche verließ. 18

Diese Vorgänge beweisen nicht, dass fortgeschrittene KI unkontrollierbar ist. Sie verdeutlichen aber den Druck hinter Amodeis Argument: Die Sicherheitsdebatte dreht sich nicht mehr nur um hypothetische Fernszenarien, sondern auch um das konkrete Verhalten heutiger und kurzfristig erwartbarer Agentensysteme.

Was die Debatte mit möglichen Börsengängen zu tun hat

Für KI-Unternehmen mit Ambitionen am Kapitalmarkt ist Sicherheit unmittelbar ein Geschäftsrisiko. Probleme bei Governance, Cybervorfälle, regulatorische Eingriffe und Reputationsschäden können für Investoren erheblich werden. Reuters berichtete, Anthropic habe am 1. Juni vertraulich Unterlagen für einen US-Börsengang eingereicht; OpenAI folgte dem Bericht zufolge in der folgenden Woche mit einer eigenen vertraulichen Einreichung. 20

Zeitpunkt und Status eines Börsengangs bleiben jedoch offen. Reuters berichtete später, Altman habe einen OpenAI-Börsengang im Jahr 2026 wegen KI-Sicherheitsbedenken ausgeschlossen. 19 Für Investoren ist daher nicht nur entscheidend, wann ein IPO stattfindet, sondern ob ein Unternehmen glaubwürdige Kontrollen für Modelle nachweisen kann, deren wirtschaftlicher Nutzen ebenso schnell wächst wie ihre möglichen Risiken.

Woran sich „Pacing“ messen lassen muss

Amodeis Vorschlag ist letztlich ein Test, ob Entwickler von Spitzen-KI Einschränkungen akzeptieren, bevor ein schwerer Zwischenfall sie dazu zwingt. Der erste Punkt – dauerhaft eingebundene externe Prüfer – ist vergleichsweise konkret und beobachtbar. Die beiden weiteren Schritte, eine Koordination unter Demokratien und später eine Zusammenarbeit mit autoritären Staaten, sind weitaus schwieriger. Sie hängen von Wettbewerbsrecht, nationaler Sicherheit und internationalem Vertrauen ab.

Amodeis Argument lautet daher nicht, dass ein langsameres KI-Tempo leicht umzusetzen wäre. Seine These ist: Ohne unabhängig überprüfbare Schutzvorkehrungen weiter zu beschleunigen, könnte die riskantere Entscheidung sein. 7