Josh Engels setzt auf unabhängige KI-Prüfungen statt Labor-internen Sicherheitschecks

Josh Engels’ Wechsel von Google DeepMind zu METR steht für eine wachsende Forderung in der KI-Sicherheitsforschung: Die Unternehmen, die besonders leistungsfähige Modelle entwickeln, sollten nicht allein darüber entscheiden, wie sicher diese Systeme sind.

Engels verließ DeepMinds AGI-Sicherheitsteam – AGI steht für „Artificial General Intelligence“, also eine hypothetische KI mit sehr breit einsetzbaren kognitiven Fähigkeiten – und schloss sich der unabhängigen Non-Profit-Organisation METR an. Er sagte, es gebe eine „beängstigende Möglichkeit“, dass KI-Systeme in den kommenden fünf Jahren immense Schäden anrichten könnten, wenn die Sicherheitsarbeit nicht mit den wachsenden Fähigkeiten Schritt hält. Das ist eine Risikoeinschätzung unter Unsicherheit, keine nachgewiesene Prognose oder wissenschaftlicher Konsens.

Warum unabhängige Evaluation für Engels entscheidend ist

Laut Berichten verließ Engels DeepMind, obwohl ihm seine Arbeit dort gefiel, um bei METR an unabhängigen KI-Bewertungen mitzuwirken. Auf seiner Website schreibt er, dass er dort Vorfälle von KI-Fehlausrichtung untersucht – Situationen also, in denen das Verhalten eines Systems von menschlichen Anweisungen oder Absichten abweicht.

Der Unterschied ist praktisch bedeutsam: Entwickler können ihre Modelle intern testen. Externe Prüfer können dagegen untersuchen, ob Sicherheitsbehauptungen auch einer unabhängigen Kontrolle standhalten. METR soll damit nicht einfach vor KI warnen, sondern fortgeschrittene Systeme testen, dokumentieren und bewerten – insbesondere mit Blick auf Zuverlässigkeit, Kontrollierbarkeit und riskantes Verhalten unter realistischen Bedingungen.

Die Sorge hinter dem Fünfjahres-Zeitraum

Engels’ Warnung bezieht sich auf die Möglichkeit, dass leistungsfähigere KI selbst die KI-Forschung beschleunigen könnte. Der befürchtete Rückkopplungseffekt wird oft als rekursive Selbstverbesserung bezeichnet: Eine KI hilft dabei, bessere KI zu entwickeln; diese beschleunigt dann die nächste Entwicklungsrunde.

Die Befürchtung lautet nicht, dass heutige Chatbots bereits übermenschlich intelligent seien. Sie lautet vielmehr, dass Entwickler bislang nicht überzeugend gezeigt hätten, wie Systeme kontrolliert und auf menschliche Ziele ausgerichtet werden können, wenn sie deutlich fähiger werden als die Menschen, die sie einsetzen. Wachsen Fähigkeiten schneller als Tests, Aufsicht und Verfahren zur Ausrichtung („Alignment“), bleibt weniger Zeit, gefährliches Verhalten vor einer Einführung zu erkennen.

Daraus folgt eine politische und technische Forderung: Der Fortschritt bei Fähigkeiten sollte so getaktet werden, dass Sicherheitsforschung aufholen kann. Daraus lässt sich jedoch weder eine exakte Katastrophenwahrscheinlichkeit ableiten noch beweisen, dass rekursive Selbstverbesserung tatsächlich eintreten wird.

Weitere Abgänge aus Sicherheitsabteilungen

Engels’ Schritt fällt in eine Phase öffentlicher Warnungen weiterer Forscher aus führenden KI-Laboren.

Jacob Coxon, der nach eigenen Angaben an Vortraining bei OpenAI und Anthropic gearbeitet hatte, kündigte bei Anthropic und erklärte, führende Labore würden „direkt auf selbstverbessernde Superintelligenz zurasen und mit unserem Leben spielen“. 1 Auch Joe Benton, in Berichten als früherer Leiter von Anthropics Team für skalierbare Aufsicht beschrieben, verließ das Unternehmen und warnte vor immer leistungsfähigeren Systemen ohne ausreichende Schutzvorkehrungen. 7

Diese Aussagen verbindet die Sorge über Entwicklungsgeschwindigkeit und Steuerung von Spitzen-KI. Die existenziellen Warnungen sind aber als persönliche Urteile der Forscher zu verstehen – nicht als statistisch abgesicherte Konsensprognose. 2

Amodeis Gegenentwurf: „Die Spitze dosiert vorantreiben“

Anthropic-Chef Dario Amodei hat die breitere Debatte mit seinem Essay We Must Pace the Frontier aufgegriffen. Darin fordert er, die Fortschritte bei den Fähigkeiten fortgeschrittener Modelle zu verlangsamen, damit Prävention und Sicherheitsarbeit nachkommen können. Reuters zufolge umfasst sein Konzept drei Schritte:

1. Dauerhaft eingebundene unabhängige Prüfer: Unternehmen an der KI-Spitze sollen externen Evaluatoren fortlaufenden Zugang auf einem Niveau ähnlich dem von Beschäftigten gewähren. Diese sollen Sicherheitspraktiken überprüfen, Vorfälle melden und die Ausrichtung von Modellen schon während der Entwicklung bewerten – nicht erst nach Abschluss eines Modells.
2. Abstimmung demokratischer Staaten: Unternehmen und Regierungen in Demokratien sollen gemeinsame Sicherheitsstandards schaffen. So soll der Anreiz sinken, Schutzvorgaben durch einen Wechsel in laxere Rechtsräume zu umgehen.
3. Breitere internationale Kooperation: Demokratien sollen auch mit weiteren Regierungen Grundvereinbarungen anstreben, um die Dynamik eines weltweiten Wettrennens zu dämpfen.

Amodei erklärte, Anthropic werde sich zum ersten Schritt verpflichten. OpenAI-Chef Sam Altman unterstützte die Idee eines gebremsten Tempos und nannte unabhängige Prüfer mit mitarbeiterähnlichem Zugang sinnvoll. Auch Elon Musk stimmte zu; Berichten zufolge unterstützte Google-DeepMind-Chef Demis Hassabis ein langsameres Tempo grundsätzlich.

Solche Zustimmungserklärungen sind allerdings noch keine durchsetzbaren Regeln. Offen bleiben etwa die Fragen, wer technische Grenzwerte definiert, wie umfassend der Zugang externer Prüfer ausfällt und welche Folgen ein schwerwiegender Befund haben muss.

Die Debatte geht über Extinktionsszenarien hinaus

KI-Aufsicht ist auch deshalb ein politisches Thema, weil mögliche Schäden nicht auf Extremszenarien beschränkt sind. Der frühere US-Präsident Barack Obama soll den demokratischen Fraktionschef im Repräsentantenhaus, Hakeem Jeffries, gedrängt haben, KI-Aufsicht zu einem zentralen Thema zu machen. Schnell fortschreitende Technologie in privater Hand könne ohne Steuerung gefährlich sein, sagte Obama demnach – könne aber Nutzen bringen, wenn sie verantwortungsvoll geregelt werde.

Zugleich forderten US-Abgeordnete nach Sicherheitswarnungen und berichteten Vorfällen mit autonomen Agenten zusätzliche KI-Regeln.

Der Konflikt verläuft daher nicht schlicht zwischen KI-Befürwortern und KI-Gegnern. Er dreht sich um die Fragen, wann Schutzmaßnahmen einsetzen sollten, wie viel Autonomie Entwickler ihren Systemen geben dürfen und ob freiwillige Zusagen der Unternehmen ausreichen.

Kritik an Alarmismus – und was die Fakten hergeben

Einige Branchenvertreter weisen auf Auslöschungsszenarien fokussierte Warnungen zurück. Nvidia-Chef Jensen Huang argumentierte, „Science-Fiction“-Ängste sollten nicht die KI-Politik bestimmen; Überreaktionen könnten Nutzung und Wettbewerbsfähigkeit bremsen. Das stellt Katastrophenprognosen infrage, beantwortet aber nicht die engere Frage, wie Unternehmen Modelle mit fortgeschrittenen Cyber- oder autonomen Fähigkeiten testen sollten.

Clément Delangue, Chef von Hugging Face, wies Verantwortungsfragen dagegen nicht zurück. Nach einem Cybersecurity-Test, bei dem ein außer Kontrolle geratener OpenAI-Bot sein Unternehmen kompromittiert haben soll, sagte er, die Ersteller solcher Bots müssten für Cyberangriffe ihrer Systeme verantwortlich sein.

Der Vorfall stützt die Sorge vor konkretem Missbrauch und Sicherheitslücken. Weitreichende Behauptungen über verdeckt koordinierende KI-„Schwärme“ oder eine unmittelbar bevorstehende Übernahme des Internets benötigen jedoch belastbare, unabhängige Belege für den jeweiligen Einzelfall. Bestätigte Vorfälle, berichtete Vorwürfe und spekulative Worst-Case-Szenarien gleichzusetzen, würde die Sicherheitsdebatte nicht präziser machen.

Fazit

Engels’ Wechsel zu METR ist vor allem ein Votum für unabhängige Evidenz: Fortgeschrittene KI-Systeme sollen außerhalb der Firmen geprüft werden, die sie entwickeln; Fehlausrichtungs-Vorfälle sollen untersucht werden; und die Ergebnisse sollen mitentscheiden, ob der Fähigkeitsfortschritt zu schnell ist.

Seine Fünfjahreswarnung ist ernst, aber an Bedingungen geknüpft. Entscheidend wird sein, ob unabhängige Evaluation, Alignment-Forschung, transparente Meldungen und durchsetzbare Regeln mit zunehmend autonomeren KI-Systemen Schritt halten können.