Warum KI-Sicherheitsforscher wegen Stress und Risiken kündigen oder Hilfe suchen

Der unmittelbare Auslöser ist ein Zusammenprall von moralischer Belastung und institutionellem Druck. Wer besonders leistungsfähige KI-Modelle testet, befürchtet, dass diese Systeme – und der Wettlauf um ihre Veröffentlichung – biologischen oder Cyber-Schaden ermöglichen könnten, bevor Schutzvorkehrungen, Aufsicht und Evaluierungen Schritt halten. Nach Medienberichten nahmen mehrere Beschäftigte des britischen AI Safety Institute (AISI), das fortgeschrittene KI-Modelle unabhängig prüft, krankheitsbedingte Auszeiten oder suchten Beratung. Als Gründe werden enge Testfristen, Erschöpfung und niedrige Moral genannt. 15

Für Anthropic, OpenAI oder Google DeepMind gibt es ebenfalls Berichte über starke Sorgen unter Forschenden. Die öffentlich verfügbaren Belege erlauben jedoch keine Aussage darüber, wie verbreitet solche Erfahrungen jeweils innerhalb der einzelnen Unternehmen sind.

Wovor Forschende konkret Angst haben

Die befürchteten Schäden reichen von nahe liegenden bis zu extremen Szenarien. KI könnte die Hürden für Cyberangriffe oder biologischen Missbrauch senken. Zugleich besteht die Sorge, dass immer autonomere Systeme der wirksamen menschlichen Kontrolle entgleiten könnten. Jacob Coxon nannte insbesondere KI-gestützte biologische Bedrohungen und Cyberwaffen als mögliche Wege in eine Katastrophe. 15

Wichtig ist: Sicherheitsforschende betrachten das Risiko nicht nur aus der Distanz. Sie bewerten Modelle, trainieren sie oder wirken an deren Einsatz mit. Wenn sie gefährliche Fähigkeiten erkennen, aber wegen enger Zeitpläne und wirtschaftlichen Wettbewerbs wenig Einfluss auf eine Veröffentlichung haben, kann das ein Gefühl der Mitverantwortung, Hilflosigkeit und moralischen Verletzung erzeugen.

Coxons Kündigung machte interne Sorgen sichtbar

Coxon arbeitete nach eigenen Angaben im Bereich Pretraining sowohl bei OpenAI als auch bei Anthropic. Er kündigte bei Anthropic und erklärte öffentlich, die Unternehmen würden auf selbstverbessernde Superintelligenz zusteuern, ohne verantwortungsvoll zu handeln. 14

Der BBC sagte er, Menschen in führenden KI-Laboren seien wegen des rasanten Fortschritts und seiner möglichen Folgen „wirklich verängstigt“. 9 Seine Warnung verlieh Befürchtungen, die oft intern bleiben, öffentliche Sichtbarkeit – und verschärfte für andere Beschäftigte die persönliche Frage, ob sie bleiben, widersprechen oder gehen sollen.

Das Problem ist auch ein Wettbewerbs- und Governance-Problem

Ein einzelnes Labor und erst recht ein einzelner Mitarbeiter kann einen globalen Technologiewettlauf kaum allein bremsen. In der Debatte um eine Verlangsamung stehen deshalb koordinierte Regeln, glaubwürdige unabhängige Tests und öffentliche Aufsicht im Mittelpunkt.

In einer Stanford-Diskussion, an der auch der Politikwissenschaftler Rob Reich beteiligt war, hielten die Teilnehmenden eine breit angelegte Verlangsamung von KI-Fähigkeiten für schwer durchsetzbar. Sie hoben jedoch unabhängige Evaluierungen durch Behörden oder qualifizierte Dritte hervor. 3

Für eine detaillierte, konkrete Forderung Reichs nach einer bestimmten Form koordinierter Beschäftigtenaktion liefern die hier vorliegenden Quellen allerdings keine ausreichenden Belege.

Warum die Forderung nach einem langsameren Tempo Misstrauen nicht auflöst

Dario Amodei, Sam Altman, Demis Hassabis und weitere Branchenvertreter haben sich in unterschiedlicher Deutlichkeit dafür ausgesprochen, die Entwicklung besonders leistungsfähiger KI zu drosseln. 2 Kritiker wenden jedoch ein, ein von etablierten Laboren entworfener oder kontrollierter „KI-Stopp“ könne gerade diesen Firmen mehr Marktmacht verschaffen und kleinere Wettbewerber ausbremsen. 11

Entscheidend ist daher nicht allein die Rhetorik, sondern ob überprüfbare Maßnahmen folgen: verschobene Veröffentlichungen, unabhängige Audits, verbindliche Risikoschwellen, Schutz für Hinweisgeber und die Bereitschaft, externe Beschränkungen zu akzeptieren.

Automatisierte KI-Forschung erhöht den Zeitdruck

Die Sorge lautet nicht, dass eine vollständige rekursive Selbstverbesserung bereits stattfindet – das ist bislang nicht der Fall. 6 KI-Systeme können aber zunehmend Teile von Forschung und Softwareentwicklung automatisieren. Dadurch könnten sich Entwicklungszyklen verkürzen und Fähigkeiten schneller zunehmen, als Menschen sie verstehen, testen und regulieren können.

Das Center for Security and Emerging Technology (CSET) warnt, eine weitreichende Automatisierung von KI-Forschung und -Entwicklung könne den Fortschritt beschleunigen und menschliches Verständnis sowie Kontrolle beeinträchtigen. 4 Eine aktuelle Studie zeigte zugleich, dass Agenten erhebliche Teile der Forschungs-Engineering-Arbeit ohne menschliche Hilfe erledigen konnten, bei offenen wissenschaftlichen Fragestellungen jedoch keine substanziellen Fortschritte erzielten. 5

Die Krise ist damit kein Beweis dafür, dass ein Aussterben der Menschheit unmittelbar bevorsteht. Sie zeigt aber, dass einige Menschen, die der Entwicklung leistungsfähiger KI besonders nah sind, die Verbindung aus beschleunigten Fähigkeiten, doppeltem Missbrauchspotenzial, Konkurrenzdruck und schwacher externer Kontrolle als psychisch und ethisch nicht mehr tragbar empfinden.