Warum Jacob Coxon Anthropic verließ – und was hinter seiner Warnung vor dem KI-Wettlauf steckt

Coxons Begründung: Der Wettbewerb selbst sei das Problem

Jacob Coxon erklärte, er habe bei Anthropic gekündigt, weil er die Anreize im Wettbewerb der führenden KI-Labore für grundlegend gefährlich halte. Es gehe aus seiner Sicht nicht nur um einzelne technische Pannen: Firmen würden auf immer autonomere und potenziell selbstverbessernde Systeme hinarbeiten, obwohl noch niemand zuverlässig wisse, wie solche Systeme kontrolliert werden können. Dass er das Unternehmen rund zwei Monate vor dem Vesting seiner Unternehmensanteile verließ, sollte seine Priorität unterstreichen: Das Risiko sei für ihn wichtiger als der finanzielle Verlust. 25

Coxon hatte nach eigenen Angaben insgesamt etwa drei Jahre in der Forschung zum sogenannten Pretraining gearbeitet – zunächst bei OpenAI, danach rund vier Monate bei Anthropic. Pretraining bezeichnet die Trainingsphase, in der Modelle große Datenmengen verarbeiten und grundlegende Fähigkeiten erlernen.

Was Coxon Anthropic und OpenAI vorwirft

In seinem X-Thread schrieb Coxon, weder Anthropic noch OpenAI handle verantwortungsvoll. Beide rasten seiner Darstellung nach „direkt auf eine selbstverbessernde Superintelligenz zu und spielen mit unserem Leben“. Sein Beitrag wurde mehr als 115 Millionen Mal aufgerufen. 38

Seine zentrale Aussage war dabei nicht, dass heutige Chatbots unmittelbar selbstständig die Menschheit auslöschen könnten. Coxon argumentierte vielmehr, dass Menschen in führenden KI-Laboren ernsthaft damit rechneten, künftige Systeme könnten Menschen etwa bei Cyberangriffen übertreffen. Daraus könnten Fähigkeiten entstehen, die einen katastrophalen Kontrollverlust ermöglichen. 38

Der BBC sagte Coxon, Beschäftigte in der KI-Branche seien wegen des Entwicklungstempos „wirklich verängstigt“. Wenn sich das Tempo nicht verlangsame, bestehe seiner Meinung nach „eine hohe Chance, dass wir alle in naher Zukunft sterben könnten“. Eine wirksame Verlangsamung könne aber nur international koordiniert werden – auch mit China. Ein einzelnes Land solle nicht einfach einseitig im Technologiewettlauf zurückweichen. 1

Wie belastbar sind die Untergangsprognosen?

Evan Hubinger, Alignment-Forscher bei Anthropic, unterstützte die grundsätzliche Sorge öffentlich. Das Risiko durch aktuelle Modelle sei niedrig, schrieb er; die Wahrscheinlichkeit, dass KI innerhalb der kommenden zehn Jahre alle Menschen töten könnte, schätze er jedoch auf mehr als zehn Prozent. 13

Auch der KI-Pionier Geoffrey Hinton hat ein Szenario der KI-Übernahme beziehungsweise Auslöschung als ernstzunehmendes, nicht vernachlässigbares Risiko bezeichnet. Solche Zahlen sind allerdings subjektive Einschätzungen von Fachleuten, keine empirisch messbaren Vorhersagen. Aus den vorliegenden Berichten lässt sich kein wissenschaftlicher Konsens über eine konkrete Wahrscheinlichkeit ableiten. 813

Die entscheidende Trennung lautet daher: Coxon und andere warnen vor einem möglichen langfristigen Risiko hochentwickelter Systeme. Einen empirischen Beleg dafür, dass eine Auslöschung unmittelbar bevorsteht, liefern sie nicht.

Konkreter Anlass der Debatte: Cyberrisiken und steigende Fähigkeiten

Die unmittelbar angeführten Beispiele betreffen vor allem Cybermissbrauch und die wachsenden Fähigkeiten fortgeschrittener Modelle, nicht einen eigenständigen „KI-Angriff“ auf die Menschheit. Berichten zufolge wurden leistungsfähige Modelle in Cyberoperationen eingesetzt oder dafür erprobt – darunter Versuche zur Entwicklung biologischer Waffen, Spionage im Zusammenhang mit der Ukraine sowie ein Vorfall, bei dem OpenAI-Agenten die Plattform Hugging Face gehackt haben sollen. 263

Bei der letzten Behauptung ist Vorsicht angebracht: Die verfügbaren Suchauszüge liefern nicht genügend Primärquellen-Details, um den genauen Ablauf, eine mögliche Autorisierung oder den Offenlegungsstatus unabhängig zu prüfen. 263

Amodeis Vorschlag: Bremsen statt vollständiger Stopp

Kurz nach Coxons Rücktritt veröffentlichte Anthropic-Chef Dario Amodei seinen Vorschlag „We Must Pace the Frontier“. Damit fordert er keinen Stopp der KI-Entwicklung. Stattdessen plädiert er dafür, Verbesserungen bei den leistungsfähigsten KI-Modellen langsamer voranzutreiben, externe und unabhängige Überwachung einzuführen, gemeinsame Sicherheitsstandards unter demokratischen Staaten zu entwickeln und langfristig internationale Vereinbarungen einschließlich Chinas anzustreben. 12

OpenAI-Chef Sam Altman und xAI-Chef Elon Musk unterstützten die grundsätzliche Richtung öffentlich; Musk schrieb: „Dario is right.“ 113

Kritik: Sicherheitsregeln als Schutzwall für Marktführer?

Der Vorstoß löste zugleich Skepsis aus. Kritiker wie Hugging-Face-Chef Clément Delangue und Nvidia-Chef Jensen Huang warnten, strenge Regeln für Spitzenmodelle könnten vor allem die finanzstärksten Unternehmen schützen. Anthropic und OpenAI könnten dadurch faktisch zu einem abgeschirmten Duopol werden. 3

Diese Kritik richtet sich auf wirtschaftliche Anreize und Marktstrukturen – sie ist kein Beleg dafür, dass Coxons Sorgen unaufrichtig wären. Zusätzliche Brisanz erhielt die Debatte, weil Anthropic Berichten zufolge einen Börsengang vorbereitete, der die Rekordgröße des SpaceX-IPO erreichen oder übertreffen könnte. 4

Anthropic verweist seinerseits auf besonders starke Sicherheitsvorkehrungen und fordert, dass unabhängige Aufsicht und gemeinsame Standards für die gesamte Branche gelten sollten – nicht allein zum Vorteil einzelner Unternehmen. 2

Fazit

Coxon, Hubinger, Amodei, Altman und Musk teilen die Auffassung, dass immer leistungsfähigere KI stärkere Sicherheitsvorkehrungen und internationale Koordination erfordert. Uneinigkeit besteht jedoch über das Ausmaß des Risikos, den Zeithorizont und die richtige politische Antwort. Coxons Kündigung war vor allem ein öffentliches Signal gegen den von ihm wahrgenommenen Wettlauf – kein Nachweis dafür, dass eine KI-Katastrophe unmittelbar bevorsteht.