AntwortenVeröffentlicht17 Quellen
Warum Jacob Coxon Anthropic verließ – und was seine KI-Warnung bedeutet
Jacob Coxon erklärt seinen Weggang von Anthropic mit der Sorge, führende KI Labore entwickelten selbstverbessernde Systeme schneller, als sich deren Risiken kontrollieren ließen. Der Anthropic Forscher Evan Hubinger hält das Risiko heutiger Modelle für gering, schätzt die Wahrscheinlichkeit einer durch KI verursacht...
Veröffentlicht vonBearbeitet mit GPT-5.6 TerraBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Jacob Coxon erklärt seinen Weggang von Anthropic mit der Sorge, führende KI Labore entwickelten selbstverbessernde Systeme schneller, als sich deren Risiken kontrollieren ließen.
- Der Anthropic Forscher Evan Hubinger hält das Risiko heutiger Modelle für gering, schätzt die Wahrscheinlichkeit einer durch KI verursachten Auslöschung der Menschheit binnen zehn Jahren persönlich aber auf über 10 Pr...
- Die Debatte ist auch eine Regulierungskontroverse: Dario Amodei fordert ein langsameres Voranschreiten an der KI Spitze und unabhängige Kontrolle; Kritiker warnen vor Regeln, die vor allem die größten Labore schützen...
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What prompted 27-year-old former Anthropic and OpenAI pretraining researcher Jacob Coxon to resign from Anthropic on September 8—two months. Article summary: Coxon said he resigned because he concluded that the leading labs’ competitive incentives—not merely individual technical failures—were driving them toward increasingly autonomous, self-improving systems before anyone kn. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Jacob Coxons Rücktritt bei Anthropic war ein Protest gegen eine Entwicklung, die er für gefährlich hält: Führende KI-Unternehmen würden um immer autonomere und möglicherweise selbstverbessernde Systeme konkurrieren, bevor verlässliche Methoden zu ihrer Kontrolle existieren. Coxon, der nach eigenen Angaben an Vortrainingsforschung bei Anthropic und OpenAI gearbeitet hatte, warf beiden Firmen vor, nicht verantwortungsvoll genug zu handeln. 2
3
Coxons zentraler Vorwurf: Der Wettbewerb überholt die Kontrolle
In einem öffentlichen Thread auf X beschuldigte Coxon Anthropic und OpenAI, direkt auf eine „selbstverbessernde Superintelligenz“ zuzusteuern und dabei „mit unserem Leben zu spielen“. Seine Sorge richtet sich nicht darauf, dass heutige Chatbots unmittelbar und eigenständig die Menschheit auslöschen könnten. Er warnt vielmehr vor künftigen Systemen, die in folgenreichen Bereichen – etwa bei Cyberfähigkeiten – Menschen übertreffen, reale Ressourcen oder Einfluss gewinnen und sich dann nicht mehr zuverlässig an menschlichen Zielen ausrichten lassen könnten. 3
5
8
Der entscheidende Punkt ist damit der Zusammenhang von rasch wachsenden Fähigkeiten und unzureichender Steuerung: Wenn die Leistungsfähigkeit schneller zunimmt als Sicherheitsforschung und Aufsicht, könnte ein späteres Versagen gravierende Folgen haben – auch wenn gegenwärtige Modelle noch klare Grenzen haben.
Warum er ging
Der BBC sagte Coxon, Menschen, die an fortgeschrittener KI arbeiteten, seien wegen des Entwicklungstempos „wirklich verängstigt“. Ohne eine Verlangsamung gebe es aus seiner Sicht „eine große Wahrscheinlichkeit“, dass die Menschheit in naher Zukunft sterben könnte. 1
Eine wirksame Bremse könne nicht von einem einzelnen Unternehmen oder Staat allein kommen, so Coxon. Nötig sei internationale Abstimmung, auch mit China. Andernfalls bestehe das Risiko, dass besonders leistungsfähige KI-Entwicklung schlicht in andere Länder verlagert werde. 1
Sein Rücktritt war somit vor allem eine öffentliche Absage an die Anreize im Wettbewerb um Spitzenmodelle. Er behauptete nicht, bei Anthropic selbst einen konkreten Sicherheitsvorfall beobachtet zu haben. Berichte über seinen Weggang beschreiben seine übergreifende Sorge als Wettlauf um Systeme, die Unternehmen womöglich nicht mehr kontrollieren können. 2
Wie andere Sicherheitsforscher reagierten
Unterstützung bekam Coxon von Evan Hubinger, einem Alignment-Forscher bei Anthropic. Hubinger sagte, das Risiko durch bereits existierende Modelle sei gering. Zugleich schätzt er persönlich die Wahrscheinlichkeit, dass KI innerhalb der kommenden zehn Jahre alle Menschen töten könnte, auf mehr als 10 Prozent. 13
Diese Zahl muss vorsichtig eingeordnet werden: Sie ist eine subjektive Einschätzung zu einem Szenario mit potenziell extremen Folgen – keine empirisch belegte Vorhersage. Die Berichte über Coxons Rücktritt zeigen erhebliche Differenzen bei Zeitplänen, Wahrscheinlichkeiten und passenden Schutzmaßnahmen; einen wissenschaftlichen Konsens über eine unmittelbar bevorstehende Auslöschung der Menschheit belegen sie nicht. 13
Konkretere Risiken: Cybermissbrauch und schnell wachsende Fähigkeiten
In der aktuellen Debatte geht es greifbarer um Cybermissbrauch, gefährliche Experimente und zunehmend leistungsfähige KI-Agenten als um ein Filmszenario, in dem eine KI plötzlich eigenständig die Menschheit angreift.
Berichte über die Diskussion verweisen auf die Möglichkeit, dass fortgeschrittene Modelle bei Cyberangriffen und anderem folgenschweren Missbrauch helfen könnten. Genannt wurde auch ein mutmaßlicher Vorfall mit OpenAI-Agenten und Hugging Face. Die vorliegenden Berichte liefern jedoch nicht genügend Primärquellen-Details, um Ablauf, Genehmigung oder Umfang dieses Vorfalls unabhängig zu klären. 2
63
Für die Praxis heißt das: Spekulationen über künftige Superintelligenz sollten die überprüfbaren Fragen der Gegenwart nicht verdecken. Was können Modelle tatsächlich? Wie werden sie vor einer Veröffentlichung getestet? Wird Missbrauch erkannt? Und wer kann Sicherheitsbehauptungen eines KI-Labors unabhängig prüfen?
Amodeis Vorschlag: Die KI-Spitze bremsen, nicht KI stoppen
Kurz nach Coxons Warnung rief Anthropic-Chef Dario Amodei in seinem Essay We Must Pace the Frontier dazu auf, die Fähigkeiten von Spitzenmodellen langsamer zu steigern. Das ist kein pauschaler Stopp der KI-Entwicklung. Sein Vorschlag soll Zeit schaffen, damit Risikovorsorge mit dem schnellen Fortschritt Schritt halten kann. 1
Zum beschriebenen Ansatz gehören:
- unabhängige Überwachung und Bewertung von Spitzenmodellen;
- gemeinsame Sicherheitsstandards in der Branche und unter demokratischen Staaten; sowie
- langfristig internationale Zusammenarbeit bei der KI-Governance, einschließlich eines Dialogs mit China.
1
OpenAI-Chef Sam Altman unterstützte die grundsätzliche Richtung öffentlich und bezeichnete unabhängige Prüfer mit einem mit Beschäftigten vergleichbaren Zugang als gute Idee. Auch Elon Musk schloss sich Amodeis Forderung an und schrieb: „Dario hat recht.“ 1
Warum Kritiker ein wettbewerbspolitisches Problem sehen
Sicherheitsvorschläge großer KI-Labore stoßen nicht nur auf Zustimmung. Kritiker wie Hugging-Face-Chef Clément Delangue argumentieren, strikte Regeln für Spitzenmodelle könnten gerade jenen Unternehmen nutzen, die ohnehin am besten finanziert sind und hohe Compliance-Kosten leichter tragen können. 1
3
Das widerlegt Coxons Sorgen nicht und sagt nichts über seine Motive aus. Es wirft aber eine eigenständige Frage auf: Kann Sicherheitsregulierung reale Risiken senken und zugleich Macht bei wenigen etablierten Laboren konzentrieren?
Genau darin liegt ein Kernkonflikt der Debatte. Glaubwürdige Regeln müssten besonders leistungsfähige Systeme stärker kontrollieren, ohne Sicherheitsauflagen zu einem künstlichen Schutzwall für einen kleinen Kreis von Unternehmen zu machen.
Fazit
Coxon verließ Anthropic, weil er den Wettlauf der führenden KI-Unternehmen selbst als Gefahr betrachtet: Der Anreiz, Fähigkeiten schnell auszubauen, könne größer werden als die Bereitschaft, ausreichend Zeit für Kontrolle, Tests und internationale Abstimmung einzuplanen. 2
3
Seine dramatischsten Aussagen bleiben umstritten. Sie stehen für eine ernsthafte Sorge, die einige KI-Insider teilen, sind aber kein Beweis für eine unmittelbar bevorstehende Auslöschung der Menschheit. Die dringendere politische Aufgabe besteht darin, unabhängig überprüfbare Schutzmaßnahmen für immer leistungsfähigere Systeme zu schaffen – ohne damit ausgerechnet die Unternehmen zu verfestigen, die diese Systeme entwickeln. 1
13
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „Warum Jacob Coxon Anthropic verließ – und was seine KI-Warnung bedeutet“?
Jacob Coxon erklärt seinen Weggang von Anthropic mit der Sorge, führende KI Labore entwickelten selbstverbessernde Systeme schneller, als sich deren Risiken kontrollieren ließen.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Jacob Coxon erklärt seinen Weggang von Anthropic mit der Sorge, führende KI Labore entwickelten selbstverbessernde Systeme schneller, als sich deren Risiken kontrollieren ließen. Der Anthropic Forscher Evan Hubinger hält das Risiko heutiger Modelle für gering, schätzt die Wahrscheinlichkeit einer durch KI verursachten Auslöschung der Menschheit binnen zehn Jahren persönlich aber auf über 10 Pr...
Was soll ich als nächstes in der Praxis tun?
Die Debatte ist auch eine Regulierungskontroverse: Dario Amodei fordert ein langsameres Voranschreiten an der KI Spitze und unabhängige Kontrolle; Kritiker warnen vor Regeln, die vor allem die größten Labore schützen...