AntwortenVeröffentlicht22 Quellen
KI-Aussterben: Warnungen aus den Labs treffen auf den Ruf nach Belegen
Evan Hubingers Schätzung von mehr als 10 % für ein mögliches Aussterben der Menschheit durch KI binnen zehn Jahren ist ein persönliches Urteil – keine wissenschaftlich gemessene Wahrscheinlichkeit. Jacob Coxons Rücktritt bei Anthropic und Bilal Chughtais Warnung verschärfen die Debatte.
Veröffentlicht vonBearbeitet mit GPT-5.6 TerraBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Evan Hubingers Schätzung von mehr als 10 % für ein mögliches Aussterben der Menschheit durch KI binnen zehn Jahren ist ein persönliches Urteil – keine wissenschaftlich gemessene Wahrscheinlichkeit.
- Jacob Coxons Rücktritt bei Anthropic und Bilal Chughtais Warnung verschärfen die Debatte.
- Als praktischer Mittelweg zeichnet sich ab: gegen heutige Missbrauchsrisiken vorgehen, externe Prüfungen ermöglichen und Sicherheitsstandards zwischen führenden KI Entwicklern koordinieren.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How is the current debate over whether advanced artificial intelligence could cause human extinction unfolding, including Jacob Coxon’s resi. Article summary: The debate is becoming less about whether AI poses any danger and more about what kind of evidence and governance threshold should apply before frontier systems become substantially more capable. There is no empirical ba. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
Die Debatte darüber, ob fortgeschrittene KI eines Tages die Menschheit auslöschen könnte, ist kein schlichtes Duell zwischen „sicher“ und „gefährlich“. Gestritten wird vielmehr darüber, wie schnell sich Fähigkeiten entwickeln könnten, welche Zwischenschritte für einen unumkehrbaren Schaden nötig wären und wie belastbar Sicherheitszusagen sein müssen, bevor sehr leistungsfähige Systeme breit eingesetzt werden.
Neue Warnungen von Forschern mit Erfahrung in führenden KI-Laboren haben die Diskussion zugespitzt. Gleichzeitig befürworten auch viele Kritiker der Untergangsrhetorik Tests und Schutzvorkehrungen. Die entscheidende politische und technische Frage lautet daher zunehmend: Können die Entwickler nachweisen, dass sie leistungsfähigere Systeme tatsächlich kontrollieren und sicher einsetzen können?
Warnungen aus den KI-Laboren: Wettbewerb vor Verantwortung?
Jacob Coxon, ein ehemaliger Anthropic-Forscher, der nach eigenen Angaben auch bei OpenAI tätig war, kündigte im September 2026. Er warf beiden Unternehmen vor, den Wettbewerb über eine verantwortungsvolle Entwicklung zu stellen. Sie rasten seiner Darstellung nach auf eine „sich selbst verbessernde Superintelligenz“ zu. 49
Öffentlich Unterstützung erhielt Coxon von Evan Hubinger, Leiter der Alignment-Forschung bei Anthropic. Hubinger schrieb, er schätze die Wahrscheinlichkeit, dass KI innerhalb des kommenden Jahrzehnts alle Menschen töten könnte, persönlich auf mehr als 10 %. Zugleich erklärte er, Anthropic habe bislang keinen Plan, das sogenannte Alignment – also die zuverlässige Ausrichtung extrem leistungsfähiger KI an menschlichen Zielen und Grenzen – für eine Superintelligenz zu lösen. 16 Seine Zahl ist allerdings eine persönliche Einschätzung, kein wissenschaftlicher Konsens und keine empirisch berechnete Aussterbewahrscheinlichkeit.
12
Auch der ehemalige Google-DeepMind-Forscher Bilal Chughtai warnte, KI könne das Potenzial haben, „uns alle zu töten“; möglicherweise werde die Zeit knapp, dies zu verhindern. 2
Dabei geht es in diesen Warnungen meist nicht um die Behauptung, heutige Chatbots würden plötzlich eigenständig gefährlich. Befürchtet wird vielmehr eine Kette möglicher Entwicklungen: Künftige Systeme könnten KI-Forschung erheblich beschleunigen, mit größerer Autonomie handeln, menschliche Aufsicht umgehen oder Zugang zu Cyber-, Bio- und institutionellen Fähigkeiten schneller verstärken, als Schutzmethoden verbessert werden. Ob dieses Szenario plausibel ist – und wie bald es eintreten könnte –, ist der Kern des Konflikts.
Warum die 10-%-Schätzung keine gesicherte Prognose ist
Hubingers Aussage fällt auf, weil sie von einem hochrangigen Alignment-Forscher stammt und außergewöhnlich drastisch ist. Sie sollte dennoch richtig eingeordnet werden: Es handelt sich um ein Urteil unter großer Unsicherheit, nicht um eine anhand historischer Daten überprüfte Wahrscheinlichkeit oder ein Modell, das Aussterberisiken verlässlich berechnen könnte. 12
Die Prognose setzt mehrere ungeklärte Annahmen voraus:
- KI-Systeme müssten weit über die Fähigkeiten heutiger Modelle hinauswachsen.
- Diese Fähigkeiten müssten zu dauerhafter strategischer Autonomie oder schädlicher Macht in der realen Welt führen.
- Technische Schutzmechanismen, Betreiber, Institutionen und Gegenmaßnahmen müssten versagen.
- Sicherheits- und Alignment-Forschung müsste hinter dem Fähigkeitssprung zurückbleiben.
Jedes Glied dieser Kette lässt sich separat bestreiten. Das macht die Sorge nicht belanglos – aber es bedeutet, dass eine zugespitzte Prozentzahl nicht mit einer nachgewiesenen Vorhersage verwechselt werden sollte.
Das Gegenargument: Digitale Intelligenz ist nicht automatisch Macht in der realen Welt
Skeptiker wenden sich vor allem gegen den Sprung von starken Sprach- und Softwareleistungen zu der Fähigkeit, physische Schäden im Ausmaß einer globalen Katastrophe auszulösen. Ein häufig genanntes Beispiel ist die Biologie. Eric Xing argumentierte, ein hypothetisches Virengenom mit einem Sprachmodell zu entwerfen, sei etwas grundlegend anderes als einen lebensfähigen Virus herzustellen: Materialbeschaffung, Fertigung, biologische Funktionsfähigkeit, Laborarbeit und Tests seien jeweils eigene Hürden. 46
Der Unterschied ist zentral: Ein Modell kann Informationen oder Entwürfe liefern. Daraus realen Schaden zu machen, kann jedoch Speziallabore, praktische Erfahrung, Lieferketten, wiederholte Experimente und Zugang zu kontrollierten Materialien erfordern. Das heißt nicht, dass Risiken für die biologische Sicherheit bei null liegen. Es stellt aber die Annahme infrage, digitale Leistungsfähigkeit allein schaffe sofort entscheidende physische Handlungsmacht.
Nvidia-Chef Jensen Huang gehört zu den deutlichsten Kritikern von Aussterbe-Szenarien. Die Vorstellung, KI werde die Menschheit beenden, nannte er „völligen Unsinn“. 33 Investor Mark Cuban wiederum hält die Reaktionen von Menschen auf alarmistische Behauptungen für ein größeres Risiko als KI-Agentenschwärme selbst.
43
Die skeptische Position lautet deshalb nicht zwingend, dass KI an der technologischen Spitze keine Schutzvorkehrungen brauche. Ihr Kern ist: Außergewöhnliche Behauptungen über ein unmittelbar bevorstehendes Aussterben verlangen stärkere Belege als Hochrechnungen aus der Leistung heutiger Modelle und spekulativen Zukunftspfaden.
Der mögliche Mittelweg: Entwicklungstempo senken, Sicherheit nachprüfbar machen
Einen stärker operativen Ansatz vertreten Akteure, die Aussterben weder für sicher halten noch als abwegig abtun. Anthropic-Chef Dario Amodei forderte, die Verbesserung von KI-Fähigkeiten zu verlangsamen, damit Sicherheitsarbeit Zeit gewinnt. Sein Vorschlag umfasst unabhängige Prüfer mit einem Zugang ähnlich dem von Beschäftigten sowie eine Abstimmung zwischen Unternehmen, die Spitzenmodelle entwickeln. 18
Reuters berichtete, dass OpenAI-Chef Sam Altman zu den Führungskräften zählt, die eine koordinierte Verlangsamung anstreben, während die Branche darüber gespalten ist, wie stark sie sich auf marktgetriebene Schutzmechanismen verlassen sollte. 19 Altman unterstützte demnach auch externe Prüfer als Teil dieses Konzepts.
20
Damit verschiebt sich die Diskussion von abstrakten Untergangsprognosen zu überprüfbaren Verfahren:
- Unabhängige Bewertung: Qualifizierte externe Fachleute sollten aussagekräftigen Zugang erhalten, um Sicherheitsbehauptungen zu prüfen, statt sich allein auf Erklärungen der Unternehmen zu verlassen.
18
- Schwellenwerte nach Fähigkeiten: Zeigt ein Modell deutliche Fortschritte in gefährlichen Bereichen – etwa bei Cyberoperationen oder autonomen Agenten –, sollten strengere Prüfungen oder Einsatzbeschränkungen greifen.
- Koordination zwischen Laboren: Unternehmen sollten nicht dazu gedrängt werden, Sicherheitsmargen zu kürzen, nur um im Wettbewerb nicht zurückzufallen.
- Internationale Zusammenarbeit: Regierungen und große KI-Entwickler müssten Standards abstimmen und den Druck senken, Systeme ohne ausreichende Schutzvorkehrungen schnell einzusetzen.
27
- Sicherheit muss mit den Fähigkeiten wachsen: Nachweisbare Kontrolle, Überwachung und Reaktionsfähigkeit müssten mit leistungsfähigeren Systemen Schritt halten.
Verdrängen Fernrisiken die Probleme von heute?
Eine weitere Kritik richtet sich gegen die Prioritätensetzung. Selbst wenn katastrophale Risiken Forschung und Notfallplanung rechtfertigen, kann ein ausschließlicher Fokus auf spekulative Aussterbe-Szenarien Gefahren verdecken, die bereits mit fortgeschrittener KI und ihrem Einsatz verbunden sind.
Auf der unmittelbaren Agenda stehen KI-gestützter Cybermissbrauch, Betrug, Überwachung, Desinformation, diskriminierende automatisierte Entscheidungen, Umbrüche auf dem Arbeitsmarkt und die Konzentration von Macht. Amodei nannte selbst Missbrauchsrisiken wie Waffenentwicklung, Cyberangriffe und Überwachung als Gründe für ein langsameres Entwicklungstempo. 29
Das muss kein Entweder-oder sein. Viele wirksame Maßnahmen helfen gegen aktuelle wie gegen langfristige Risiken: bessere Zugangskontrollen, aussagekräftige Tests, vorsichtige Einsatzregeln, unabhängige Kontrolle, Meldesysteme für Zwischenfälle und klare Verantwortlichkeiten.
Was die Debatte praktisch verändert
Die belastbarste Schlussfolgerung lautet weder, ein KI-bedingtes Aussterben sei bewiesen, noch, es könne ignoriert werden, weil noch kein vollständiger Katastrophenpfad demonstriert wurde. Für zunehmend leistungsfähige Systeme sollte ein praktischer Maßstab gelten: Sicherheitsbehauptungen müssen testbar, unabhängig überprüfbar und der möglichen Schadenshöhe angemessen sein.
Coxon, Hubinger und Chughtai argumentieren für Vorsicht unter Unsicherheit. Skeptiker wie Huang und Xing bezweifeln, dass die verfügbaren Belege Untergangsprognosen für die nahe Zukunft rechtfertigen. Amodei und Altman verweisen auf einen Ansatz, der nicht erst jede philosophische Frage lösen muss: Die Entwicklung an der technologischen Spitze verlangsamen, gefährliche Fähigkeiten messen, glaubwürdige externe Prüfung zulassen und koordinieren, bevor Konkurrenzdruck dazu führt, dass unbestätigte Sicherheitsversprechen zur Standardgrundlage für den Einsatz werden. 49
16
33
18
19
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „KI-Aussterben: Warnungen aus den Labs treffen auf den Ruf nach Belegen“?
Evan Hubingers Schätzung von mehr als 10 % für ein mögliches Aussterben der Menschheit durch KI binnen zehn Jahren ist ein persönliches Urteil – keine wissenschaftlich gemessene Wahrscheinlichkeit.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Evan Hubingers Schätzung von mehr als 10 % für ein mögliches Aussterben der Menschheit durch KI binnen zehn Jahren ist ein persönliches Urteil – keine wissenschaftlich gemessene Wahrscheinlichkeit. Jacob Coxons Rücktritt bei Anthropic und Bilal Chughtais Warnung verschärfen die Debatte.
Was soll ich als nächstes in der Praxis tun?
Als praktischer Mittelweg zeichnet sich ab: gegen heutige Missbrauchsrisiken vorgehen, externe Prüfungen ermöglichen und Sicherheitsstandards zwischen führenden KI Entwicklern koordinieren.
Quellen
apnews.comAnthropic researcher resigns with warning about the dangers of AI development
x.comJacob is correct here—we really do earnestly believe AI ...
finchannel.comAI Could Kill All Humans Within a Decade, Anthropic Researcher Warns as Research Shows Persistent Extinction Risk - FINCHANNELAI Could Kill All Humans Within a Decade, Anthropic Researcher Warns