Geoffrey Hinton hält 10-Prozent-Risiko durch KI für „nicht unvernünftig“

Geoffrey Hinton, Nobelpreisträger und einer der prägenden Forscher der modernen KI, hält es für „nicht unvernünftig“, dass die Wahrscheinlichkeit einer durch KI verursachten Auslöschung der Menschheit in den nächsten zehn Jahren bei 10 Prozent liegen könnte. Zugleich schränkte er seine Aussage deutlich ein: Niemand wisse wirklich, wie sich eine solche Wahrscheinlichkeit sinnvoll berechnen lasse. 91012

Das ist keine Vorhersage, dass die Katastrophe eintreten wird – und auch keine Behauptung, heutige Chatbots stellten bereits ein solches Risiko dar. Hinton argumentiert vielmehr vorsorgend: Falls KI-Systeme Menschen in strategischer und technischer Hinsicht weit übertreffen, aber schwer kontrollierbar bleiben, könnten die Folgen extrem sein.

Was Hinton mit den 10 Prozent meint

Im BBC-Format Newsnight stimmte Hinton der Einschätzung zu, ein 10-Prozent-Risiko für ein von KI ausgelöstes Aussterbeereignis innerhalb eines Jahrzehnts sei nicht abwegig. Seine Begründung: Die Menschheit habe noch nie mit Wesen oder Systemen zusammengelebt, die bald intelligenter sein könnten als sie selbst. 910

Auch zuvor hatte Hinton ähnlich ernste, allerdings längerfristige Einschätzungen genannt: Ende 2024 sprach er von einer Wahrscheinlichkeit zwischen 10 und 20 Prozent für eine durch KI verursachte Auslöschung der Menschheit innerhalb von drei Jahrzehnten. 2025 bezeichnete er diese Spanne als Bauchgefühl, nicht als rechnerisch fundierte Prognose. 1415

Entscheidend ist daher der Unterschied zwischen einer Risikoeinschätzung und einer Aussage über Unvermeidlichkeit. Hinton sagt nicht, dass das Ende der Menschheit bevorstehe. Er sagt, dass die Unsicherheit bei einem so hohen möglichen Schaden kein Grund zur Entwarnung sei.

Warum er künftige superintelligente Systeme fürchtet

Das Szenario ist keine filmreife Maschinenrevolte. Hinton sorgt sich um KI-Systeme, die dem Menschen in Planung, Technik und Strategie deutlich überlegen sein könnten und Chaos auslösen oder Ziele verfolgen, die menschlichen Interessen entgegenstehen.

Als mögliche Wege zu großem Schaden werden Manipulation von Menschen, die Entwicklung biologischer oder digitaler Viren, Cyberangriffe sowie Angriffe auf kritische Infrastruktur genannt. Das sind theoretische Gefahrenwege hochfähiger künftiger Systeme – keine nachgewiesenen Fähigkeiten heutiger KI-Werkzeuge. 1011

Diese Unterscheidung ist zentral. Evan Hubinger, Leiter der Alignment-Forschung bei Anthropic, schätzt das Risiko der derzeitigen Modelle ausdrücklich als niedrig ein. Seine Sorge richtet sich wie Hintons auf Systeme, die erheblich leistungsfähiger werden oder sich schneller selbst verbessern könnten, als Forschende sie sicher kontrollieren können. 11624

Coxons Rücktritt und Hubingers Warnung

Die Debatte erhielt neue Aufmerksamkeit, nachdem Jacob Coxon Anthropic und die KI-Branche verlassen hatte. Coxon warf Anthropic und OpenAI vor, im Rennen um selbstverbessernde Superintelligenz nicht verantwortungsvoll genug zu handeln – für ihn ein Spiel mit Menschenleben. 317

Coxon sagte dabei nicht konkret voraus, dass die Menschheit bis 2030 verschwinden werde. Seine engere, aber dennoch außergewöhnliche Aussage lautete: Menschen, die an führenden KI-Systemen arbeiten, glaubten ernsthaft, die Technologie könne bis Ende des Jahrzehnts alle Menschen töten. 57

Hubinger unterstützte die Warnung öffentlich. Er erklärte, er selbst schätze die Wahrscheinlichkeit, dass KI innerhalb der nächsten zehn Jahre alle Menschen töten könnte, auf mehr als 10 Prozent. Gleichzeitig sagte er, Anthropic bemühe sich nach Kräften. Entscheidend ist jedoch seine weitere Aussage: Das Unternehmen habe bislang keinen Plan, das Alignment einer Superintelligenz zu lösen, und sei auch nicht klar auf dem Weg zu einem solchen Plan. 16

Was „Alignment“ bedeutet

Mit Alignment ist die Frage gemeint, wie fortgeschrittene KI zuverlässig auf die beabsichtigten menschlichen Ziele ausgerichtet und kontrollierbar gehalten werden kann – auch in Situationen, die ihre Entwickler nicht vorausgesehen haben.

Für Sicherheitsforschende geht es dabei nicht bloß darum, dass ein System eine problematische Anfrage ablehnt. Die schwierigere Frage lautet, ob ein KI-System mit großer Eigenständigkeit, Zugang zu Werkzeugen und Fähigkeiten jenseits des Verständnisses seiner Betreiber unter realem Druck sicher gelenkt werden kann.

Hubingers Aussagen beweisen nicht, dass dieses Problem unlösbar ist. Sie zeigen aber: Nach seiner Einschätzung gibt es bisher keine nachgewiesene Lösung, um superintelligente Systeme zuverlässig auszurichten, bevor solche Systeme entstehen könnten. 16

Wo Fachleute übereinstimmen – und wo nicht

Für Hintons konkrete 10-Prozent-Zahl gibt es keinen Konsens.

Der KI-Kritiker Gary Marcus unterstützte Hintons grundsätzliche Vorsichtsposition: Es sei leichtsinnig, Superintelligenz zu entwickeln, solange es keinen wissenschaftlichen Konsens gebe, dass sie sicher und kontrollierbar gebaut werden könne. Zugleich sieht Marcus keinen realistischen kurzfristigen Weg zu einer Auslöschung der Menschheit. Das verdeutlicht den Kern des Streits: Über Schutzvorkehrungen kann Einigkeit bestehen, ohne dass Fachleute dieselbe Wahrscheinlichkeit oder denselben Zeitrahmen für eine Katastrophe annehmen. 1141

Zahlen wie 10 Prozent sollten deshalb nicht als Messwerte gelesen werden. Es sind persönliche Expertenurteile unter großer Unsicherheit.

Die politische Kernfrage

Der gemeinsame Nenner der vorsichtigeren Stimmen lautet nicht, dass das Aussterben der Menschheit sicher sei. Er lautet: Wenn die Kontrolle über Systeme verloren gehen könnte, die ihren Betreibern strategisch überlegen sind, verdient dieses Risiko öffentliche und politische Aufmerksamkeit – bevor die Entwicklung der Sicherheitsforschung davonläuft.

Hintons Einschätzung, Coxons Rücktritt und Hubingers Alignment-Warnung führen damit zu derselben offenen Frage: Welche Belege sollte die Gesellschaft verlangen, bevor Systeme eingesetzt oder weiter hochskaliert werden, die strategisch übermenschliche Fähigkeiten erreichen könnten?

Für die Einordnung hilft es, drei oft vermischte Aussagen auseinanderzuhalten:

• Heutige KI-Modelle seien eine Bedrohung auf Aussterbeniveau.
• Künftige Systeme könnten Fähigkeiten erlangen, die eine solche Bedrohung schaffen.
• Die Wahrscheinlichkeit dieses Ausgangs lasse sich präzise beziffern.

Die vorliegenden Quellen stützen die zweite Aussage als ernsthafte Sorge prominenter Forschender. Hubinger bewertet das Risiko heutiger Modelle dagegen als niedrig, und Hinton betont selbst, dass sich die Wahrscheinlichkeit nicht verlässlich berechnen lässt. 11016