Geoffrey Hinton hält 10-Prozent-Risiko durch KI für „nicht unvernünftig“

Geoffrey Hinton, einer der prägenden Forscher der modernen KI und Nobelpreisträger für Physik 2024, hält eine 10-prozentige Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts die Menschheit auslöscht, für „nicht unvernünftig“. Seine entscheidende Einschränkung lautet jedoch: „Niemand weiß wirklich, wie man eine sinnvolle Schätzung abgeben kann.“ 14

Das ist keine wissenschaftlich kalibrierte Prognose. Hinton argumentiert vielmehr, dass man ein Szenario mit extremen Folgen angesichts der Unsicherheit über künftige KI-Fähigkeiten nicht einfach ausschließen sollte.

Zwei Arten von KI-Risiken

Hinton unterscheidet zwischen dem Missbrauch von KI durch Menschen und der längerfristigen Gefahr, dass sehr leistungsfähige Systeme nicht mehr zuverlässig steuerbar sind.

Zu den bereits greifbaren Risiken zählen manipulative Empfehlungssysteme, Massenüberwachung und KI-gestützte Phishing-Angriffe. In seiner Nobelvorlesung warnte Hinton außerdem davor, KI könne künftig bei der Entwicklung gefährlicher Viren helfen oder tödliche Waffen ermöglichen, die selbst entscheiden, wen sie verletzen oder töten. Regierungen und internationale Organisationen müssten diese Risiken dringend angehen.

In den Worst-Case-Szenarien von KI-Sicherheitsforschern könnten Systeme mit weitreichenden technischen und strategischen Fähigkeiten Schwachstellen ausnutzen, biologische oder cyberbezogene Angriffe erleichtern oder Zugang zu kritischer Infrastruktur und Ressourcen gewinnen. Die Befürchtung ist nicht ein einzelner Fehler, sondern eine gefährliche Kombination aus Überzeugungskraft, Automatisierung und Handlungsfähigkeit. 5

Warum „Alignment“ im Mittelpunkt steht

Der technische Kern der Sorge heißt Alignment: Lassen sich Systeme, die Menschen in vielen Bereichen übertreffen, dauerhaft auf die Ziele, Grenzen und Korrekturen ausrichten, die Menschen vorgeben?

Jacob Coxon, früher bei Anthropic und OpenAI tätig, verließ Anthropic mit dem Vorwurf, führende KI-Labore rasten direkt auf eine selbstverbessernde Superintelligenz zu und „spielten mit unserem Leben“. 18 Seine Sorge: KI-Systeme könnten ihre eigenen Fähigkeiten schneller ausbauen, als Sicherheitsverfahren weiterentwickelt werden.

Evan Hubinger, Leiter der Alignment-Forschung bei Anthropic, unterstützte diese Warnung öffentlich. Er schätzt persönlich die Wahrscheinlichkeit, dass KI innerhalb eines Jahrzehnts alle Menschen töten könnte, auf mehr als 10 %. Zugleich erklärte er, Anthropic habe bislang keinen Plan, das Alignment einer Superintelligenz zu lösen, und sei auch nicht erkennbar auf Kurs dahin. 16

Beide behaupten nicht, heutige Modelle stünden unmittelbar davor, eigenständig die Menschheit auszulöschen. Hubinger bezeichnete das Risiko der gegenwärtig existierenden Modelle als gering. Die Befürchtung betrifft einen möglichen Übergang: KI könnte leistungsfähig genug werden, sich selbst zu verbessern oder wirksam in der realen Welt zu handeln, bevor Entwickler sie verlässlich kontrollieren können. 116

Die skeptische Sicht: große Schäden ja, Auslöschung kurzfristig nein

Andere Forscher bestreiten nicht, dass KI Cyberkriminalität, Desinformation und den Missbrauch biologischen Wissens verschärfen kann. Ihr Einwand richtet sich gegen den Sprung von gravierenden Schäden zur vollständigen Auslöschung der Menschheit.

Der KI-Forscher Gary Marcus hält Cyberangriffe, biologische Bedrohungen, Desinformation und eine Eskalation von Konflikten für ernsthafte Risiken. Einen realistischen kurzfristigen Weg, auf dem KI buchstäblich „alle Menschen“ töten könnte, sieht er jedoch nicht. 15

Auch Yann LeCun stellt hochpräzise „p(doom)“-Schätzungen – also Wahrscheinlichkeiten für eine KI-Katastrophe – infrage. Berichten zufolge liege das KI-Aussterberisiko aus seiner Sicht deutlich unter dem Risiko eines nuklearen Holocausts; zugleich seien solche Zahlen grundsätzlich spekulativ.

Die Trennlinie verläuft daher nicht einfach zwischen Besorgten und Unbesorgten. Sie betrifft zwei offene Fragen:

1. Zeithorizont: Wann – falls überhaupt – werden Systeme breit übermenschliche Fähigkeiten erreichen und sich selbst wirksam verbessern können?
2. Kontrolle: Können Entwickler solche Systeme dann dauerhaft steuerbar halten, oder versagen Schutzmechanismen unter dem Druck leistungsfähiger Modelle und eines harten Wettbewerbs?

Was die Zahl von 10 % aussagt – und was nicht

Es gibt keine wissenschaftlich validierte Methode, die Wahrscheinlichkeit einer KI-bedingten Auslöschung der Menschheit präzise zu berechnen. Zahlen wie Hintons 10 % oder Hubingers Schätzung sind Urteile unter großer Unsicherheit, keine aus historischen Daten abgeleiteten und überprüfbaren Wahrscheinlichkeiten. 14

Die Zahl ist deshalb kein Beleg dafür, dass das Szenario wahrscheinlich eintreten wird. Umgekehrt beweist die fehlende präzise Berechnung auch nicht, dass das Risiko vernachlässigbar ist. Der nüchternere Schluss lautet: Über Wahrscheinlichkeit und Mechanismen herrscht großer Streit – doch viele Experten sehen schon vor einem hypothetischen Aussterbeszenario erhebliche Sicherheits- und Governance-Probleme.

Vorsorge vor dem Einsatz leistungsfähiger Systeme

Hinton fordert eine dringliche Befassung von Regierungen und internationalen Organisationen mit KI-Risiken. Coxon bezeichnete Regulierung ebenfalls als zentral, um die Gefahren zu senken.

Im Fokus stehen deshalb Maßnahmen, die an konkreten Fähigkeiten und Einsatzformen ansetzen: strenge Tests für besonders leistungsfähige Modelle, bessere Cybersicherheit, Schutzvorkehrungen gegen biologischen Missbrauch, Meldepflichten für schwere Vorfälle und unabhängige Prüfungen, bevor KI-Systeme mehr Autonomie oder Zugang zu sensiblen Werkzeugen erhalten.

Ob 10 % die richtige Zahl sind, bleibt offen. Hintons Aussage ist vor allem ein Plädoyer gegen falsche Gewissheit: Wenn der mögliche Schaden extrem groß und die Unsicherheit ebenso groß ist, sollte fehlende Sicherheit kein Grund sein, Vorsorge aufzuschieben. 14