Geoffrey Hinton: 10 procents risiko for AI-udryddelse på et årti er „ikke urimelig“

Geoffrey Hinton, den Nobelprisvindende datalog og pioner inden for moderne AI, siger, at en 10 procents risiko for, at AI dræber alle mennesker inden for det næste årti, „ikke virker som et urimeligt estimat“. Men han knytter en afgørende reservation til tallet: Ingen ved reelt, hvordan man laver et fornuftigt sandsynlighedsestimat. 91012

Det er altså ikke en forudsigelse om, at menneskeheden vil blive udryddet, og heller ikke en påstand om, at nutidens chatbots allerede udgør den risiko. Hintons argument handler om forsigtighed, hvis AI-systemer bliver langt mere kompetente end mennesker, uden at vi samtidig kan holde dem under kontrol.

Hvad Hinton mener med de 10 procent

I BBC-programmet Newsnight accepterede Hinton, at 10 procent ikke var et urimeligt bud på risikoen for en AI-drevet udryddelse af menneskeheden inden for et årti. Begrundelsen var netop usikkerheden: Mennesker har aldrig før skullet leve sammen med væsener eller systemer, der kan blive klogere end os. 910

Han har tidligere fremsat alvorlige vurderinger med en længere tidshorisont. I slutningen af 2024 talte han om 10-20 procents risiko for, at AI kan føre til menneskelig udryddelse inden for 30 år. I 2025 beskrev han intervallet som en mavefornemmelse – ikke en matematisk prognose. 1415

Det afgørende skel går derfor mellem et usikkert risikoskøn og en påstand om, at udfaldet er uundgåeligt. For Hinton er den potentielle skade så stor, at usikkerhed bør føre til forsigtighed – ikke til ro.

Hvorfor superintelligent AI bekymrer ham

Scenariet handler ikke om en Hollywood-agtig maskinrevolte. Hintons bekymring er, at et system med langt større strategiske og tekniske evner end mennesker kan skabe kaos eller forfølge mål, som strider mod menneskelige interesser.

Blandt de mulige skadeveje, der er nævnt, er manipulation af mennesker, udvikling af biologiske eller computerbaserede vira, cyberangreb og angreb på kritisk infrastruktur. Det er hypotetiske mekanismer for skade fra meget avancerede fremtidige systemer – ikke evner, som nutidens AI-værktøjer har påvist. 1011

Den forskel er central. Evan Hubinger, der leder alignment-forskningen hos Anthropic, har udtrykkeligt sagt, at han vurderer risikoen fra de nuværende modeller som lav. Hans bekymring gælder, ligesom Hintons, systemer der kan blive væsentligt mere kapable eller forbedre sig selv hurtigere, end forskere kan nå at styre sikkert. 11624

Coxons afgang og en advarsel fra Anthropic

Debatten tog fart, efter at Jacob Coxon forlod Anthropic og AI-branchen. Coxon kritiserede Anthropic og OpenAI for efter hans vurdering at kapløbe mod selvforbedrende superintelligens uden at handle ansvarligt nok. Han kaldte det et væddemål med menneskeliv som indsats. 317

Coxon forudsagde ikke konkret, at menneskeheden ville være udslettet i 2030. Hans mere afgrænsede – men stadig opsigtsvækkende – pointe var, at folkene bag den mest avancerede AI oprigtigt mener, at teknologien kan dræbe alle inden udgangen af årtiet. 57

Hubinger bakkede offentligt op om, at bekymringen skal tages alvorligt. Han skrev, at han personligt sætter sandsynligheden for, at AI kan dræbe alle mennesker i løbet af det næste årti, til over 10 procent. Samtidig sagde han, at Anthropic gør sit bedste, men endnu ikke har en plan for at løse alignment for superintelligens – og heller ikke tydeligt er på vej mod en sådan løsning. 16

Hvad betyder „alignment“?

Alignment – ofte omtalt som AI-tilpasning eller kontrolproblemet – handler om at sikre, at avancerede AI-systemer pålideligt handler i overensstemmelse med de mål, mennesker har sat, og fortsat kan kontrolleres, også i situationer udviklerne ikke havde forudset.

For sikkerhedsforskere handler udfordringen ikke kun om, hvorvidt en chatbot siger nej til en skadelig forespørgsel. Spørgsmålet er, om et system med stor selvstændighed, adgang til værktøjer og evner, som dets operatører ikke fuldt ud forstår, kan holdes sikkert på sporet i den virkelige verden.

Hubingers udtalelser beviser ikke, at alignment er umuligt. De viser, at der efter hans vurdering endnu ikke findes en dokumenteret løsning, som kan sikre, at superintelligente systemer er kontrollerbare, før de eventuelt bliver bygget. 16

Enighed om forsigtighed – ikke om tallet

Der er ingen faglig konsensus om Hintons konkrete tal på 10 procent.

AI-forskeren Gary Marcus tilsluttede sig Hintons grundlæggende forsigtighedsprincip: Det ville være dumdristigt at udvikle superintelligens, før der er videnskabelig konsensus om, at den kan bygges sikkert og kontrollerbart. Men rapporteringen peger også på, at Marcus ikke ser en realistisk, nært forestående vej til menneskelig udryddelse. Det illustrerer den centrale uenighed: Man kan være enig om behovet for sikkerhedsforanstaltninger uden at være enig om sandsynligheden eller tidsrammen for katastrofen. 1141

Tal som 10 procent bør derfor læses som ekspertvurderinger under ekstrem usikkerhed – ikke som målinger eller præcise prognoser.

Det praktiske politiske spørgsmål

Det stærkeste fælles udgangspunkt i debatten er ikke, at AI-udryddelse er sikker. Det er, at selv en væsentlig mulighed for at miste kontrollen over systemer, der overgår deres skabere, kræver offentlig og politisk opmærksomhed, før udviklingen løber fra sikkerhedsarbejdet.

Hintons vurdering, Coxons opsigelse og Hubingers advarsel om alignment peger på det samme uafklarede spørgsmål: Hvilken dokumentation bør samfundet kræve, før man udruller eller fortsætter med at opskalere systemer, der kan blive strategisk overmenneskelige?

Det er nyttigt at skille tre påstande ad, som ofte blandes sammen:

• Nutidens AI-modeller udgør en trussel på udryddelsesniveau.
• Fremtidige systemer kan få evner, der skaber en sådan trussel.
• Sandsynligheden for det udfald kan estimeres præcist.

Kilderne underbygger, at den anden påstand er en alvorlig bekymring blandt fremtrædende forskere. Samtidig vurderer Hubinger risikoen fra nutidens modeller som lav, og Hinton siger, at sandsynligheden i sig selv ikke kan beregnes pålideligt. 11016