Hinton mener 10 prosent AI-risiko på ti år ikke er et urimelig anslag

Geoffrey Hinton, nobelprisvinneren og datavitenskapsmannen som ofte omtales som en pioner innen moderne AI, sa at en 10 prosents sjanse for at AI kan drepe alle mennesker i løpet av de neste ti årene ikke virket urimelig. Men han koblet det oppsiktsvekkende tallet til et vesentlig forbehold: «Ingen vet egentlig» hvordan man kan gi et fornuftig sannsynlighetsanslag. 91012

Dette er altså ikke en spådom om at menneskeheten vil bli utslettet, og heller ikke en påstand om at dagens språkmodeller utgjør denne typen risiko. Hintons poeng er et føre-var-argument: Hva kan skje dersom AI-systemer blir langt mer kapable enn mennesker, uten at de samtidig er mulig å kontrollere?

Hva Hinton la i 10-prosentsanslaget

I BBC-programmet Newsnight sa Hinton seg enig i at 10 prosent ikke var et urimelig anslag for en AI-drevet hendelse som utrydder menneskeheten innen et tiår. Begrunnelsen var først og fremst usikkerhet: Mennesker har aldri før måttet leve side om side med vesener som kan bli mer intelligente enn oss. 910

Han har tidligere gitt alvorlige anslag over lengre tidshorisonter. Mot slutten av 2024 sa han at han så en risiko på 10–20 prosent for at AI kunne føre til menneskelig utryddelse innen tre tiår. I 2025 beskrev han intervallet som en magefølelse, ikke en beregnet prognose. 1415

Skillet er viktig: Et risikoanslag er ikke det samme som en påstand om at utfallet er uunngåelig. For Hinton er de potensielle konsekvensene så alvorlige at usikkerhet er grunn til varsomhet – ikke til å avfeie spørsmålet.

Hvorfor en framtidig superintelligens bekymrer ham

Scenariet handler ikke om et filmaktig maskinopprør. Hintons bekymring er at et AI-system med langt større strategisk og teknisk kapasitet enn mennesker kan skape omfattende kaos eller forfølge mål som kolliderer med menneskelige interesser.

Mulige skadeveier som er omtalt, inkluderer manipulasjon av mennesker, utvikling av biologiske eller datavirus, cyberangrep og angrep på kritisk infrastruktur. Dette er foreslåtte mekanismer for hvordan svært kapable framtidige systemer kan gjøre skade – ikke dokumenterte evner hos dagens AI-verktøy. 1011

Nettopp den forskjellen er sentral. Evan Hubinger, leder for alignment-forskning i Anthropic, har uttrykkelig sagt at han vurderer risikoen fra dagens modeller som lav. Hans bekymring, i likhet med Hintons, gjelder systemer som kan bli mye mer kapable eller forbedre seg selv raskere enn forskere klarer å håndtere forsvarlig. 11624

Coxon og Hubinger: Advarsel fra innsiden av Anthropic

Debatten skjøt fart etter at Jacob Coxon sluttet i Anthropic og forlot AI-bransjen. Coxon hevdet at Anthropic og OpenAI konkurrerte om å utvikle selvforbedrende superintelligens uten å opptre ansvarlig nok, og kalte utviklingen et spill med menneskeliv som innsats. 317

Coxon ga ikke en presis prognose om at menneskeheten vil forsvinne innen 2030. Hans mer avgrensede påstand var at folk som bygger banebrytende AI, oppriktig tror teknologien kan drepe alle mennesker innen tiårets slutt. 57

Hubinger støttet offentlig alvoret i denne advarselen. Han skrev at han personlig anslår sannsynligheten til over 10 prosent for at AI kan drepe alle mennesker i løpet av det neste tiåret, samtidig som han sa at Anthropic prøver sitt beste. Det avgjørende forbeholdet hans var at selskapet ennå ikke har en plan for å løse alignment for superintelligens, og ikke tydelig er på vei mot en slik løsning. 16

Hva betyr «alignment»?

Alignment – ofte omtalt som innretting – handler om å sikre at avanserte AI-systemer pålitelig handler i tråd med menneskelige mål og forblir kontrollerbare, også i situasjoner utviklerne ikke har forutsett.

For sikkerhetsforskere dreier utfordringen seg ikke bare om å få et system til å avslå en uheldig forespørsel. Spørsmålet er om et system med bred autonomi, tilgang til verktøy og evner som operatørene ikke fullt ut forstår, kan styres trygt under press i den virkelige verden.

Hubingers uttalelser beviser ikke at alignment er umulig. De viser at det, etter hans vurdering, ennå ikke finnes en demonstrert løsning for å innrette superintelligente systemer før slike systemer eventuelt blir utviklet. 16

Enighet om forsiktighet – uenighet om sannsynligheten

Det finnes ingen faglig enighet om Hintons konkrete tall på 10 prosent.

Gary Marcus støttet Hintons sentrale føre-var-poeng: Det ville være uklokt å utvikle superintelligens før det finnes vitenskapelig konsensus om at den kan bygges trygt og kontrollerbart. Samtidig viser omtalen at Marcus ikke ser noen realistisk nærstående vei til menneskelig utryddelse. Det illustrerer en viktig skillelinje: Man kan være enig om behovet for sikkerhetstiltak uten å være enig om sannsynligheten eller tidsrammen for en katastrofe. 1141

Den bredere offentlige debatten følger et lignende mønster. Mange er bekymret for langsiktig AI-risiko, men er uenige om dagens teknologiske utvikling faktisk kan føre til autonom og ukontrollerbar superintelligens i nær framtid. Derfor bør prosenttallene forstås som ekspertvurderinger, ikke som målinger.

Det praktiske spørsmålet for samfunnet

Det tydeligste felles ståstedet er ikke at AI-utryddelse er sikkert. Det er at en ikke-triviell mulighet for å miste kontrollen over systemer som er mer kapable enn operatørene, fortjener offentlig oppmerksomhet før utviklingen løper fra sikkerhetsarbeidet.

Hintons anslag, Coxons avgang og Hubingers alignment-advarsel peker mot det samme uavklarte spørsmålet: Hvilken dokumentasjon bør samfunnet kreve før systemer som kan bli strategisk overmenneskelige, tas i bruk eller skaleres videre?

For lesere er det nyttig å holde tre påstander fra hverandre:

• Dagens AI-modeller utgjør en risiko på nivå med menneskehetens utryddelse.
• Framtidige systemer kan få evner som skaper en slik risiko.
• Sannsynligheten for dette kan anslås presist.

Kildene underbygger den andre påstanden som en alvorlig bekymring fra fremtredende forskere. Samtidig beskriver Hubinger risikoen fra dagens modeller som lav, og Hinton sier at sannsynligheten i seg selv ikke kan beregnes pålitelig. 11016