Geoffrey Hinton: 10 prosent risiko for AI-utryddelse er «ikke urimelig»

Geoffrey Hinton, AI-pioneren som fikk Nobelprisen i fysikk i 2024, sa at en 10 prosents sannsynlighet for at AI kan føre til menneskehetens utryddelse i løpet av det neste tiåret ikke virket urimelig. Men han la umiddelbart til et avgjørende forbehold: «Ingen vet egentlig hvordan man skal gi et fornuftig anslag.» 14

Det er en viktig forskjell. Hinton presenterte ikke et vitenskapelig kalibrert varsel. Poenget hans var at når skadepotensialet kan være så stort – og kunnskapen om framtidige systemers evner er så begrenset – bør ikke muligheten uten videre avfeies.

To typer AI-risiko

Hinton skiller mellom to beslektede problemer: mennesker som bruker AI til skade, og svært kapable AI-systemer som på sikt kan bli vanskelige å styre.

I Nobel-forelesningen sin pekte han på mer nærliggende trusler: anbefalingssystemer som skaper polariserende ekkokamre, omfattende overvåking, og AI-støttet phishing og svindel. Han advarte også om at AI kan brukes til å utvikle farlige virus og dødelige våpen som selv avgjør hvem de skal drepe eller skade. Hinton etterlyste rask og kraftfull oppmerksomhet fra myndigheter og internasjonale organisasjoner.

Bekymringen handler altså ikke om én enkelt feiltype. Avanserte systemer kan gjøre desinformasjon mer overbevisende og skreddersydd, bidra til å finne sårbarheter i programvare eller senke terskelen for biologisk og digitalt misbruk. I det mest alvorlige scenariet som AI-sikkerhetsforkjempere ser for seg, kan et system med sterke strategiske, tekniske og operative evner få tilgang til ressurser eller kritisk infrastruktur – og samtidig motsette seg menneskelige forsøk på å begrense det. 5

Kjernen i debatten: kontroll og «alignment»

Det tekniske nøkkelspørsmålet er ofte kalt alignment, eller tilpasning: Kan et system som blir langt mer kompetent enn mennesker, pålitelig forfølge målene mennesker faktisk mener å sette? Kan det korrigeres underveis og holdes innenfor reelle grenser?

Jacob Coxon, tidligere forsker hos både Anthropic og OpenAI, sluttet i Anthropic og hevdet at ledende AI-selskaper «racer rett mot selvforbedrende superintelligens» og «spiller hasard med livene våre». 18 Advarselen hans dreier seg om at systemene kan bli i stand til å forbedre egne evner raskere enn sikkerhetsarbeidet utvikler seg.

Evan Hubinger, leder for alignment-forskning i Anthropic, støttet hovedadvarselen offentlig. Han skrev at han personlig mener det er mer enn 10 prosents sannsynlighet for at AI kan drepe alle mennesker innen et tiår. Han la til at Anthropic ennå ikke har en plan for å løse alignment for superintelligens, og at selskapet ikke tydelig er på vei mot en slik løsning. 16

Argumentet er ikke at dagens modeller står på terskelen til å utrydde menneskeheten på egen hånd. Hubinger har sagt at risikoen fra modellene som allerede finnes, er lav. Bekymringen gjelder et mulig framtidig skifte: at modeller blir kapable nok til å forbedre seg selv eller handle effektivt i verden før utviklerne vet hvordan de kan kontrolleres pålitelig. 116

Skeptikerne avviser ikke risiko – men selve dommedagsscenariet

Andre forskere bestrider ikke at AI kan forsterke cyberkriminalitet, desinformasjon og biologisk misbruk. Uenigheten gjelder spranget fra alvorlig skade til menneskehetens utryddelse.

AI-forskeren Gary Marcus har sagt at AI kan bidra til cyberangrep, biologiske trusler, desinformasjon og opptrapping av konflikter. Men han ser ingen realistisk vei på kort sikt til bokstavelig talt å «drepe alle mennesker». 15 Hans syn er at konkrete farer må tas på alvor, uten å anta at dagens store språkmodeller automatisk leder til ukontrollerbar superintelligens.

Yann LeCun har også stilt spørsmål ved bastante anslag for såkalt «p(doom)» – sannsynligheten for en AI-katastrofe. Hans syn er omtalt som at AI-utryddelse er langt mindre sannsynlig enn atomkrig, samtidig som slike tall uansett er grunnleggende spekulative.

Den praktiske uenigheten er derfor ikke bare mellom «bekymrede» og «ubekymrede». Den dreier seg særlig om to ubesvarte spørsmål:

1. Tidslinje for evner: Hvor raskt, om i det hele tatt, kan AI-systemer bli bredt overmenneskelige og i stand til å forbedre sin egen ytelse?
2. Kontroll: Dersom det skjer, kan utviklerne lage systemer som forblir pålitelig kontrollerbare, eller vil sikkerhetsmekanismer svikte når modellene blir mer kapable og konkurransen om å ta dem i bruk øker?

Hva et anslag på 10 prosent faktisk sier

Det finnes ingen validert metode for å regne ut en presis sannsynlighet for at AI skal føre til menneskelig utryddelse. Tall som Hintons og Hubingers er vurderinger under svært stor usikkerhet, ikke sannsynligheter utledet fra gjentakbare historiske data. 14

Tallet bør derfor ikke leses som dokumentasjon på at utryddelse er sannsynlig. Men fraværet av et sikkert tall er heller ikke bevis for at risikoen er ubetydelig. Den mer nøkterne konklusjonen er at eksperter er dypt uenige om både sannsynlighet og forløp, mens mange samtidig er enige om at kraftig AI kan skape alvorlige sikkerhets- og styringsutfordringer lenge før et hypotetisk utryddelsesscenario.

Tiltak før systemene får større handlingsrom

Hinton har bedt myndigheter og internasjonale organisasjoner om å behandle AI-risikoer med hastverk. Coxon har på sin side framhevet regulering som sentralt for å redusere faren.

Politikkdebatten dreier seg dermed om tiltak knyttet til konkrete evner og bruksområder: grundige tester av de mest avanserte modellene, bedre cybersikkerhet, vern mot biologisk misbruk, rapportering og tilsyn ved alvorlige hendelser, og uavhengig gransking før systemer får mer autonomi eller tilgang til sensitive verktøy.

Debatten om 10 prosent vil neppe få et endelig svar med det første. Hintons hovedpoeng er ikke at noen kan regne ut oddsen med trygghet, men at innsatsen er så høy – og usikkerheten så stor – at det kan være feil å vente på full visshet før man tar forholdsregler. 14