Geoffrey Hinton: 10 pct. risiko for AI-udryddelse er ikke urimeligt

Geoffrey Hinton, AI-pioner og modtager af Nobelprisen i fysik i 2024, siger, at en 10 pct. sandsynlighed for, at AI kan føre til menneskehedens udryddelse inden for det næste årti, ikke er et urimeligt skøn. Men han knytter en afgørende reservation til vurderingen: »Ingen ved egentlig, hvordan man giver et fornuftigt estimat.« 14

Det er en væsentlig forskel. Hinton fremlægger ikke en videnskabeligt kalibreret prognose. Hans pointe er, at risikoen ikke uden videre bør afvises, når konsekvenserne potentielt er så enorme, og når usikkerheden om fremtidige AI-systemers evner er så stor.

To typer AI-risiko

Hinton skelner mellem to beslægtede problemer: mennesker, der misbruger AI, og meget avancerede AI-systemer, som på sigt kan blive vanskelige at kontrollere.

I sin Nobelforelæsning pegede han på allerede kendte problemer som algoritmer, der skaber polariserende ekkokamre, masseovervågning og AI-understøttet phishing. Han advarede også om, at AI i fremtiden kan bruges til at udvikle farlige vira og dødelige våben, og efterlyste hurtig og handlekraftig indsats fra regeringer og internationale organisationer.

Bekymringen handler altså ikke om én enkelt fejltype. Avancerede systemer kan gøre misinformation mere overbevisende og målrettet, hjælpe angribere med at finde svagheder i software eller sænke tærsklen for biologisk og digitalt misbrug. I det mest alvorlige scenarie, som AI-sikkerhedsforskere skitserer, kan et system med stærke strategiske, tekniske og operationelle evner få adgang til ressourcer eller kritisk infrastruktur – og samtidig modarbejde menneskelige forsøg på at begrænse det. 5

Kontrolproblemet: Kan AI holdes på sporet?

Kernen i den tekniske debat er alignment, ofte omtalt som tilpasnings- eller kontrolproblemet: Kan et system, der bliver langt dygtigere end mennesker, pålideligt forfølge de mål, mennesker faktisk mener? Kan det korrigeres undervejs og holdes inden for reelle grænser?

Jacob Coxon, der tidligere har arbejdet hos både Anthropic og OpenAI, forlod Anthropic med en advarsel om, at førende laboratorier »ræser direkte mod selvforbedrende superintelligens« og »spiller hasard med vores liv«. 18 Hans bekymring er, at AI-systemer kan nå at forbedre deres egne evner hurtigere, end sikkerhedsmetoderne når at følge med.

Evan Hubinger, der leder Anthropics arbejde med alignment-forskning, støttede offentligt hovedbudskabet. Han skrev, at han personligt vurderer sandsynligheden for, at AI kan dræbe alle mennesker inden for det næste årti, til over 10 pct. Han tilføjede, at Anthropic endnu ikke har en plan for at løse alignment for superintelligens og ikke tydeligt er på vej til at få en. 16

Argumentet er ikke, at nutidens modeller står på kanten af selvstændigt at udslette menneskeheden. Hubinger har sagt, at risikoen fra de systemer, der findes nu, er lav. Frygten handler om et senere spring i kapacitet: at modeller bliver dygtige nok til at forbedre sig selv eller handle effektivt i verden, før udviklerne har fundet en robust måde at kontrollere dem på. 116

Skeptikerne: Alvorlig skade er ikke det samme som udryddelse

Andre forskere afviser ikke, at AI kan forværre cyberkriminalitet, desinformation og biologisk misbrug. Uenigheden gælder springet fra alvorlige skader til menneskehedens udryddelse.

AI-forskeren Gary Marcus vurderer, at AI kan bidrage til cyberangreb, biologiske trusler, misinformation og eskalering af konflikter. Men han ser ingen realistisk nærtidig vej til bogstaveligt talt at »dræbe alle mennesker«. 15 Hans synspunkt er, at konkrete risici skal håndteres uden at antage, at nutidens store sprogmodeller automatisk er på vej mod ukontrollérbar superintelligens.

Yann LeCun har ligeledes sat spørgsmålstegn ved bastante såkaldte p(doom)-estimater – altså sandsynligheder for en AI-katastrofe. Hans vurdering er blevet beskrevet som, at risikoen for AI-udryddelse ligger langt under risikoen for atomkrig, samtidig med at han understreger, at alle sådanne tal grundlæggende er spekulative.

Den praktiske skillelinje går derfor ikke blot mellem dem, der er bekymrede, og dem, der ikke er. Den handler især om to uafklarede spørgsmål:

1. Tidslinjen for evner: Hvor hurtigt – hvis overhovedet – bliver AI-systemer bredt overmenneskelige og i stand til at forbedre deres egen præstation?
2. Kontrol: Hvis det sker, kan udviklerne så bygge systemer, der forbliver pålideligt kontrollerbare, eller vil sikkerhedsforanstaltninger svigte under presset fra mere kapable modeller og hård konkurrence om at tage dem i brug?

Hvad siger et tal på 10 pct. egentlig?

Der findes ingen valideret metode til at beregne en præcis sandsynlighed for, at AI vil føre til menneskehedens udryddelse. Tal som Hintons og Hubingers er vurderinger under meget stor usikkerhed – ikke sandsynligheder udledt af gentagne historiske data. 14

Tallet bør derfor ikke læses som bevis for, at udryddelse er sandsynlig. Men fraværet af et præcist og pålideligt tal beviser heller ikke, at risikoen er ubetydelig. Den mere nøgterne konklusion er, at eksperter er dybt uenige om både sandsynlighed og mekanisme, mens mange er enige om, at kraftfuld AI kan skabe alvorlige sikkerheds- og styringsproblemer længe før et hypotetisk udryddelsesscenarie.

Fokus på sikkerhed før udrulning

Hinton har opfordret regeringer og internationale organisationer til hurtig handling over for AI-risici. Coxon har tilsvarende fremhævet regulering som afgørende for at mindske faren.

Debatten om politik og regulering kredser derfor om værn, der kan knyttes til konkrete AI-evner og anvendelser: grundige evalueringer af de mest avancerede modeller, stærkere cybersikkerhed, biosecurity-foranstaltninger, indberetning og tilsyn med alvorlige hændelser samt uafhængig kontrol, før systemer får mere autonomi eller adgang til følsomme værktøjer.

Spørgsmålet om, hvorvidt risikoen er netop 10 pct., bliver næppe afgjort foreløbig. Hintons pointe er ikke, at nogen kan regne oddsene ud med sikkerhed. Den er, at konsekvenserne er så alvorlige – og usikkerheden så stor – at det kan være forkert at vente på fuld vished, før man tager forholdsregler. 14