Geoffrey Hinton: 10 procents risk för AI-utrotning är ”inte orimligt”

Geoffrey Hinton, AI-pionjär och Nobelpristagare i fysik 2024, säger att en 10-procentig risk för att AI orsakar mänsklighetens utrotning inom det kommande decenniet inte är orimlig. Men han lade till en avgörande reservation: ”Ingen vet egentligen hur man gör en vettig uppskattning.” 14

Det innebär att Hinton inte presenterar en vetenskapligt kalibrerad prognos. Hans poäng är snarare att riskens möjliga omfattning och osäkerheten kring framtida AI-kapacitet gör det fel att avfärda scenariot helt.

Två typer av AI-risker

Hinton skiljer mellan två relaterade problem: människor som använder AI i skadligt syfte, och mycket avancerade AI-system som i framtiden kan bli svåra att kontrollera.

I sitt Nobelföredrag pekade han på risker som redan är synliga: rekommendationssystem som förstärker polarisering, massövervakning och AI-stödda nätfiskeattacker. Han varnade också för att AI kan användas för att skapa farliga virus och dödliga vapen, och efterlyste kraftfulla insatser från regeringar och internationella organisationer.

Oro gäller alltså inte ett enda fel. Avancerade system kan göra desinformation mer övertygande och personligt riktad, hjälpa angripare att hitta svagheter i mjukvara eller sänka trösklarna för missbruk inom cyber- och biologiområdet. I det mest extrema scenario som AI-säkerhetsförespråkare beskriver skulle ett system med stark strategisk, teknisk och operativ förmåga kunna få tillgång till resurser eller kritisk infrastruktur – och samtidigt motstå mänskliga försök att begränsa det. 5

Kärnfrågan: går mycket kraftfull AI att styra?

Den centrala tekniska frågan kallas alignment, ofta översatt som anpassning eller målanpassning. Det handlar om huruvida ett system som är betydligt mer kapabelt än människor på ett tillförlitligt sätt kan följa mänskliga avsikter, rättas när det gör fel och hållas inom verkliga gränser.

Jacob Coxon, tidigare forskare på både Anthropic och OpenAI, lämnade Anthropic och skrev att ledande AI-laboratorier ”rusar rakt mot självförbättrande superintelligens” och ”spelar med våra liv”. 18 Hans oro är att systemen kan börja förbättra sina egna förmågor snabbare än säkerhetsmetoderna utvecklas.

Evan Hubinger, chef för alignmentforskning på Anthropic, ställde sig offentligt bakom kärnan i varningen. Han skrev att han personligen bedömer sannolikheten till mer än 10 procent för att AI kan döda alla människor inom tio år. Samtidigt sade han att Anthropic ännu saknar en plan för att lösa anpassningsproblemet för superintelligens och inte tydligt är på väg att få fram en sådan. 16

Argumentet är inte att dagens modeller står inför en omedelbar, självständig utrotning av mänskligheten. Hubinger har sagt att risken från nuvarande modeller är låg. Oron gäller en framtida övergång: att systemen blir kapabla att förbättra sig själva eller agera effektivt i världen innan utvecklarna vet hur de kan kontrolleras pålitligt. 116

Skeptikerna: svår skada är inte samma sak som utrotning

Andra forskare förnekar inte att AI kan förvärra cyberbrott, desinformation och biologiskt missbruk. Deras invändning gäller språnget från stora skador till mänsklighetens utrotning.

AI-forskaren Gary Marcus har sagt att AI kan bidra till cyberattacker, biologiska hot, desinformation och upptrappade konflikter. Men han ser ingen realistisk väg på kort sikt till att bokstavligen ”döda alla människor”. 15 Hans ståndpunkt är att konkreta risker måste hanteras utan att man antar att dagens stora språkmodeller automatiskt leder till okontrollerbar superintelligens.

Yann LeCun har också ifrågasatt säkra så kallade p(doom)-bedömningar, alltså uppskattningar av sannolikheten för katastrofal AI-utveckling. Hans syn har beskrivits som att AI-relaterad utrotningsrisk är långt mindre sannolik än ett kärnvapenkrig, samtidigt som han framhåller att sådana procentsiffror i grunden är spekulativa.

Den praktiska skiljelinjen går därför inte bara mellan de som är oroliga och de som inte är det. Den handlar om två öppna frågor:

1. Tidslinjen för nya förmågor: När, om någonsin, får vi system som är brett övermänskliga och kan förbättra sin egen prestation?
2. Kontrollfrågan: Om det sker, kan utvecklarna bygga system som förblir styrbara – eller kommer skyddsåtgärder att brista när modellerna blir mer kapabla och konkurrensen driver på lanseringar?

Vad säger egentligen siffran 10 procent?

Det finns ingen validerad metod för att räkna ut en exakt sannolikhet för att AI ska orsaka mänsklighetens utrotning. Siffror som Hintons och Hubingers är bedömningar under mycket stor osäkerhet, inte sannolikheter baserade på upprepade historiska data. 14

Därför ska 10 procent inte läsas som ett bevis för att utrotning är sannolik. Men avsaknaden av en säker procentsiffra bevisar inte heller att risken är försumbar. Den mer konkreta slutsatsen är att experter är djupt oense om sannolikheten och vägen till ett extremt scenario, medan många delar uppfattningen att kraftfull AI kan skapa allvarliga säkerhets- och styrningsproblem långt innan dess.

Kraven på åtgärder före bredare användning

Hinton har efterlyst brådskande insatser från regeringar och internationella organisationer för att hantera AI-risker. Coxon har på liknande sätt framhållit reglering som central för att minska faran.

Samtalet om politik och tillsyn kretsar därför kring skydd som kan kopplas till identifierbara förmågor och användningar: rigorösa utvärderingar av de mest avancerade modellerna, starkare cybersäkerhet, skydd inom biosäkerhet, rapportering och granskning av allvarliga incidenter samt oberoende kontroll innan system får större handlingsutrymme eller tillgång till känsliga verktyg.

Debatten om en tioprocentig utrotningsrisk kommer sannolikt att förbli olöst. Hintons poäng är inte att någon kan beräkna oddsen med säkerhet, utan att insatserna är så höga – och osäkerheten så stor – att det kan vara fel att kräva full visshet innan försiktighetsåtgärder vidtas. 14