Hinton om AI-risken: ”10 procent är inte en orimlig uppskattning”

Geoffrey Hinton, Nobelprisbelönad datavetare och en av förgrundsfigurerna inom modern AI, säger att en 10-procentig sannolikhet för att AI dödar alla människor inom de kommande tio åren inte är en orimlig uppskattning. Samtidigt lade han till en avgörande reservation: ”Ingen vet egentligen” hur man gör en meningsfull sannolikhetsbedömning. 91012

Det är alltså inte en förutsägelse om att mänskligheten kommer att utrotas, och inte heller ett påstående om att dagens chattbotar redan utgör ett sådant hot. Hintons argument är ett försiktighetsargument: vad händer om AI-system blir mycket mer kapabla än människor, utan att vi kan styra dem på ett tillförlitligt sätt?

Vad Hinton menade med 10 procent

I BBC-programmet Newsnight höll Hinton med om att 10 procent inte var en orimlig uppskattning för en AI-driven mänsklig utrotning inom ett decennium. Hans resonemang utgår från osäkerhet: mänskligheten har aldrig tidigare behövt leva sida vid sida med aktörer som kan bli intelligentare än vi själva. 910

Hinton har tidigare uttryckt liknande farhågor på längre sikt. I slutet av 2024 talade han om en risk på 10–20 procent för att AI skulle kunna leda till mänsklig utrotning inom tre decennier. År 2025 beskrev han intervallet som en magkänsla, inte som en matematiskt beräknad prognos. 1415

Skillnaden är viktig: en riskbedömning är inte samma sak som en förutsägelse om att något är oundvikligt. För Hinton är den möjliga konsekvensen så allvarlig att osäkerhet är ett skäl till försiktighet, inte till lugn.

Varför en framtida superintelligent AI oroar honom

Scenariot handlar inte om ett filmiskt maskinuppror. Hintons oro gäller att ett AI-system med långt större strategisk och teknisk förmåga än människor kan skapa kaos eller driva mål som går på tvärs med mänskliga intressen.

Möjliga vägar till skada som har lyfts fram är manipulation av människor, framtagning av biologiska eller digitala virus, cyberangrepp och störningar av samhällskritisk infrastruktur. Det är hypotetiska skadevägar för mycket kapabla framtida system – inte visade förmågor hos dagens AI-verktyg. 1011

Den skillnaden är central. Evan Hubinger, som leder alignmentforskning på Anthropic, har uttryckligen sagt att han bedömer risken från nuvarande modeller som låg. Hans oro, liksom Hintons, gäller system som i framtiden kan bli väsentligt mer kapabla eller förbättra sig själva snabbare än forskarna säkert kan hantera. 11624

Coxons avhopp och Hubingers varning

Diskussionen tog fart efter att Jacob Coxon lämnade Anthropic och AI-branschen. Coxon anklagade Anthropic och OpenAI för att tävla mot självförbättrande superintelligens utan att agera tillräckligt ansvarsfullt, och beskrev utvecklingen som ett spel med människors liv. 317

Coxon gjorde inte någon exakt prognos om att mänskligheten skulle gå under före 2030. Hans mer avgränsade, men fortfarande uppseendeväckande, påstående var att personer som bygger de mest avancerade AI-systemen på allvar tror att tekniken kan döda alla människor före decenniets slut. 57

Hubinger gav offentligt stöd åt allvaret i den oron. Han skrev att han personligen sätter sannolikheten för att AI dödar alla människor inom tio år till över 10 procent, samtidigt som han sade att Anthropic gör sitt bästa. Men han tillade att företaget ännu inte har någon plan för att lösa alignment för superintelligens och inte tydligt är på väg att ta fram en sådan. 16

Vad betyder ”alignment”?

Med alignment menas problemet att se till att avancerade AI-system pålitligt agerar i enlighet med avsedda mänskliga mål och förblir kontrollerbara – också i situationer som deras skapare inte har förutsett.

För säkerhetsforskare handlar det inte bara om att få ett system att avvisa en olämplig fråga. Frågan är om ett system med stor självständighet, tillgång till verktyg och förmågor som dess operatörer inte fullt ut förstår kan styras säkert under verkliga påfrestningar.

Hubingers uttalanden visar inte att alignment är omöjligt. De visar att det, enligt hans bedömning, ännu inte finns en demonstrerad lösning för att anpassa superintelligent AI till mänskliga mål innan sådana system eventuellt utvecklas. 16

Enighet om försiktighet – men inte om siffran

Det finns ingen bred samsyn kring Hintons exakta siffra på 10 procent.

AI-forskaren Gary Marcus har ställt sig bakom Hintons grundläggande försiktighetsprincip: det vore mycket oklokt att utveckla superintelligens innan det finns vetenskaplig samsyn om att den kan byggas säkert och hållas under kontroll. Samtidigt uppger rapporteringen att Marcus inte ser någon realistisk nära förestående väg till mänsklig utrotning. Det illustrerar en viktig skiljelinje: man kan vara överens om behovet av skyddsräcken utan att dela sannolikhetsbedömningen eller tidshorisonten för en katastrof. 1141

Siffror som 10 procent bör därför läsas som expertomdömen under stor osäkerhet, inte som exakta mätvärden.

Den praktiska frågan för samhället

Den tydligaste gemensamma nämnaren är inte att AI-utrotning är säker. Den är att en betydande möjlighet att förlora kontrollen över system som är mer kapabla än sina operatörer förtjänar offentlig granskning innan utvecklingen springer ifrån säkerhetsarbetet.

Hintons uppskattning, Coxons avhopp och Hubingers varning om alignment pekar mot samma obesvarade fråga: vilka bevis bör samhället kräva innan system som kan bli strategiskt övermänskliga tas i bruk eller skalas upp ytterligare?

För läsaren är det särskilt viktigt att skilja mellan tre påståenden som ofta blandas ihop:

• Dagens AI-modeller utgör ett hot på utrotningsnivå.
• Framtida system kan få förmågor som skapar ett sådant hot.
• Sannolikheten för detta går att beräkna exakt.

Källorna stödjer det andra som en allvarlig oro bland framstående forskare. Hubinger beskriver samtidigt risken från dagens modeller som låg, och Hinton säger att sannolikheten i sig inte går att uppskatta på ett tillförlitligt sätt. 11016