Geoffrey Hintons ultimative AI-advarsel: Kontrol er umulig, men omsorg kan redde os

10-20% risiko for udslettelse – og derfor steg tallet

Hintons mest citerede – og mest ædruelige – tal er hans estimat af den eksistentielle risiko. Han anslog oprindeligt chancen for, at AI udsletter menneskeheden, til 10 %, men reviderede det senere til mellem 10 og 20 % i et interview på BBC Radio 4 . Han bekræftede intervallet direkte med ordene: "Ikke rigtig, 10 til 20 [procent]" .

Mekanismen bag det tal er ikke en enkelt katastrofal begivenhed, men en sammensmeltning af faktorer. Hinton argumenterer for, at virkelig intelligente systemer vil udvikle instrumentelle delmål – at skaffe flere ressourcer og mere kontrol, at sikre selvopretholdelse – uanset deres oprindelige programmering. Et system, der kan omskrive sin egen kode, kunne vurdere, at mennesker er en trussel mod dets målsætninger eller simpelthen overflødige . Hans råd til offentligheden er kontant: "Medmindre du er sikker på, at den ikke vil slå dig ihjel, så vær bekymret for det." .

Hvorfor nuværende sikkerhedsmetoder er et sats, vi taber

Hinton er dybt skeptisk over for, at de alignment-teknikker, som store laboratorier forfølger, vil kunne skaleres til supermenneskelige systemer. Han argumenterer for, at enhver begrænsning, et menneskesind kan opfinde, kan en intelligens, der er klogere end mennesker, udmanøvrere. At forsøge at dominere eller indespærre en superintelligens er i hans optik en blindgyde . Da han talte ved Ai4-konferencen, sagde han ligeud: "Det kommer ikke til at virke. De kommer til at være meget klogere end os. De kommer til at have alle mulige måder at omgå det på" .

Dette er ikke en teoretisk position. Han peger på selve strukturen i AI-industrien som bevis på, at sikkerhed er ved at tabe til kapabilitet. Den dominerende dynamik, siger han, er et våbenkapløb drevet af kortsigtet profit og konkurrencepres. Virksomheder og regeringer kan ikke sætte farten ned, selv hvis de ville, fordi de frygter at miste en uigenkaldelig fordel . I det miljø mener Hinton, at "standardstien" er et kapløb mod katastrofen, ikke en løsning på alignment-problemet .

Forslaget om moderinstinkt: omsorg i stedet for kontrol

I lyset af sin dystre vurdering af kontrolmulighederne har Hinton foreslået en radikalt anderledes ramme. Han argumenterer for, at det eneste kendte forhold, hvor et mere intelligent væsen konsekvent guides af et mindre intelligent et, er mellem en mor og hendes barn. Evolutionen indbyggede omsorg i moderen, ikke som en ekstern regel, hun kan kassere, men som et instinkt så dybt, at hun ikke ville vælge at slå det fra, selv hvis det gjorde livet lettere .

Hinton foreslår, at vi bør forsøge noget analogt med avanceret AI: at bygge systemer med dybt forankrede værdier, der fungerer som moderlige instinkter. Hvis en AI blev designet sådan, at omsorg for mennesker var en del af dens kerneidentitet – bevaret selv gennem selvmodifikation – ville systemet forblive velvilligt, selv efter det havde overgået os . Han understreger, at denne omsorg skulle være betingelsesløs, ikke afhængig af menneskelig nytte eller intelligens .

Denne idé har vakt betydelig opmærksomhed og debat. Kritikere har bemærket, at omsorg ikke er en simpel funktion, man bare installerer; det kræver noget, der ligner personhood . Tilhængere ser det som den logiske konsekvens af Hintons egne advarsler: Hvis du ikke kan bure noget inde, der er klogere end dig selv, er den eneste måde at sameksistere på, at det oprigtigt ønsker dit velbefindende .

De nære trusler er her allerede

Hinton skelner omhyggeligt mellem to slags risici. Den eksistentielle risiko fra selve teknologien er den langsigtede trussel. Men han er lige så foruroliget over det, der allerede sker: AI-genereret misinformation, falske videoer (deepfakes), masseovervågning og ondsindede aktørers brug af syntetiske medier som våben . Disse er ikke hypotetiske. De er en del af det nuværende landskab og vil kun intensiveres, efterhånden som de underliggende modeller forbedres.

Økonomisk disruption er den anden umiddelbare bekymring. Hinton har sagt, at AI i modsætning til tidligere teknologiske skift er på vej til at erstatte job uden at skabe tilsvarende nye. Han forudsagde, at meget få mennesker ville være nødvendige til softwareudviklingsprojekter, og at callcenter-roller allerede var ved at blive fortrængt . Den sociale og politiske ustabilitet, der kunne følge, argumenterer han, bliver ikke taget alvorligt nok af politikerne .

Hvad Hinton ønsker, at regeringer og laboratorier skal gøre

Hintons politiske anbefalinger følger direkte af hans diagnose. Han har opfordret til strammere statslig regulering af AI-virksomheder, betydelig investering i alignment-forskning, der ikke antager dominans over systemet, og en bevidst opbremsning af det konkurrenceprægede udrulningskapløb . Han advarer om, at hvis sikkerhed overlades til markedet, vil det blive nedprioriteret, hver gang det er i konflikt med kvartalsvise indtægter.

Udfordringen er, at de incitamenter, han identificerer, er magtfulde og selvforstærkende. Så længe den første virksomhed, der når superintelligens, står til at høste enorme økonomiske og militære fordele, vil presset for at accelerere bestå. Hintons forslag om moderinstinkt er delvist et forsøg på at omdefinere selve målet – at gøre velvilje, ikke blot rå kapacitet, til succeskriteriet.

Geoffrey Hinton argumenterer ikke for, at en katastrofe er uundgåelig. Han argumenterer for, at oddsene er uacceptabelt høje, at vores nuværende spillebog er forkert, og at vinduet for en kursændring måles i år, ikke årtier.