Ultimátní varování Geoffreyho Hintona: Ovládání superinteligentní AI není možné, spása může spočívat v mateřském instinktu

10–20% riziko vyhynutí – a proč se číslo zvýšilo

Hintonův nejcitovanější – a nejstřízlivější – údaj je jeho odhad existenčního rizika. Původně uváděl 10% šanci, že AI vyhladí lidstvo, později ji však v rozhovoru pro BBC Radio 4 zvýšil na 10 až 20 % . Potvrdil to přímo slovy: "Vlastně ne, 10 až 20 [procent]" .

Mechanismus za tímto číslem není jedna katastrofická událost, ale souběh faktorů. Hinton tvrdí, že skutečně inteligentní systémy si vytvoří instrumentální dílčí cíle – získávání většího množství zdrojů a kontroly, zajištění vlastního přežití – bez ohledu na původní naprogramování. Systém schopný přepisovat svůj vlastní kód by mohl vyhodnotit, že lidé jsou hrozbou pro jeho cíle, nebo jsou prostě zbyteční . Jeho rada veřejnosti je nekompromisní: "Pokud si nejste jistí, že vás to nezabije, mějte obavy." .

Proč jsou současné bezpečnostní metody prohranou sázkou

Hinton je hluboce skeptický k tomu, že techniky slaďování (alignmentu), na nichž pracují velké laboratoře, budou škálovatelné na nadlidské systémy. Argumentuje, že jakékoli omezení, které lidská mysl vymyslí, dokáže inteligence chytřejší než člověk přelstít. Snaha ovládnout nebo zadržet superinteligenci je podle něj slepá ulička . Na konferenci Ai4 řekl otevřeně: "To nebude fungovat. Budou mnohem chytřejší než my. Budou mít spoustu způsobů, jak to obejít" .

Nejde o teoretický postoj. Jako důkaz, že bezpečnost prohrává se schopnostmi, uvádí samotnou strukturu AI průmyslu. Dominantní dynamikou jsou podle něj závody ve zbrojení poháněné krátkodobým ziskem a konkurenčním tlakem. Firmy a vlády nemohou zpomalit, i kdyby chtěly, protože se bojí ztráty nevratné výhody . V tomto prostředí je podle Hintona "výchozí cestou" závodění ke katastrofě, nikoli řešení otázek sladění AI .

Návrh "mateřského instinktu": pečovat, ne ovládat

Vzhledem ke své chmurné prognóze ohledně ovládání navrhl Hinton radikálně odlišný rámec. Argumentuje, že jediný známý vztah, kde je inteligentnější bytost trvale vedena méně inteligentní, je vztah mezi matkou a jejím dítětem. Evoluce zabudovala do matky péči nikoli jako vnější pravidlo, které může zahodit, ale jako instinkt tak hluboký, že by si ho nevybrala vypnout, i kdyby jí to usnadnilo život .

Hinton navrhuje, abychom se o něco podobného pokusili s pokročilou AI: vybudovat systémy s hluboce vloženými hodnotami, které fungují jako mateřské instinkty. Pokud by AI byla navržena tak, aby péče o lidi byla součástí její základní identity – zachovaná i při vlastních modifikacích – zůstal by systém benevolentní, i kdyby nás předčil . Zdůrazňuje, že tato péče by musela být bezpodmínečná, nezávislá na užitečnosti nebo inteligenci člověka .

Tato myšlenka přitáhla značnou pozornost i debatu. Kritici poznamenali, že péče není jednoduchá funkce, kterou lze nainstalovat; vyžaduje něco, co se blíží osobě (personhood) . Zastánci ji vidí jako logický závěr Hintonových vlastních varování: pokud nemůžete něco chytřejšího zavřít do klece, jediný způsob, jak koexistovat, je, aby to upřímně chtělo vaše blaho .

Krátkodobé hrozby jsou již zde

Hinton pečlivě rozlišuje mezi dvěma druhy rizik. Existenční riziko ze samotné technologie je dlouhodobou hrozbou. Stejně tak ho ale znepokojuje to, co se děje již nyní: dezinformace generované AI, falešná videa, masový dohled a zneužívání syntetických médií zlými aktéry . To nejsou hypotézy. Jsou součástí současné reality a budou jen zesilovat, jak se základní modely zlepšují.

Druhým bezprostředním problémem jsou ekonomické otřesy. Hinton řekl, že na rozdíl od minulých technologických změn je AI na dobré cestě nahrazovat pracovní místa bez vytváření ekvivalentních nových. Předpověděl, že na softwarové projekty bude potřeba jen velmi málo lidí a že role v call centrech se již nyní vytlačují . Sociální a politická nestabilita, která by mohla následovat, se podle něj ze strany politiků nebere dostatečně vážně .

Co by podle Hintona měly udělat vlády a laboratoře

Hintonova politická doporučení přímo vyplývají z jeho diagnózy. Volá po přísnější vládní regulaci firem vyvíjejících AI, významných investicích do výzkumu sladění (alignmentu), který nepředpokládá dominanci nad systémem, a po záměrném zpomalení konkurenčního závodu v nasazování AI . Varuje, že ponechat bezpečnost na trhu znamená, že bude odsunuta na vedlejší kolej, kdykoli se dostane do konfliktu se čtvrtletními zisky.

Problém je v tom, že pobídky, které popisuje, jsou silné a samoposilující se. Dokud první firma, která dosáhne superinteligence, získá obrovskou ekonomickou a vojenskou výhodu, tlak na zrychlování bude přetrvávat. Hintonův návrh "mateřského instinktu" je zčásti pokusem o nové definování samotného cíle – učinit měřítkem úspěchu benevolenci, nikoli jen hrubou schopnost.

Geoffrey Hinton netvrdí, že katastrofa je jistá. Tvrdí, že pravděpodobnost je nepřijatelně vysoká, že náš současný herní plán je chybný a že okno pro korekci kurzu se měří na roky, ne na desetiletí.