Geoffrey Hinton: 10% riziko vyhynutí lidstva kvůli AI není „nerozumné“

Geoffrey Hinton, průkopník umělé inteligence a laureát Nobelovy ceny za fyziku z roku 2024, řekl, že 10% pravděpodobnost, že AI během příští dekády způsobí vyhynutí lidstva, mu nepřipadá nerozumná. Ke svému varování však připojil zásadní výhradu: „nikdo doopravdy neví, jak dát smysluplný odhad“. 14

To je podstatné. Hinton nepředkládal vědecky kalibrovanou prognózu. Jeho sdělení zní spíše tak, že vzhledem k rozsahu možných škod a nejistotě ohledně budoucích schopností systémů by nebylo namístě tuto možnost prostě odmávnout.

Dva druhy rizik: zneužití lidmi a ztráta kontroly

Hinton rozlišuje dvě související hrozby: zlovolné využití AI lidmi a vysoce schopné systémy, které by se jednou mohly ovládat jen obtížně.

V krátkodobém horizontu upozorňuje na prohlubování známých problémů. Ve své nobelovské přednášce zmínil rozdělující doporučovací systémy, masové sledování a phishing s pomocí AI. Varoval také, že AI by časem mohla pomáhat s vytvářením nebezpečných virů a smrtících zbraní. Vlády i mezinárodní organizace podle něj musí těmto rizikům věnovat naléhavou pozornost.

Nejde o jediný možný způsob selhání. Pokročilé systémy by mohly zvyšovat přesvědčivost a míru personalizace dezinformací, pomáhat útočníkům hledat slabiny v softwaru nebo snižovat bariéry pro biologické a kybernetické zneužití. V nejhorším scénáři, který popisují zastánci bezpečnosti AI, by systém se silnými strategickými, technickými a operačními schopnostmi mohl získat přístup ke zdrojům či kritické infrastruktuře a vzdorovat pokusům lidí ho omezit. 5

Proč je klíčový problém „alignmentu“

Technickým jádrem debaty je alignment, tedy sladění cílů AI s lidskými záměry. Otázkou je, zda systém mnohem schopnější než člověk dokáže spolehlivě sledovat cíle, které mu lidé skutečně určili, zda jej půjde opravovat a držet v účinných hranicích.

Bývalý výzkumník společností Anthropic a OpenAI Jacob Coxon odešel z Anthropicu s tvrzením, že přední laboratoře „závodí přímo k sebezdokonalující se superinteligenci“ a „hazardují s našimi životy“. 18 Jeho obava spočívá v tom, že systémy by mohly zlepšovat vlastní schopnosti rychleji, než se budou zlepšovat metody jejich zabezpečení.

Evan Hubinger, který vede výzkum alignmentu v Anthropicu, toto hlavní varování veřejně podpořil. Uvedl, že osobně považuje za více než 10% pravděpodobné, že AI může v příštích deseti letech vyhubit lidstvo. Zároveň řekl, že Anthropic zatím nemá plán, jak vyřešit alignment superinteligence, a není zjevné, že by k takovému řešení směřoval. 16

Jejich argument neříká, že dnešní modely stojí samy o sobě na prahu vyhubení lidstva. Hubinger označil riziko současných modelů za nízké. Obávají se budoucího zlomu: modely by se mohly stát dostatečně schopnými, aby se samy zdokonalovaly nebo účinně jednaly ve světě dříve, než je vývojáři dokážou spolehlivě řídit. 116

Proč skeptici odmítají scénář blízkého vyhynutí

Další výzkumníci nezpochybňují, že AI může zhoršit kyberkriminalitu, šíření dezinformací či biologické zneužití. Nesouhlasí však se skokem od vážných škod k vyhynutí lidstva.

Gary Marcus říká, že AI může přispět ke kyberútokům, biologickým hrozbám, dezinformacím i eskalaci konfliktů. Nevidí ale realistickou cestu, která by v dohledné době vedla doslova k „zabití všech lidí“. 15 Podle něj je nutné řešit konkrétní rizika, aniž by se předpokládalo, že současné velké jazykové modely jsou na přímé cestě k neovladatelné superinteligenci.

Yann LeCun rovněž zpochybnil vysoce sebejisté odhady takzvaného „p(doom)“, tedy pravděpodobnosti katastrofického konce lidstva kvůli AI. Jeho postoj byl popsán jako názor, že toto riziko je výrazně nižší než riziko jaderné katastrofy — a že podobné odhady jsou ze své povahy spekulativní.

Praktický spor tedy nestojí mezi „znepokojenými“ a „klidnými“ odborníky. Týká se dvou dosud nevyřešených otázek:

1. Časový vývoj schopností: Jak brzy — pokud vůbec — vzniknou systémy, které budou ve většině oblastí nadlidské a budou schopné zlepšovat vlastní výkon?
2. Kontrola: Pokud k tomu dojde, dokážou vývojáři vytvořit systémy, které zůstanou spolehlivě ovladatelné? Nebo ochranné mechanismy selžou pod tlakem schopnějších modelů a konkurenčního nasazování?

Co nám 10% odhad říká — a co ne

Neexistuje ověřená metoda, která by umožňovala přesně spočítat pravděpodobnost, že AI způsobí vyhynutí lidstva. Odhady jako Hintonův či Hubingerův jsou úsudky při mimořádně hluboké nejistotě, nikoli pravděpodobnosti odvozené z opakovatelných historických dat. 14

Číslo 10 % proto nelze číst jako důkaz, že vyhynutí je pravděpodobné. Zároveň absence spolehlivého čísla nedokazuje, že riziko je zanedbatelné. Střízlivější závěr je užší: odborníci se výrazně rozcházejí v odhadu pravděpodobnosti i mechanismu, ale mnozí se shodují, že výkonná AI může přinést vážné bezpečnostní a správní výzvy dávno před hypotetickým scénářem vyhynutí.

Proč se mluví o regulaci ještě před nasazením

Hinton vyzval k naléhavé pozornosti vlád a mezinárodních organizací vůči rizikům AI. Coxon podobně tvrdí, že pro snížení nebezpečí je zásadní regulace.

Debata se proto soustředí na ochranná opatření, která lze vztáhnout ke konkrétním schopnostem a nasazením: důkladné hodnocení špičkových modelů, silnější kybernetické zabezpečení, ochranu před biologickým zneužitím, hlášení závažných incidentů a nezávislou kontrolu před tím, než systémy získají větší autonomii či přístup k citlivým nástrojům.

Spor o 10% odhad nejspíš jen tak neskončí. Hintonova pointa ale není, že kdokoli umí šance s jistotou vypočítat. Jde o to, že sázky jsou mimořádně vysoké a nejistota příliš velká na to, aby čekání na absolutní jistotu bylo jediným měřítkem pro preventivní postup. 14