Geoffrey Hinton považuje 10% riziko vyhynutí lidstva kvůli AI za možné

Geoffrey Hinton, nositel Nobelovy ceny za fyziku a jeden z průkopníků moderní AI, řekl, že 10% šance, že umělá inteligence během příštích deseti let vyhubí všechny lidi, mu nepřipadá jako nerozumný odhad. Ke svému výroku ale připojil zásadní výhradu: „nikdo ve skutečnosti neví“, jak takovou pravděpodobnost rozumně stanovit. 91012

Nejde tedy o předpověď, že k vyhynutí lidstva dojde, ani o tvrzení, že podobné nebezpečí představují dnešní chatboty. Hinton prosazuje opatrnost vzhledem k tomu, co by se mohlo stát, pokud by budoucí systémy získaly výrazně vyšší schopnosti než lidé, aniž bychom je dokázali spolehlivě řídit.

Co Hinton svým odhadem myslel

V rozhovoru pro pořad Newsnight stanice BBC Hinton souhlasil, že 10 % není nepřiměřený odhad rizika vyhynutí lidstva způsobeného AI v horizontu deseti let. Jeho argument stojí především na nejistotě: lidstvo dosud nikdy nemuselo žít vedle entit, které by mohly být inteligentnější než lidé. 910

Podobně vážné odhady Hinton uváděl i dříve, avšak pro delší časový horizont. Koncem roku 2024 hovořil o 10 až 20% šanci, že AI povede k vyhynutí lidstva během tří desetiletí. V roce 2025 tento interval označil za intuitivní úsudek, nikoli za výsledek přesného výpočtu. 1415

Podstatné je rozlišovat mezi odhadem rizika a tvrzením, že katastrofa je nevyhnutelná. Hintonův postoj je takový, že při mimořádně vysokých sázkách není nejistota důvodem k uklidnění, ale k obezřetnosti.

Proč se obává budoucí superinteligence

Nejde o filmovou představu vzpoury strojů. Hinton se obává scénáře, v němž by systém s výrazně většími strategickými a technickými schopnostmi než lidé mohl vyvolat chaos nebo sledovat cíle, které by byly v rozporu s lidskými zájmy.

Mezi uváděné cesty ke škodám patří manipulace lidí, vytváření biologických či počítačových virů, kybernetické útoky nebo narušení kritické infrastruktury. Jde o hypotetické mechanismy škod způsobených vysoce schopnými budoucími systémy, nikoli o prokázané možnosti dnešních nástrojů AI. 1011

Právě tento rozdíl je důležitý. Evan Hubinger, vedoucí výzkumu alignmentu v Anthropic, výslovně uvedl, že riziko ze současných modelů považuje za nízké. Stejně jako Hinton se ale obává systémů, které by se mohly stát mnohem schopnějšími nebo se zlepšovat rychleji, než by je výzkumníci dokázali bezpečně zvládnout. 11624

Odchod Jacoba Coxona a varování z Anthropicu

Debatu vyostřil odchod Jacoba Coxona z firmy Anthropic i z celého oboru AI. Coxon kritizoval Anthropic a OpenAI za závod o sebezdokonalující se superinteligenci, který podle něj není dostatečně odpovědný, a označil jej za hazard s lidskými životy. 317

Coxon nepředpověděl konkrétně, že lidstvo skončí do roku 2030. Jeho užší, ale stále mimořádně závažné tvrzení znělo, že lidé vyvíjející špičkovou AI skutečně věří, že by tato technologie mohla do konce desetiletí zabít všechny lidi. 57

Hubinger veřejně potvrdil, že tyto obavy bere vážně. Napsal, že osobně přisuzuje AI více než 10% pravděpodobnost, že v příštím desetiletí vyhubí lidstvo, a současně uvedl, že Anthropic se snaží jednat co nejlépe. Zásadní je, že podle něj firma zatím nemá plán, jak vyřešit alignment superinteligence, a není zřejmé, že k takovému řešení směřuje. 16

Co znamená „alignment“ AI

Alignment, česky často slaďování či zarovnání cílů, označuje problém, jak zajistit, aby pokročilé systémy AI spolehlivě jednaly v souladu se zamýšlenými lidskými cíli a zůstaly ovladatelné — včetně situací, které jejich tvůrci nepředvídali.

Pro výzkumníky zaměřené na bezpečnost nejde jen o to, zda systém odmítne škodlivý dotaz. Otázkou je, zda by systém s širokou autonomií, přístupem k nástrojům a schopnostmi přesahujícími porozumění jeho operátorů šlo bezpečně řídit i pod tlakem reálného světa.

Hubingerova slova nedokazují, že alignment je neřešitelný. Ukazují ale, že podle jeho hodnocení zatím neexistuje prokázané řešení pro bezpečné sladění superinteligentních systémů dříve, než by mohly vzniknout. 16

Shoda na opatrnosti, ne na přesném čísle

Kolem Hintonova konkrétního odhadu 10 % nepanuje odborná shoda.

Gary Marcus podpořil Hintonovu základní myšlenku, že by bylo nerozumné vyvíjet superinteligenci bez vědecké shody, že ji lze vytvořit bezpečně a ovladatelně. Zároveň se však uvádí, že Marcus nevidí realistickou krátkodobou cestu k vyhynutí lidstva. Ukazuje to klíčový rozdíl: souhlas s nutností pojistek neznamená shodu na pravděpodobnosti ani časovém plánu katastrofy. 1141

Číselné odhady je proto vhodné číst jako odborné úsudky v mimořádně nejisté oblasti, ne jako naměřená fakta.

Otázka pro veřejnost a politiky

Nejsilnější společný bod těchto varování nezní, že vyhynutí kvůli AI je jisté. Zní, že i nezanedbatelná možnost ztráty kontroly nad systémy schopnějšími než jejich operátoři vyžaduje veřejnou kontrolu dříve, než vývoj předběhne bezpečnostní práci.

Hintonův odhad, Coxonův odchod i Hubingerovo varování před nevyřešeným alignmentem ukazují k jedné neuzavřené otázce: jaké důkazy by společnost měla požadovat, než nasadí nebo bude dále škálovat systémy, které by se mohly stát strategicky nadlidsky schopnými?

Pro čtenáře je užitečné oddělit tři tvrzení, která se v debatě často směšují:

• Současné modely AI představují hrozbu vyhynutí.
• Budoucí systémy by mohly získat schopnosti, které takovou hrozbu vytvoří.
• Pravděpodobnost tohoto výsledku lze přesně vypočítat.

Dostupné zdroje podporují druhé tvrzení jako vážnou obavu vyslovovanou významnými výzkumníky. Hubinger přitom hodnotí riziko současných modelů jako nízké a Hinton říká, že samotnou pravděpodobnost nelze spolehlivě spočítat. 11016