Odhad 10 % od Evana Hubingera: proč znovu rozvířil spor o bezpečnost AI

Evan Hubinger svým veřejným vyjádřením nedokázal, že umělá inteligence lidstvo vyhubí. Udělal ale něco konkrétnějšího – a pro debatu o bezpečnosti AI mimořádně významného. Vedoucí výzkumu alignmentu ve společnosti Anthropic uvedl, že on osobně přisuzuje možnosti, že AI během příštích deseti let zabije všechny lidi, pravděpodobnost vyšší než 10 %. Současně připustil, že Anthropic zatím nemá plán, jak vyřešit alignment superinteligence, ani jasně prokázanou cestu k takovému řešení. 12

Právě tato kombinace dává konkrétní oporu obavám, které při svém odchodu popsal Jacob Coxon, dřívější výzkumník Anthropic i OpenAI. Podle jeho kritiky laboratoře na špičce oboru postupují k mnohem schopnějším systémům, ačkoli metody, které by je dokázaly spolehlivě udržet v souladu s lidskými záměry, nejsou ověřené. 23

Jde o osobní prognózu, ne o závěr firmy

Číslo „více než 10 %“ je Hubingerův vlastní odhad. Nebyl předložen jako oficiální pravděpodobnost Anthropic, jako shoda zaměstnanců firmy ani jako ustálená vědecká předpověď. 12

To je zásadní rozlišení. Samotný pravděpodobnostní odhad nevysvětluje mechanismus, neurčuje přesný časový průběh ani nedokazuje, že katastrofa je pravděpodobná. Hubinger navíc podle dostupných zpráv uvedl, že riziko spojené s dnes existujícími modely považuje za nízké. Jeho obava míří k budoucím systémům s podstatně vyššími schopnostmi – mimo jiné k možnosti rekurzivního sebezdokonalování, tedy využívání AI k tvorbě ještě schopnější AI. 210

Výrok je přesto mimořádný kvůli tomu, kdo jej pronesl. Hubinger vede práci na alignmentu v jedné z předních laboratoří. Nejdůležitějším sdělením proto není jen dramatické číslo, ale mezera mezi rychlým zvyšováním schopností modelů a jistotou, že by superinteligentní systémy šlo udržet pod lidskou kontrolou. 12

Proč to posílilo Coxonovo varování

Coxon, který pracoval v OpenAI i Anthropic, z Anthropic odešel s tvrzením, že ani jedna ze společností nejedná odpovědně a že obě míří k sebezdokonalující se superinteligenci. Hubinger veřejně souhlasil s Coxonovým základním bodem: lidé, kteří takové systémy vyvíjejí, vážně považují scénáře na úrovni vyhynutí lidstva za možné. 23

To samozřejmě nedokazuje, že stejný názor sdílejí všichni zaměstnanci, ani z Coxonovy výpovědi nedělá nezávisle ověřené hodnocení obou firem. Ztěžuje to však možnost jeho rezignaci odbýt jako izolovanou stížnost bývalého zaměstnance. Současný vedoucí alignmentu potvrdil podstatnou věc: hluboké interní obavy mohou existovat současně s pokračujícím vývojem na samé hranici možností AI. 12

Stejně opatrně je potřeba číst i související vyjádření Samuela Markse. Podle zpráv uvedl, že vývojáři AI věří, že jejich technologie může způsobit vyhynutí lidstva nebo podobně závažné následky. Jde ale o pohled člověka z oboru, nikoli o zveřejněný celofiremní odhad rizika. 5

Jádrem sporu je řízení rizika v podmínkách nejistoty

Celá epizoda se často zjednodušuje na střet „katastrofistů“ a optimistů. Užitečnější je praktičtější otázka: jaké pojistky mají být povinné, pokud jsou možné škody globální a nevratné, ale jejich pravděpodobnost i časový horizont zůstávají velmi nejisté?

Hubingerova slova zvýrazňují několik problémů:

• Alignment není vyřešen. To, že laboratoř na problému intenzivně pracuje, není totéž jako prokázat ověřenou metodu řízení systémů podstatně schopnějších než dnešní modely. 1
• Konkurence komplikuje dobrovolné zpomalení. Coxonova kritika mířila na tlak soupeření, který laboratoře vede k dalšímu zvyšování schopností, i když zásadní bezpečnostní otázky zůstávají otevřené. 23
• Bezpečnost dnešních modelů není celý problém. Hubinger oddělil nízké vnímané riziko současných systémů od obav z budoucích, výrazně silnějších modelů. 210
• Důležitá je nezávislá kontrola. Veřejnost, zákazníci i vlády mohou interní bezpečnostní postupy firmy jen obtížně posoudit bez nezávislého hodnocení a transparentního zveřejňování výsledků.

Nejde o důkaz bezprostředně hrozící katastrofy. Jsou to však otázky správy a kontroly, které se řeší mnohem hůře ve chvíli, kdy systémy už získají nebezpečné schopnosti.

Transparentnost je pod dalším tlakem

Zprávy také uváděly, že Anthropic před vydáním nejnovějšího modelu odmítl poskytnout model k testování britskému AI Safety Institute. Tuto informaci je nutné brát s rezervou: dostupné popisy ji označují za mediální zprávu, nikoli za veřejně potvrzené zjištění Anthropic nebo britské vlády. 10

Přesto ilustruje, proč jsou dobrovolné bezpečnostní závazky přijímány skepticky. Jestliže vlastní bezpečnostní vedoucí firmy přiznávají nevyřešené problémy alignmentu, je namístě se ptát, jaké testy se uskutečnily, kdo je posuzoval, jaké výsledky byly sdíleny a při jakých schopnostech modelu se mají aktivovat přísnější kontroly.

Co může znamenat „zpomalit“ vývoj

Výzva ke zpomalení nemusí znamenat trvalé zastavení veškerého výzkumu a nasazování AI. Smyslem politické debaty je spíše nastavit vymahatelné kontroly dříve, než systémy překročí zvlášť významné prahy schopností.

Mezi možné kroky patří:

• nezávislé hodnocení schopností a bezpečnosti před nasazením;
• povinnost hlásit závažné incidenty a významně nebezpečné schopnosti;
• jasnější prahy, od nichž musí vývojáři zavést silnější bezpečnostní a správní opatření;
• audity, které nestojí jen na ujištění samotného vývojáře; a
• mezinárodní koordinace, aby jednotlivé firmy či státy nebyly nuceny slevovat z bezpečnosti jen proto, aby nezaostaly za konkurencí.

Logika je přímočará: je-li pravděpodobnost nejistá, ale možná škoda extrémní, pojistky by měly být prokazatelné před ztrátou kontroly, ne až po ní.

Co Hubingerův výrok skutečně odhalil

Hubingerův příspěvek ukázal napětí v samotném středu vývoje špičkové AI: přední vývojáři mohou veřejně uznávat závažná dlouhodobá rizika a zároveň pokračovat ve vývoji schopností, které tyto obavy činí naléhavějšími. 12

Jeho výrok neurčuje pravděpodobnost katastrofální škody způsobené AI a neměl by být vydáván za oficiální předpověď Anthropic. Debatu o alignmentu ale činí konkrétnější. Nejde už jen o to, zda se pokročilá AI může stát nebezpečnou. Jde o to, zda firmy a vlády dokážou nezávislými důkazy, vymahatelnými pravidly a mezinárodní koordinací prokázat, že jsou připraveny dřív, než budou dané systémy příliš mocné na bezpečné řízení. 110