Sam Altman varuje před dvěma riziky AI: ztrátou kontroly a koncentrací moci

Sam Altman, šéf OpenAI, popsal dvě rozdílné cesty, jimiž by se vývoj výkonné umělé inteligence mohl zvrtnout. V první by lidé ztratili kontrolu nad stále schopnějšími systémy. Ve druhé by se kontrola nad mimořádně výkonnou AI soustředila do rukou malého počtu aktérů. Jeho varování staví vedle sebe technickou bezpečnost i politickou správu technologie: bezpečná AI není jen otázkou toho, co modely umějí, ale také toho, kdo je řídí. 1316

Dvě hrozby, kterým je podle Altmana nutné předejít

Za prvé: ztráta lidské kontroly. Altman varoval před možností, že lidstvo „ztratí kontrolu nad budoucností ve prospěch AI“. Takový výsledek označil za nepřijatelný. Podle něj musí AI sloužit lidem, nikoli vytvářet stav, kdy jsou lidé odkázáni na systémy, nad nimiž nedokážou vykonávat dostatečný dohled. 216

Za druhé: koncentrace moci. Druhé riziko představuje svět, v němž mimořádně silný systém AI ovládá jeden člověk, firma nebo stát a používá jej k vnucování vlastního pohledu ostatním. Altman uvedl, že takový výsledek by mohl být „extrémně dystopický“. 113

Tyto problémy spolu souvisejí, ale nejsou totožné. První se týká toho, zda lidé dokážou silné systémy pochopit, omezit a v případě potřeby převzít jejich řízení. Druhý se týká situace, kdy systém sice technicky ovladatelný je, ale nasazuje ho aktér s příliš velkou mocí bez účinné veřejné kontroly.

Jaká opatření Altman prosazuje

Altman nevolá jednoduše po zastavení vývoje AI. Tvrdí však, že schopnosti modelů nesmějí předběhnout jejich slaďování s lidskými cíli a průběžné monitorování. Konkurenční tlak podle něj nemůže být výmluvou pro nezodpovědné nasazování systémů. 213

Za důležitá považuje zejména tato opatření:

• Slaďování a monitoring, které drží krok s růstem schopností. Vývojáři musí být schopni smysluplně vyhodnocovat a řídit chování stále výkonnějších modelů. 213
• AI ve službě lidem. Jde o základní princip, který Altman spojuje s varováním před ztrátou kontroly. 216
• Jednotné federální požadavky pro špičkovou AI. Altman uvítal federální rámec pro řízení rizik nejpokročilejších systémů místo roztříštěných dobrovolných závazků. V americkém kontextu „federální“ znamená pravidla platná celostátně. 1316
• Nezávislou kontrolu. Jako jednu z cest k posílení důvěry veřejnosti zmínil nezávislé auditory, kteří by prověřovali firmy vyvíjející stále schopnější modely. 16

Praktický důsledek je zřejmý: pro nejvýkonnější systémy by měl platit vyšší standard důkazů. Bezpečnostní opatření mají být ověřená a věrohodná ještě před rozhodnutím o nasazení, nikoli doplňovaná až poté, co schopnosti modelu pokročí.

Varování z Anthropic debatu vyostřilo

Ve stejném týdnu bývalý výzkumník společnosti Anthropic Jacob Coxon varoval, že přední laboratoře závodí směrem k AI schopné vlastního zlepšování a „hazardují s našimi životy“. Podle zpráv o jeho rezignaci se domnívá, že výzkumníci, kteří tyto systémy stavějí, vážně zvažují možnost, že se stanou příliš silnými na lidskou kontrolu. 17

Jeho vyjádření je ostřejší než Altmanova formulace, ale základní obava je podobná: schopnosti systémů mohou růst rychleji než schopnost je spolehlivě dohlížet. Ve veřejné výměně názorů, o níž se psalo v médiích, uvedl vedoucí výzkumu slaďování v Anthropicu Evan Hubinger svůj osobní odhad vyšší než 10% pravděpodobnosti, že AI během příštích deseti let způsobí vyhynutí lidstva. Zároveň připustil, že úplné řešení problému slaďování superinteligence zatím neexistuje. Jde o individuální odhad rizika, nikoli o potvrzenou prognózu ani vědecký konsenzus. 17

Podstatné není tvrdit, že konkrétní časový horizont vyhynutí byl prokázán — nebyl. Důležité je, že lidé přímo zapojení do vývoje špičkové AI veřejně vedou spor, zda dosavadní bezpečnostní postupy postupují dostatečně rychle vzhledem k vyvíjeným systémům.

Skutečný spor v oboru: schopnosti napřed, nebo bezpečnost napřed?

Debata se často zjednodušuje na střet zastánců zrychlování a zpomalování AI. To ale nevystihuje celý obraz. Většina účastníků připouští, že AI může přinést výrazné přínosy. Spor se vede hlavně o načasování a vymahatelnost pravidel.

Jeden tábor tvrdí, že vývoj nejpokročilejších systémů má být dávkován tak, aby bezpečnostní výzkum, testování, správa technologie i reakce na zneužití dostaly čas dozrát. Generální ředitel Anthropicu Dario Amodei vyzval ke zpomalení tempa růstu schopností modelů a navrhl opatření včetně nezávislých hodnotitelů s průběžným přístupem uvnitř firem, koordinace mezi předními laboratořemi a mezinárodní spolupráce.

Protichůdný tlak je ovšem reálný: firmy i vlády se obávají, že pomalejší postup než u konkurentů může znamenat ztrátu hospodářské nebo geopolitické výhody. Altman ale argumentuje, že soutěž nemůže ospravedlnit stav, kdy schopnosti modelů předbíhají jejich slaďování a monitorování. 13

Reuters uvedl, že podle některých výzkumníků přicházejí nové schopnosti modelů rychleji, než očekávali, zatímco lidský přehled o fungování systémů — a potenciální kontrola nad nimi — se zmenšují. Tím se vyostřuje klíčová politická otázka: mají laboratoře dál nasazovat stále autonomnější modely, zatímco ochranné mechanismy je budou dohánět, nebo musejí nejprve přesvědčivě doložit, že jejich záruky jsou dostatečné?

Co z toho plyne pro správu AI

Altmanova dvě varování ukazují, že pravidla pro špičkovou AI musí řešit jak technickou kontrolu, tak rozdělení moci. Lepší hodnocení modelů, výzkum slaďování, monitoring a nezávislý dohled míří na první problém. Jednotná pravidla, transparentnost a omezení jednostranné kontroly míří na druhý.

Katastrofické scénáře ani přesné časové odhady nelze považovat za ustálená fakta. Právě možná závažnost selhání však vysvětluje, proč se požadavky na důkladnější testování, vnější kontrolu a bezpečnostní standardy přesunuly z okraje debaty do jejího středu. 13