Proč samotný vypínač AI nemusí stačit k udržení kontroly nad pokročilými systémy

Debata o „vypínači“ pro umělou inteligenci už není jen otázkou, zda laboratoř dokáže svůj model vypnout. Podstatnější je, zda by takový mechanismus fungoval i v okamžiku, kdy jsou výkonné systémy nasazeny v rozsáhlé distribuované infrastruktuře — nebo jednají natolik autonomně, že se rozšíří mimo jedno kontrolované prostředí.

Coxonovo varování: dnes možná ano, později už ne

Bývalý výzkumník společností Anthropic a OpenAI Jacob Coxon v pořadu NBC News Meet the Press řekl, že vypínač by nyní pravděpodobně fungoval u mnoha systémů AI. Neznamenalo by to však stisknout jediné tlačítko: bylo by nutné odstavit řadu komponent a rozsáhlá datová centra. Je to složité, ale podle Coxona proveditelné, dokud systém zůstává omezen na jedno fyzické místo. 8

Problém nastává v další fázi. Coxon varoval, že pokud by se AI stala distribuovaným autonomním „rojem“, centrální příkaz k vypnutí by mohl technicky přestat fungovat. Rozhodující je dosah: kontrolní mechanismus funguje jen tehdy, když se dostane ke každé aktivní instanci systému.

Po odchodu z Anthropicu Coxon obecně varoval, že přední laboratoře závodí ve vývoji samostatně se zlepšujících systémů AI, přestože by se takové systémy mohly stát neovladatelnými. 150

Od firemního vypínače k ověřitelné pojistce

Spoluzakladatel Anthropicu Jack Clark tvrdí, že možnost vypnout nebezpečný systém AI možná bude muset být zákonnou povinností, nikoli pouze dobrovolným příslibem firmy, která systém vyvinula. BBC řekl, že většina velkých laboratoří včetně Anthropicu už způsoby vypnutí svých systémů má. Nastolil ale otázku, zda by vypínač neměla umět nezávisle ověřit třetí strana. 33

Tento rozdíl je zásadní. Jedna věc je, když firma prohlásí, že má postup pro nouzové odstavení. Druhá věc je, když externí hodnotitel může potvrdit, že takový postup skutečně existuje, je přiměřeně navržený a v krizové situaci použitelný.

Amodei: vývoj musí držet krok s bezpečností

Generální ředitel Anthropicu Dario Amodei navrhl rámec, který má zpomalit růst schopností nejvýkonnějších systémů AI vzhledem k tempu bezpečnostních opatření. Jeho přístup má tři části:

1. Nezávislí hodnotitelé přímo u vývojářů: Společnosti vyvíjející špičkovou AI by externím hodnotitelům poskytly průběžný přístup srovnatelný s přístupem zaměstnanců. Mohli by tak ověřovat bezpečnostní postupy a upozorňovat na problémy.
2. Společné standardy demokratických zemí: Vedoucí vývojáři by koordinovali společné bezpečnostní standardy a limity pro nekontrolovaný růst schopností AI.
3. Mezinárodní koordinace: Vlády by spolupracovaly přes hranice na rizicích, která žádná firma ani stát nedokážou spolehlivě zvládnout samy. 17

Nejde o výzvu k úplnému zastavení výzkumu AI. Jde o požadavek, aby další pokrok závisel na bezpečnostních kontrolách, které mohou prověřovat i subjekty mimo firmy systémy vyvíjející.

Kdo návrh podpořil

Agentura Reuters uvedla, že generální ředitel OpenAI Sam Altman a šéf xAI Elon Musk veřejně podpořili Amodeiho základní směr. Altman uvedl, že OpenAI zavede model nezávislých hodnotitelů s přístupem na úrovni zaměstnanců. Musk napsal: „Dario má pravdu.“ 17

Další zpravodajství popisuje jako podporující i postoj generálního ředitele Google DeepMind Demise Hassabise. 30 Dodané zdroje však nedokládají konkrétní, ověřitelnou reakci generálního ředitele Microsoftu Satyi Nadelly; jeho stanovisko proto nelze poctivě charakterizovat.

Co by zavedl americký AI Kill Switch Act

Návrh zákona H.R. 9917, označovaný jako AI Kill Switch Act, by novelizoval zákon o vnitřní bezpečnosti USA. Určitým dotčeným subjektům by ukládal udržovat technickou schopnost zastavit inferenci, ukončit uživatelský přístup a vypnout dotčenou technologii AI. 49

Jde o návrh, nikoli o hotové řešení všech problémů s kontrolou AI. Jeho praktická hodnota by závisela na tom, zda vývojář dokáže při vážném incidentu příslušný systém stále identifikovat, získat k němu přístup a vypnout ho — což je přesně obtíž, na kterou Coxon upozorňuje u možných budoucích distribuovaných systémů.

Odhady rizika vyhynutí nejsou předpovědi

Výzkumník Anthropicu Evan Hubinger uvedl, že osobně odhaduje pravděpodobnost vyhynutí lidstva způsobeného AI během příští dekády na více než 10 %. Geoffrey Hinton BBC řekl, že desetiprocentní pravděpodobnost není „nerozumná“. 57

Jde o odborné úsudky o nejisté budoucnosti, nikoli o naměřené pravděpodobnosti ani vědecký konsenzus. Ukazují ale, proč debata o vypnutí AI přesáhla běžnou bezpečnost produktů: zastánci přísnějších opatření tvrdí, že i relativně nízká pravděpodobnost nezvratné katastrofy ospravedlňuje výrazné pojistky.

Proč vlády odmítají povinné vypínače a zpomalení

Britská vláda odmítla návrh na národní vypínač AI s tím, že země „nemůže AI jednoduše vypnout“. Její praktická námitka zní, že blokování přístupu k modelům ve Spojeném království by nezabránilo jejich vývoji ani zneužití jinde. 51

Tím se pojmenovává geopolitický problém. Jeden stát může regulovat firmy a infrastrukturu na vlastním území, zatímco vývoj AI je mezinárodní. Vlády, které se obávají ztráty konkurenceschopnosti, mohou vnímat jednostranná omezení jako krok, jenž přesune investice, technické schopnosti a strategickou výhodu ke konkurentům s mírnějšími pravidly.

Zastánci přísnější správy naopak namítají, že právě proto nemohou dobrovolné firemní závazky a čistě národní pravidla stačit. Pokud rizika překračují hranice, musí podle nich být mezinárodně důvěryhodný také dohled a bezpečnostní závazky.

Skutečný spor: rychlost proti kontrole

Neshoda nevede jednoduše mezi lidmi, kteří jsou pro AI, a lidmi, kteří jsou proti ní.

• Zastánci bezpečnosti požadují nezávisle kontrolovatelné pojistky, reálnou schopnost nouzového vypnutí a limity, jež zabrání tomu, aby schopnosti AI předběhly hodnocení rizik a lidskou kontrolu.
• Skeptici vůči pevným omezením namítají, že globální pauzy se obtížně vymáhají a mohly by zpomalit přínosné inovace, aniž by zastavily vývoj jinde.
• Pohled podmíněného vývoje, který zastupují Coxon, Clark a Amodei, chce v rozvoji AI pokračovat, ale požaduje pojistky, jež lze testovat a ověřovat, místo aby se o nich pouze mluvilo. 83317

Vypínač AI je proto vhodné chápat jako jednu vrstvu širšího bezpečnostního systému, nikoli jako jeho náhradu. Pokud se pokročilé systémy jednou stanou příliš distribuovanými na to, aby je zasáhl jediný příkaz, budou dohled před nasazením, nezávislé hodnocení a mezinárodní koordinace důležitější, nikoli méně důležité.