Výzkumníci bezpečnosti AI vyhořívají. Nejde jen o tempo práce, ale o odpovědnost bez kontroly

Bezpečnost pokročilé AI vytváří mimořádný druh pracovního tlaku. Někteří lidé, kteří mají modely testovat před uvedením do praxe, se obávají vážných škod — a přitom nemusí mít pravomoc vydání odložit nebo vynutit nápravu.

Podle zveřejněných informací několik pracovníků britského AI Safety Institute (AISI), instituce hodnotící pokročilé modely AI, nastoupilo na zdravotní volno nebo vyhledalo psychologickou pomoc. Jako související okolnosti se uvádějí napjaté harmonogramy testů, nízká morálka a obavy z rychlého nasazování technologií. Neznamená to, že podobný stres prožívají všichni lidé v AISI ani napříč firmami Anthropic, OpenAI a Google DeepMind. Je to však varování, jakou lidskou cenu může mít technologický závod s vysokými sázkami. 2

Když odpovědnost převyšuje pravomoc

Výzkumníci bezpečnosti nehodnotí vzdálenou hypotézu. Prověřují systémy, které mohou organizace brzy zpřístupnit uživatelům nebo nasadit v praxi. A právě zde vzniká zásadní rozpor: objevit zranitelnost není totéž jako mít možnost zastavit uvedení produktu na trh.

Zprávy o AISI se soustředí na zkrácená okna pro vyhodnocování dosud nevydaných systémů a na obavu, že komerční nasazování i růst schopností modelů nabírají příliš rychlé tempo. 2 K vyhoření pak může přispívat pocit osobní odpovědnosti za rizika, která jeden hodnotitel sám nedokáže vyřešit.

Nejde o důkaz, že by jednotliví pracovníci reagovali přehnaně, ani o potvrzení jisté katastrofy. Jde spíše o institucionální problém: možné následky chyby jsou vnímány jako závažné, práce probíhá pod silným časovým tlakem a pravidla pro nezávislý zásah nejsou dostatečně jasná.

Čeho se bezpečnostní týmy obávají

Obavy se týkají jak zneužití v dohledné době, tak spekulativnějších scénářů dlouhodobé ztráty kontroly.

Kybernetické a biologické zneužití

Výkonný model by mohl snížit potřebnou odbornost, čas nebo náklady na škodlivou činnost. Bývalý výzkumník Anthropic Jacob Coxon, který dříve pracoval také v OpenAI, označil za možné cesty k závažné újmě biologické hrozby podporované AI a kybernetické zbraně. 15

To není tvrzení, že konkrétní model už takovou událost způsobil. Je to důvod, proč bezpečnostní týmy zdůrazňují testování, řízení přístupu a monitorování ještě před širokým nasazením systémů s pokročilejším uvažováním nebo schopností samostatně vykonávat více kroků.

Vývoj rychlejší než dohled

Další obava se týká toho, že AI začne automatizovat stále větší část výzkumu a vývoje — a tím urychlí samotný cyklus technologického pokroku. Zpráva Georgetownského centra CSET upozorňuje, že vysoce automatizovaný výzkum a vývoj AI by mohl urychlit růst schopností modelů a současně ztížit lidem jejich pochopení a kontrolu. Jde o možný rizikový scénář, nikoli o prokázaný výsledek. 48

Dnešní důkazy mají zároveň jasné limity. Jedna novější studie zjistila, že agenti dokázali bez lidské pomoci zvládnout podstatnou část výzkumně-inženýrské práce, ale nepodařilo se jim významně postoupit v řešení testovaných otevřených výzkumných otázek. 49 Úplné rekurzivní sebezdokonalování tedy potvrzené není. Obava se týká směru a rychlosti: i částečná automatizace může zkrátit čas, který zbývá na testování, pravidla a opravy.

Proč rezonovala rezignace Jacoba Coxona

Coxonova veřejná rezignace dala podobným obavám konkrétní lidský rozměr. Po práci na předtrénování modelů v OpenAI a Anthropic uvedl, že firmy podle něj závodí směrem k sebezdokonalující se superinteligenci, aniž by postupovaly odpovědně. BBC také řekl, že lidé pracující na této technologii jsou její rychlostí a možnými důsledky „opravdu vyděšení“. 1

Odchod jednoho zaměstnance samozřejmě nepotvrzuje každou jeho předpověď. Zviditelňuje ale dilema, které může být uvnitř laboratoří jen těžko řešitelné: zda má větší smysl zůstat a pokoušet se zlepšit pojistky zevnitř, nebo odejít a veřejně upozornit na problém, pokud interní mechanismy selhávají.

Proč jedna laboratoř závod sama nezpomalí

Jádrem problému je kolektivní jednání. Laboratoř, která by sama omezila vývoj schopností, se může obávat ztráty pozice vůči konkurentům. Zaměstnanci uvnitř ní by pak měli ještě menší vliv na závod, který probíhá napříč celým odvětvím.

Diskuse Stanford HAI o tom, zda lze AI zpomalit, dospěla k závěru, že plošné zpomalení vývoje schopností by se prosazovalo obtížně. Panelisté přesto zdůraznili nezávislá hodnocení prováděná státem nebo kvalifikovanými třetími stranami a silnější investice do bezpečnosti, zabezpečení a monitorování. 18

To je konkrétnější než přenášet celé břemeno na svědomí jednotlivých výzkumníků. Klíčové otázky zní: kdo testy provádí, co se stane po překročení rizikové hranice a kdo může ověřit, že se pravidla skutečně dodržují?

Jsou výzvy průmyslu ke zpomalení upřímné?

Dario Amodei z Anthropic, Sam Altman z OpenAI a Demis Hassabis z Google DeepMind veřejně podpořili — v různé míře — zpomalení či „udávání tempa“ vývoje nejpokročilejší AI. 32 Ve veřejné debatě se objevily i návrhy, aby nezávislí hodnotitelé získali průběžný přístup srovnatelný s přístupem zaměstnanců k předním AI laboratořím. 36

Veřejný závazek ale není totéž co vymahatelné omezení. Kritici upozorňují, že zmrazení vývoje AI navržené dominantními firmami by mohlo upevnit jejich postavení a znevýhodnit menší konkurenty. 34 Obě věci mohou platit současně: část lídrů může rizika považovat za skutečná a zavedené společnosti mohou zároveň těžit z pravidel, která noví hráči splní jen obtížně.

Užitečnější než odhadovat motivy je proto zkoumat, zda jsou závazky ověřitelné. Vážně míněná bezpečnostní politika by měla zahrnovat:

• nezávislá hodnocení, která neřídí pouze vývojář modelu;
• jasně vymezené rizikové prahy a důsledky jejich překročení;
• transparentní hlášení incidentů a postupy kybernetického zabezpečení;
• skutečný externí dohled;
• ochranu zaměstnanců, kteří upozorní na bezpečnostní rizika.

Co tyto zprávy ukazují — a co ne

Tyto informace neprokazují, že hrozí bezprostřední vyhynutí lidstva, že jsou ve stresu všichni zaměstnanci předních AI laboratoří ani že současné systémy dokážou bez omezení samy zlepšovat vlastní schopnosti.

Ukazují však, proč někteří lidé blízko této technologie vnímají současnou situaci jako eticky mimořádně obtížnou: výkonné systémy se testují pod časovým tlakem, obávané škody zahrnují kybernetické i biologické zneužití a také ztrátu kontroly, zatímco instituce dohlížející na vydávání modelů nemusí mít dostatečnou nezávislost či pravomoci. 2 15 18

Pro výzkumníky bezpečnosti AI se tak technická práce může změnit v otázku osobní odpovědnosti. Dlouhodobé řešení ale není nechat tuto odpovědnost na jednotlivcích. Je jím vybudovat důvěryhodný a nezávisle ověřitelný systém testování a odpovědnosti, který dokáže držet krok s technologiemi, jež má regulovat.