Výzkumníci bezpečnosti AI čelí vyhoření i morálnímu konfliktu. Obávají se, že vývoj předbíhá kontrolu

Nejde o důkaz, že by bezprostředně hrozilo vyhynutí lidstva. Jde však o známku toho, že část lidí pracujících nejblíže špičkové AI považuje kombinaci rychle rostoucích schopností, možného zneužití a slabé vnější kontroly za psychicky i eticky neúnosnou.

Střet mezi povinností chránit a tlakem na rychlost

Bezpečnostní týmy mají hledat slabiny takzvaných frontier modelů – tedy nejvýkonnějších systémů na hranici současných možností. Problém nastává, když mají pocit, že rizika odhalují rychleji, než je organizace dokáže vyhodnotit, omezit nebo zastavit před nasazením.

Podle zpráv si několik pracovníků britského AI Safety Institute (AISI), instituce nezávisle testující pokročilé modely AI, vzalo zdravotní volno nebo vyhledalo poradenství kvůli psychické zátěži. Zdroje uváděly nízkou morálku, vyhoření a tlak vyplývající z těsných termínů testování. 15

Veřejně dostupné informace přitom neukazují, jak rozšířený je podobný stav v jednotlivých velkých firmách. Naznačují ale, že úzkost a morální konflikt se netýkají jen jedné instituce.

Čeho se výzkumníci bojí

Rizika mají dvě roviny. První je poměrně konkrétní a krátkodobá: výkonné modely mohou snížit bariéry pro kybernetické útoky nebo biologické zneužití. Druhá se týká dlouhodobějšího scénáře, v němž by stále autonomnější systémy bylo obtížné udržet pod smysluplnou lidskou kontrolou.

Jacob Coxon, který pracoval na předtrénování modelů v OpenAI i Anthropic a následně z Anthropic odešel, varoval před AI podporovanými biologickými hrozbami a kyberzbraněmi jako před možnými cestami ke katastrofě. 15 BBC řekl, že lidé ve vedoucích laboratořích jsou z rychlosti pokroku a jeho důsledků „opravdu vyděšení“. 9

Právě zde vzniká osobní rozměr problému. Bezpečnostní pracovníci nejsou vzdálenými komentátory: systémy přímo testují, trénují nebo pomáhají připravovat k nasazení. Pokud zároveň nemají jistotu, že jejich zjištění může uvedení produktu skutečně odložit, může se dostavit bezmoc, vyhoření a pocit spoluúčasti na riziku.

Proč nestačí, aby se každá firma hlídala sama

Závod mezi laboratořemi vytváří problém koordinace. Jedna společnost může mít malou motivaci zpomalit, pokud by jí mezitím konkurence utekla. Proto se v debatě stále častěji objevují požadavky na nezávislé hodnocení modelů – prováděné státem nebo kvalifikovanými třetími stranami – a na pravidla platná napříč firmami. Stanfordští odborníci upozorňují, že plošné zpomalení rozvoje schopností AI by se prosazovalo obtížně, ale nezávislé evaluace by měly být běžnou součástí celého ekosystému. 3

Stanfordský politický filozof Rob Reich se věnuje i otázce, proč zásadní rozhodnutí o vývoji hraniční vědy nelze nechat pouze na samotných výzkumnících a firmách. 1 Dostupné zdroje ale nepostačují k tomu, aby mu bylo možné připsat konkrétní detailní návrh koordinované akce zaměstnanců nad rámec této širší argumentace.

Výzvy ke zpomalení budí i nedůvěru

Dario Amodei z Anthropic, Sam Altman z OpenAI, Demis Hassabis z Google DeepMind a další technologičtí lídři v různé míře podpořili zpomalení vývoje nejpokročilejší AI. 2 To však spor neuzavřelo.

Kritici upozorňují, že „zmrazení“ nebo zpomalení navržené a fakticky kontrolované dominantními laboratořemi by mohlo posílit právě jejich postavení a znevýhodnit menší konkurenty. 11 Rozhodující proto nejsou samotné deklarace, ale ověřitelné kroky: odklady uvedení modelů, nezávislé audity, vymahatelné prahy rizika, ochrana whistleblowerů a ochota přijmout vnější omezení.

Automatizovaný výzkum zvyšuje pocit, že se čas krátí

Obava nespočívá v tom, že by AI už dnes prokazatelně dokázala sama sebe rekurzivně zlepšovat. To se zatím nestalo. 6 Systémy ale umějí automatizovat část výzkumné a inženýrské práce, což může zkrátit cykly vývoje.

Centrum CSET při Georgetownské univerzitě upozorňuje, že rozsáhlejší automatizace výzkumu a vývoje AI by mohla urychlit pokrok a současně ztížit lidem porozumění systémům i jejich kontrolu. 4 Nedávná studie zároveň ukázala střízlivější obraz současného stavu: agenti zvládli podstatnou část inženýrské práce bez lidské pomoci, ale nedokázali výrazně postoupit v otevřených vědeckých otázkách. 5

To vysvětluje, proč někteří bezpečnostní výzkumníci nemluví jen o pracovním stresu. Vnímají svou práci jako rozhodování pod tlakem: mají pomáhat odvracet rizika, zatímco technologický i obchodní závod může postupovat rychleji než kontrolní mechanismy.