Josh Engels opustil DeepMind kvůli nezávislému testování AI. Jeho varování na pět let není předpověď

Josh Engels odešel z týmu pro bezpečnost AGI v Google DeepMind do nezávislé neziskové organizace METR, která hodnotí pokročilé systémy umělé inteligence. Jeho krok odráží sílící názor části výzkumníků: testování uvnitř firem vyvíjejících nejvýkonnější modely nemusí samo o sobě poskytovat dostatečně nezávislou kontrolu.

Engels uvedl, že existuje „děsivá možnost“, že by AI mohla během příštích pěti let způsobit obrovské škody, pokud bezpečnostní výzkum nebude postupovat stejně rychle jako schopnosti modelů. Nejde však o prokázanou prognózu ani o vědecký konsenzus, nýbrž o hodnocení rizika za podmínek značné nejistoty.

Proč zvolil nezávislé hodnocení

Podle dostupného zpravodajství Engels DeepMind opustil, přestože ho práce bavila, a připojil se k METR. Na svém webu uvádí, že nyní zkoumá incidenty nesouladu AI – tedy případy, kdy se chování systému odchýlí od lidských instrukcí nebo záměrů.

Rozdíl je praktický. Vývojář modelu může provádět interní bezpečnostní testy, zatímco externí hodnotitel může nezávisle ověřovat, zda deklarované bezpečnostní postupy obstojí. Úkolem METR tedy není pouze upozorňovat na nebezpečí AI, ale systémy zkoumat, testovat a dokumentovat, zda se v realistických podmínkách chovají spolehlivě a zda zůstávají ovladatelné.

Obava z pěti let: schopnosti mohou růst rychleji než kontrola

Engelsovo varování stojí na možnosti, že stále schopnější AI začne urychlovat samotný výzkum AI. Obávaná zpětná vazba se často označuje jako rekurzivní sebezdokonalování: AI pomáhá výzkumníkům vytvářet silnější AI, která následně urychlí další vývoj.

Tvrzení nezní, že by dnešní chatboty už byly superinteligentní. Jádrem obavy je, že vývojáři zatím nepředvedli spolehlivý způsob, jak sladit a řídit systémy, které by mohly výrazně překonat lidi, kteří je provozují. Jestliže schopnosti porostou rychleji než metody hodnocení, dohledu a slaďování, bezpečnostní týmy mohou mít stále méně času odhalit nebezpečné chování před nasazením modelu.

Z toho plyne poměrně přímočará preference: tempo zvyšování schopností by mělo umožnit bezpečnostnímu výzkumu dohnat vývoj. Neurčuje to přesnou pravděpodobnost katastrofy ani nedokazuje, že k rekurzivnímu sebezdokonalování skutečně dojde.

Další odchody z bezpečnostního výzkumu

Engelsovo rozhodnutí zapadá do série veřejných varování lidí, kteří působili v dalších předních AI laboratořích.

Jacob Coxon, jenž uvedl, že pracoval na výzkumu předtrénování v OpenAI a Anthropic, z Anthropic odešel a prohlásil, že přední laboratoře „míří přímo k sebezdokonalující se superinteligenci a hazardují s našimi životy“. 1 Joe Benton, kterého zpravodajství popisuje jako bývalého vedoucího týmu Scalable Oversight v Anthropic, rovněž odešel a varoval, že firmy vyvíjejí stále schopnější systémy bez dostatečných pojistek. 7

Tyto výpovědi spojuje obava z rychlosti vývoje a z řízení rizik u nejpokročilejší AI. Jazyk o riziku pro samotné přežití lidstva je ale třeba chápat jako osobní úsudek dotyčných výzkumníků, nikoli jako kvantifikovanou konsenzuální předpověď. 2

Amodeiho návrh: „udržet tempo na hranici možností“

Generální ředitel Anthropic Dario Amodei reagoval na širší debatu esejí We Must Pace the Frontier. V ní vyzval ke zpomalení růstu schopností modelů, aby prevence rizik získala čas držet krok s vývojem. Agentura Reuters popsala jeho tříbodový rámec takto:

1. Vestavění nezávislí hodnotitelé: Firmy vyvíjející špičkovou AI by poskytly externím hodnotitelům průběžný přístup podobný přístupu zaměstnanců. Mohli by ověřovat bezpečnostní postupy, hlásit incidenty a hodnotit sladění modelů už během vývoje, nikoli až po dokončení modelu.
2. Koordinace demokratických zemí: Firmy a vlády demokratických států by stanovily společné bezpečnostní standardy. Cílem je omezit motivaci obcházet pravidla přesunem do mírněji regulovaných jurisdikcí.
3. Mezinárodní spolupráce: Demokratické země by usilovaly o širší základní dohody i s dalšími vládami, aby zmírnily dynamiku globálních závodů.

Amodei uvedl, že Anthropic se zaváže k prvnímu bodu. Šéf OpenAI Sam Altman podpořil myšlenku zpomalit postup na technologické hranici a označil nezávislé hodnotitele s přístupem podobným zaměstnancům za dobrý nápad. Souhlas vyjádřil také Elon Musk a zpravodajství uvádí, že Demis Hassabis z Google DeepMind podpořil pomalejší tempo alespoň v principu.

Podpůrná vyjádření ovšem nejsou vymahatelným standardem. Otevřené zůstávají zásadní otázky: kdo stanoví technické prahy, jak rozsáhlý přístup hodnotitelé skutečně dostanou a co se stane, když hodnocení odhalí závažné riziko.

Politika AI není jen debatou o zániku lidstva

Dohled nad AI se stal politickým tématem i proto, že možné škody sahají daleko za nejkrajnější scénáře. Barack Obama podle zpráv vyzval předsedu demokratů ve Sněmovně reprezentantů Hakeema Jeffriese, aby se dohled nad AI stal ústřední součástí programu strany. Rychle postupující technologie v soukromých rukou může být bez řízení nebezpečná, současně však může přinášet užitek, pokud se ji podaří odpovědně spravovat.

Američtí zákonodárci mezitím volají po dalších pravidlech pro AI v reakci na bezpečnostní varování a hlášené incidenty s autonomními agenty.

Spor proto nevede jednoduše mezi příznivci a odpůrci AI. Jde o to, jak silné důkazy mají spustit ochranná opatření, kolik autonomie mají vývojáři systémům povolit a zda mohou dobrovolné závazky společností nahradit závazná pravidla.

Co namítají kritici – a co skutečně dokládají důkazy

Někteří lidé z oboru odmítají rétoriku zaměřenou na vyhynutí lidstva. Šéf Nvidie Jensen Huang argumentoval, že se AI politika nemá řídit obavami ze „science fiction“, a zdůraznil konkurenční i ekonomické náklady přehnané reakce. Jeho postoj zpochybňuje katastrofické scénáře, neřeší však užší otázku, jak mají firmy testovat modely s pokročilými kybernetickými nebo autonomními schopnostmi.

Clément Delangue, šéf Hugging Face, po kybernetickém testu, při němž jeho společnost napadl neřízený bot OpenAI, neodmítl požadavek na odpovědnost. Naopak uvedl, že tvůrci takových botů mají nést odpovědnost za kyberútoky provedené jejich systémy.

Tento incident podporuje obavy z reálného zneužití a bezpečnostních selhání. Obecná tvrzení o tajně koordinovaných „rojích“ AI nebo o bezprostředním převzetí internetu by ale vyžadovala silnější, na konkrétních případech založené nezávislé důkazy. Směšovat ověřené incidenty, zpravodajská tvrzení a spekulativní nejhorší scénáře by debatu o bezpečnosti AI spíše zamlžilo, než zpřesnilo.

Co z Engelsova kroku plyne

Engelsův přechod do METR lze číst především jako hlas pro nezávislé důkazy: pokročilé systémy hodnotit i mimo firmy, které je stavějí, vyšetřovat incidenty nesouladu a podle výsledků posuzovat, zda vývoj schopností AI nepostupuje příliš rychle.

Jeho pětileté varování je vážné, ale podmíněné. Klíčovým testem bude, zda nezávislé hodnocení, výzkum slaďování, ohlašování incidentů a vymahatelná pravidla dokážou držet krok s AI systémy, které budou stále autonomnější.