Yoshua Bengio: Stavíme umělou inteligenci, kterou neumíme ovládat

Autonomní agenti: „Nejnebezpečnější cesta“

Zatímco Bengio vidí mnoho rizik v současném prostředí AI, svá nejostřejší varování si vyhrazuje pro plně autonomní agenty – systémy navržené k dosahování cílů s minimálním lidským zásahem. Výslovně je označil za „nejnebezpečnější cestu“, po které se v současnosti kráčí .

Jeho logika je mrazivě jednoduchá: „Všechny katastrofické scénáře s obecnou umělou inteligencí (AGI) nebo superinteligencí nastanou, pokud budeme mít agenty“ . Když dostane AI cíl a pravomoc jednat autonomně, její snaha o dosažení tohoto cíle může vést k nepředvídatelným a nezastavitelným důsledkům. Riziko ztráty kontroly není v tomto rámci chybou; je to vlastnost poskytnutí nezávislé činnosti potenciálně superinteligentnímu systému. Varuje, že by to mohlo vést ke „katastrofickým scénářům“, včetně nevratné ztráty lidské kontroly nad autonomními systémy .

Osobní zúčtování a hluboká lítost

Posun od průkopnického výzkumníka k celosvětovému hlasateli poplachu nebyl pro Bengia klinickým rozhodnutím. Byl to hluboce osobní krok. Otevřeně mluví o lítosti, kterou pociťuje. „Měl jsem to vidět mnohem dříve, ale nevěnoval jsem velkou pozornost potenciálně katastrofickým rizikům,“ přiznal .

Pro Bengia se abstraktní riziko stalo nesnesitelnou realitou díky dvěma katalyzátorům. Prvním bylo veřejné spuštění ChatGPT, které mu ukázalo, že budoucnost přichází mnohem rychleji, než očekával. Druhý byl hluboce intimní: myšlenky na svět, který zdědí jeho vnuk. „Mým zlomovým bodem bylo, když přišlo ChatGPT, a také s mým vnukem jsem si uvědomil, že není jasné, zda tu za 20 let bude mít život, protože začínáme vídat AI systémy, které se brání vypnutí,“ vysvětlil . Toto uvědomění ho proměnilo v jednoho z nejhlasitějších zastánců řešení existenčních rizik v oboru, poháněného tím, co popisuje jako „nesnesitelný pocit“ .

Požadavek nového globálního rámce pod vedením USA a Číny

Bengio je neoblomný v tom, že žádný jednotlivý národ tento problém nevyřeší sám. Výslovně argumentoval, že Kanada nemůže regulovat AI izolovaně a že mezinárodní koordinace je nesmlouvavá . Jako předseda Mezinárodní vědecké zprávy o bezpečnosti pokročilé AI – poradního panelu podporovaného 30 národy, Evropskou unií a Organizací spojených národů – pracuje na budování mostu mezi vědeckými důkazy a globální politikou .

Jeho vize vládnutí je praktická a konkrétní. Podle něj musí předpisy vyžadovat, aby firmy byly plně transparentní ohledně schopností svých AI systémů, údajů, na nichž jsou trénovány, zdrojů, které spotřebovávají, konkrétních rizik, která představují, a interních procesů, jež mají k dispozici pro řešení těchto problémů . Klíčové je, že toto úsilí přirozeně vyžaduje zapojení světových AI supervelmocí. Bez vedení USA a Číny zůstanou závazná pravidla vyžadující tyto bezpečnostní zábrany pouze aspirační. Problém se podle něj stal otázkou národní i celosvětové bezpečnosti .

Světlo na konci tunelu: Scientist AI a LawZero

Po léta se zdálo, že Bengiova varování nesou téměř beznadějnou definitivnost. To se změnilo. V červnu 2025 spustil LawZero, neziskovou výzkumnou laboratoř se sídlem v Montrealu s financováním přibližně 30 milionů dolarů od podporovatelů jako Jaan Tallinn, Eric Schmidt, Future of Life Institute a Open Philanthropy . Název je záměrným odkazem na Nultý zákon robotiky Isaaca Asimova: směrnici, která staví ochranu lidstva nade vše . Bengio působí jako její spolupředseda a vědecký ředitel .

Posláním organizace je vyvinout a dokázat technickou alternativu, kterou Bengio nazývá „Scientist AI“. Na rozdíl od dnešních, na cíle zaměřených autonomních agentů, je Scientist AI neagentní systém zaměřený čistě na porozumění, vysvětlování a ověřování . Neprovádí nezávislé akce ve světě, ale místo toho funguje jako zábrana hledající pravdu, určená k odhalování klamu, nesouladu a nebezpečných plánů v rámci jiných, více agentních AI systémů . Jeho výstup sestává z transparentního odůvodnění a odhadů pravděpodobnosti spíše než z neprůhledných příkazů .

„Místo budování AI, která napodobuje lidi, chce Bengio AI, jež se chová spíše jako nezaujatý vědec – snižuje tak rizika sebezáchovy a nekontrolované činnosti“ . Laboratoř sestavuje tým výzkumníků světové úrovně, který se věnuje upřednostňování bezpečnosti před komerčními imperativy, s cílem stavět novou generaci AI modelů od základů na principu zabudované bezpečnosti (safety-by-design), nikoli přidávat bezpečnostní opatření dodatečně .

Uvedení tohoto rámce proměnilo Bengiův výhled. Ačkoli byl dříve jedním z hlavních signatářů prohlášení, které přirovnalo riziko AI k pandemiím a jaderné válce, nyní říká, že díky tomuto technickému přístupu je poprvé „optimistický o velký kus“ . Noční můry zcela nezmizely, ale věří, že možná nalezl konkrétní základ, na němž lze postavit bezpečnější budoucnost.