Shane Legg varuje: schopnosti AI nesmějí předběhnout bezpečnostní pojistky

Shane Legg, spoluzakladatel Google DeepMind, formuloval jednoduché varování: výkon umělé inteligence se nesmí rozvíjet rychleji než bezpečnostní mechanismy, které umožňují stále silnější systémy sledovat a udržet pod kontrolou. Uvedl to při spuštění DeepMind Institute (DMI), nové platformy zaměřené na nasazování a důsledky obecné umělé inteligence neboli AGI. 141

Nejde jen o to, co AI dokáže

Leggova obava nespočívá pouze v růstu schopností modelů. Podstatné je, zda s nimi drží krok dohled, monitoring, pravidla správy a nástroje kontroly. Jinak by se mohlo stát, že systémy budou nasazovány dříve, než je lidé a instituce dokážou spolehlivě řídit. 1

Právě proto se záběr institutu neomezuje na technický výzkum. DMI chce podpořit mezioborový výzkum, spolupráci a diskusi nad klíčovými technickými i společenskými otázkami éry AGI — včetně bezpečné výstavby a správy systémů AGI i komunit agentů, které mohou vytvářet. 16

DeepMind Institute: platforma pro debatu, nikoli nová laboratoř

DeepMind Institute je publikační a diskusní platforma, nikoli náhrada hlavního výzkumu Google DeepMind. Má spojovat odborníky z Google DeepMind i širší výzkumné komunity při debatě o tom, jak stále schopnější AI vytvářet, spravovat, nasazovat a používat. 3642

Témata zahrnují vědu, vzdělávání, společnost, veřejnou politiku, filozofii, ekonomii, bezpečnost a lidský rozkvět. Vedle omezování vážných rizik se tedy řeší i otázka, které instituce, politiky a společenské cíle by se při širokém nasazení AGI mohly změnit. 1636

Zpomalení vydávání nejpokročilejších modelů?

Legg označil návrh šéfa Anthropicu Daria Amodeieho zpomalit, nikoli zastavit, uvádění špičkových modelů AI za směr, který je „zajímavý“, a za možnost „hodnou zvážení“. 2

Nejde o oznámení nové politiky DeepMind. Je to ale signál, že Legg považuje opatrnější tempo nasazování za legitimní součást debaty o tom, zda ochranná opatření odpovídají rychlosti technologického vývoje. 2

AGI podle Legga zatím dosaženo nebylo

Legg uvedl, že je předčasné prohlašovat AGI za dosaženou, a to i přes nedávná tvrzení představitelů Nvidie a OpenAI. Dostupné zprávy nepopisují podrobně všechny konkrétní mezery ve schopnostech, které měl na mysli. Spolehlivě lze tedy říci především to, že současné systémy podle něj zatím nesplňují práh AGI používaný DeepMindem. 4

Google DeepMind popisuje AGI jako systém s kognitivními schopnostmi lidského mozku. To je výrazně širší měřítko než vynikající výkon v jednotlivých úlohách či na vybraných benchmarcích. 13

Přesto Legg zůstává „v pohodě“ se svou dlouhodobou prognózou: pravděpodobnost dosažení „minimální“ AGI do roku 2028 odhaduje na 50 %. Jde o předpověď, ne o potvrzený harmonogram. 210

Čemu se věnují první eseje

Úvodní kolekce obsahuje zahajovací text a několik tematických esejů. Tři hlavní okruhy ukazují, že institut nechce bezpečnost posuzovat izolovaně:

1. Transparentnost uvažování — Rohin Shah a Anca Dragan argumentují pro zachování interpretovatelného uvažování, které by lidem umožnilo sledovat, zda model neklame nebo neplánuje nežádoucí jednání. 11
2. Hospodářská politika pro AGI — esej hodnotí 11 možných opatření pro zvládání ekonomických otřesů, jež by mohla přinést stále pokročilejší a rozšířenější AI. Posuzuje je mimo jiné podle dopadu na blahobyt, odolnost, možnost rozhodovat o vlastním ekonomickém životě a stabilitu ekonomiky. 39
3. Principy nového utopismu — text zkoumá, co by v společnosti formované AGI mohl znamenat lidský rozkvět, zároveň ale varuje před představou, že „utopie“ slibuje dokonalost. 37

Institut vedle úvodního textu a těchto tří esejů uvádí také práci „A framework for frontier AI and the dawning of a new age“. 4138

Hlavní vzkaz

Leggův postoj kombinuje naléhavost se zdrženlivostí. AGI nepovažuje za hotovou věc, ale současně jí do roku 2028 přisuzuje nezanedbatelnou padesátiprocentní pravděpodobnost. Jeho klíčové sdělení proto nestojí na jednom termínu: pokud budou schopnosti AI zrychlovat, musí stejným tempem postupovat i schopnost společností těmto systémům rozumět, dohlížet na ně a určovat pravidla jejich nasazení. 1216