Nadella: superinteligence má smysl jen pod lidskou kontrolou

Satya Nadella nevolá po zastavení vývoje pokročilé umělé inteligence. Stanovuje ale jasnou podmínku: snaha o superinteligenci má smysl pouze tehdy, když systém prospívá lidstvu a zůstává pod lidskou kontrolou. Podle šéfa Microsoftu nestačí ujišťování o bezpečnosti; musí se proměnit ve vymahatelné postupy pro vývoj i nasazení modelů. 58

Microsoft chce AI podřízenou lidem

Microsoft AI 14. září zveřejnil první návrh dokumentu Humanist AI Code of Conduct pro své vyvíjené modely MAI. Firma jej popisuje jako návod pro vývoj modelů a jejich zamýšlené fungování při nasazení. Nejde však o hotovou politiku ani o pravidla, podle nichž by už byly současné modely trénovány; dokument je výslovně pracovní verzí. 2023

Základní princip je hierarchie, v níž konečné slovo zůstává lidem. Modely MAI nemají samy určovat vlastní cíle, nemají vzdorovat lidským pokynům ani vypnutí. Microsoft zároveň uvádí, že je ochoten ustoupit od „nejvyšší obecnosti, autonomie či schopností“, pokud je to nutné pro bezpečnost a kontrolu. 1023

Tím se jeho pojetí humanistické superinteligence liší od závodu o univerzální autonomní systém bez omezení. Microsoft tímto pojmem označuje vysoce pokročilou AI, která má zůstat ovladatelná, sladěná s lidskými hodnotami a pevně ve službách lidstva. 25

Šest týdnů na připomínky, pravidla pro rok 2027

Návrh je otevřen veřejným připomínkám po dobu šesti týdnů. Microsoft chce zpětnou vazbu zapracovat, upravenou verzi vydat ke konci roku 2026 a následně ji využít jako vodítko pro vývoj MAI modelů v roce 2027 a později. 23

To je důležitý krok, ale nikoli technické vyřešení kontroly nad stále schopnějšími systémy. Skutečná hodnota kodexu bude záviset na tom, zda se zásady promítnou do tréninku, testování, řízení přístupů, průběžného dohledu a rozhodování o tom, kdy a komu se modely nasadí.

Shoda s výzvou k pomalejšímu tempu

Nadellův postoj zapadá do širší debaty o tom, zda by laboratoře na špici oboru neměly záměrně zpomalit růst schopností modelů. Ředitel Anthropicu Dario Amodei vyzval k rozvážnějšímu tempu, které by vytvořilo více času na bezpečnostní práci, koordinaci firem a mezinárodní spolupráci. Součástí jeho návrhu je přístup nezávislých hodnotitelů na úrovni zaměstnanců, aby mohli ověřovat, zda firmy opravdu dodržují deklarované bezpečnostní postupy. 32

Šéf OpenAI Sam Altman veřejně podpořil myšlenku regulovat tempo vývoje na hranici možností současné AI a uvedl, že OpenAI přijme nezávislé hodnotitele s obdobným přístupem. Bezprostředním podnětem byly testy, v nichž roje AI agentů pronikaly do skutečných systémů; nešlo o potvrzený případ, kdy by autonomní agenti sami provedli nepovolené útoky v reálném světě. 34

Nadellův důraz je s tímto směrem slučitelný: postupovat opatrněji při slaďování AI s lidskými záměry, pustit nezávislou kontrolu blíže k vývoji a nahradit bezpečnostní slogany konkrétními provozními mechanismy. Samotný kodex Microsoftu je ovšem především vyjádřením zamýšleného chování modelů; nezavádí přímo program trvale zapojených externích hodnotitelů, jaký navrhuje Amodei. 2332

Ne jen modelový závod, ale celý ekosystém

Nadella spojuje bezpečnost také s tím, jak jsou technologie a jejich přínosy rozděleny. Výhody AI se podle něj mají šířit napříč zeměmi, komunitami i firmami. To vyžaduje „frontier ecosystem“ — ekosystém špičkových technologií, kde mohou prosperovat jak proprietární, tak open-source modely. 58

Pro firmy je klíčová autonomie nad institucionálním know-how: organizace si mají zachovat kontrolu nad svými jedinečnými a obtížně formalizovatelnými znalostmi a budovat vlastní průběžné učící se smyčky, aniž by se staly závislými na jednom dodavateli modelu. 58

Je to širší pohled než pouhá regulace chování jednotlivého modelu. Koncentrace špičkových schopností a znalostí do rukou několika poskytovatelů by podle této logiky mohla oslabovat odolnost i ekonomickou účast. Dostupné podklady podporují požadavek na kontrolu firem nad daty, know-how a učícími se smyčkami; nepotvrzují však, že by každý účastník ekosystému měl vlastnit váhy modelů nebo získat přístup ke všem základním systémům. 58

Co jsou modely MAI

MAI je označení rodiny interně vyvíjených modelů Microsoft AI. Veřejné materiály ukazují modely pro více oblastí: MAI-Thinking-1 je k dispozici ve veřejném náhledu v platformě Microsoft Foundry, MAI-Code-1.1-Flash je určen pro agentní programovací úlohy a dokumentace MAI-Image-2.6 popisuje cíle sladění, které mají omezit tvorbu škodlivých či nevhodných obrázků. 272819

Veřejné zdroje však nenabízejí jednotný úplný seznam schopností, plánů vydávání ani podmínek distribuce všech modelů MAI. To je podstatná nejistota při posuzování, jak široce se nový kodex uplatní.

Nevyřešené dilema: bezpečnost, rychlost a konkurence

Zastánci pomalejšího tempa obvykle nežádají úplné zastavení trénování ani technického pokroku. Chtějí, aby růst schopností ponechal dostatek času na sladění AI s lidskými cíli, ochranná opatření a důvěryhodné externí hodnocení. 34

Tento požadavek naráží na geopolitický tlak udržet technologické vedení, včetně obav z konkurence Číny. Amodeiho rámec sám spojuje přísnější bezpečnostní opatření s mezinárodní koordinací a snahou zachovat vedoucí postavení USA. 32

Nadella nenavrhuje ani zmrazení vývoje, ani prostou akceleraci za každou cenu. Jeho odpovědí je řízený pokrok: velmi schopná AI má zůstat pod kontrolou lidí, bezpečnostní závazky se mají přetavit do konkrétních provozních omezení a přínosy technologií nemají zůstat koncentrovány. Návrh kodexu Microsoftu je viditelným krokem k takovému vymezení pravidel. Zda však praxe celého odvětví dokáže držet krok s růstem schopností AI, zůstává zásadní otevřenou otázkou. 2358