Co se skutečně ví o chystaném orgánu pro bezpečnost nejvýkonnější AI

Dostupné veřejné informace ukazují, že se Anthropic, OpenAI a Google DeepMind sbližují alespoň v jedné zásadní věci: nejvýkonnější modely AI by před zveřejněním neměly procházet jen interní kontrolou svého vývojáře. Zprávy ale nedokládají, že by firmy už založily společný regulátor — ani že se dohodly na závazných testech, rozsahu auditů, hranicích pro vydání modelu či sankcích za nedodržení pravidel. 811

To je podstatný rozdíl. Shoda na potřebě hodnocení ještě nevytváří instituci, která by dokázala pravidla vynucovat.

Návrh jednoduše: kontrola ještě před vydáním

Podle médií vedou firmy od července 2026 pracovní jednání o průmyslem vedeném standardizačním orgánu pro tzv. frontier AI, tedy nejpokročilejší modely na technologické špičce. Smyslem má být společný způsob posuzování nebezpečných schopností před veřejným nasazením — zejména rizik v kybernetických útocích, biologickém zneužití, klamání a dalších scénářích s vysokým dopadem. 811

Nejkonkrétnější institucionální model veřejně popsal šéf Google DeepMind Demis Hassabis. Navrhuje americky vedený orgán pro standardy frontier AI, inspirovaný organizací FINRA, samoregulační institucí finančního sektoru v USA. Orgán by financovalo odvětví, ale podléhal by federálnímu dohledu a testoval by modely před vydáním. Zpočátku by laboratoře modely předkládaly dobrovolně; povinnost by mohla přijít až poté, co se ověřovací postup osvědčí. 9

Veřejně dostupné informace ovšem zatím neukazují shodu na detailech, bez nichž by systém nemohl fungovat dlouhodobě:

• které modely by musely projít kontrolou;
• jaké technické testy by byly povinné;
• jak široký přístup by dostali externí hodnotitelé;
• jaké výsledky by vydání modelu zastavily, odložily nebo podmínily;
• kdo by orgán financoval a řídil;
• jak by se zajistila nezávislost hodnotitelů na firmách, které posuzují;
• jaký dohled státu a právní záruky by platily.

Označovat tuto iniciativu za fungující společný regulátor by proto bylo předčasné.

Na čem se firmy zřejmě shodují

Nejsilnější společný bod je nezávislé testování před vydáním. Axios v červenci uvedl, že Dario Amodei, Sam Altman a Demis Hassabis obecně podporují externí prověření frontier modelů dříve, než se dostanou k veřejnosti, namísto převažujícího spoléhání na sebehodnocení firem. 8

Je to důležité, protože bezpečnost pokročilých modelů nezávisí jen na tom, zda vývojáři provádějí vlastní testy. Záleží také na tom, zda mohou nezávislé strany závěry ověřit nebo zpochybnit. Důvěryhodný systém by potřeboval jasně definované testy, spolehlivý přístup k systémům a předem dané důsledky pro případ, že model překročí rizikovou hranici.

Všechny tři firmy navíc popisují problém jako mezinárodní. Jednostranná omezení v USA by byla politicky složitá, pokud by konkurenti v zahraničí nemuseli dodržovat srovnatelné limity. Hassabisův plán je výslovně vedený USA, zatímco Amodei upozorňuje, že samotná národní opatření nemohou řídit systémy, které lze nasadit globálně. 91

Rozdíl je v tom, kdo bude mít moc

Společná bezpečnostní rétorika zakrývá zásadní spor: má jít hlavně o dobrovolný oborový rámec, o systém podpořený státem, nebo o regulátora se skutečnými pravomocemi?

DeepMind navrhuje model financovaný odvětvím, ale pod federálním dohledem. Počítá s úvodní dobrovolnou fází a s možností, že se posudek později stane podmínkou nasazení. 9

Amodei klade důraz na nezávislé hodnotitele přímo uvnitř laboratoří vyvíjejících frontier AI. Zároveň vyzývá firmy v demokratických zemích, aby koordinovaly standardy s podporou vlád tam, kde to bude nutné. 12

Zprávy o pracovních jednáních popisují OpenAI jako firmu otevřenou průmyslovému řešení, které nečeká na vytvoření kompletního vládního rámce. Sam Altman také veřejně podpořil nezávislé hodnotitele s přístupem podobným zaměstnancům po zveřejnění Amodeiho eseje. 11

Tyto rozdíly nejsou jen slovní. Dobrovolná dohoda může vzniknout rychle a sjednotit technickou praxi. Bez nezávislého řízení a veřejné autority však nemusí umět vynutit přístup k modelům, rozhodovat spory, bránit střetu zájmů ani zabránit firmě ve vydání modelu, který bezpečnostní kontrolou neprojde.

Frontier Model Forum není důkazem nového regulátora

Průmyslová iniciativa Frontier Model Forum už existuje a sdružuje velké AI společnosti. Mezi její deklarované cíle patří výzkum bezpečnosti, vývoj hodnocení a osvědčených postupů i sdílení informací s politiky a oborem.

Může tedy sloužit jako prostor pro koordinaci. Sama o sobě ale nedokazuje, že vznikl nový nezávislý orgán, ani že jsou případné audity mezi firmami závazné. Klíčová otázka zní, zda firmy vytvoří instituci, která bude jen připravovat doporučení — nebo takovou, jež dokáže modely nezávisle posoudit a stanovit skutečné podmínky jejich vydání.

Proč Amodeiho esej změnila veřejnou debatu

Dne 12. září zveřejnil šéf Anthropicu Dario Amodei zhruba 3 800 slov dlouhou esej We Must Pace the Frontier („Musíme zpomalit tempo na hranici možností“). Tvrdí v ní, že růst schopností AI by měl zpomalit, aby bezpečnostní postupy dostaly šanci držet krok. 52

Amodei varoval, že během šesti až dvanácti měsíců by se mohl objevit schopnější roj automatizovaných AI agentů, který by potenciálně dokázal ovládnout internet. Jde o prognózu a varování před rizikem, nikoli o prokázaný technický výsledek. 513

Jeho návrh má tři části:

1. Začlenit nezávislé hodnotitele přímo do laboratoří frontier AI a dát jim přístup podobný zaměstnancům, aby mohli systémy testovat, hledat selhání bezpečnosti a ověřovat dodržování pravidel. 12
2. Koordinovat společné bezpečnostní standardy a limity mezi AI firmami v demokratických zemích, s podporou vlád tam, kde bude potřeba. 216
3. Usilovat o širší mezinárodní koordinaci, včetně autoritářských vlád, protože vyspělé modely i rizika s nimi spojená lze nasazovat po celém světě. 115

Anthropic uvedl, že externím hodnotitelům poskytne trvalý přístup na úrovni zaměstnanců. Je to silnější závazek než jednorázový externí test. Jeho praktická důvěryhodnost ale bude záviset na tom, kdo hodnotitele vybírá, co všechno mohou kontrolovat, zda smějí zveřejňovat zjištění a co se stane, pokud označí riziko za nepřijatelné. 122

Zkouška odpovědnosti

Hlavní námitka kritiků je jednoduchá: firmy, které soutěží o vývoj nejschopnějších systémů, by zároveň mohly psát, spravovat i vykládat pravidla pro tyto systémy.

Bezpečnostní orgán by působil věrohodněji, pokud by měl nezávislé technické vedení, transparentní metody hodnocení, ochranu před vlivem firem, smysluplný státní dohled a jasnou pravomoc reagovat na neúspěšné posouzení. Bez těchto prvků mohou společné standardy praxi zlepšit, ale stále nemusí znamenat nezávislou odpovědnost.

Proč skepse přetrvává, ilustruje letní AI Safety Index organizace Future of Life Institute z roku 2026. Anthropic v něm získal C+, OpenAI C a Google DeepMind C; žádná hodnocená laboratoř nedostala lepší známku než C+. 17

Americký senátor Bernie Sanders označil zpomalení za nedostatečné a vyzval k přerušení vývoje pokročilé AI i k zákazu umělé superinteligence. Je to výrazně přísnější postoj než návrhy samotných laboratoří, ale dobře ukazuje rozdíl mezi dobrovolným zpomalením a vynutitelnými limity.

Co sledovat dál

Skutečným signálem posunu nebude další prohlášení o principech, ale konkrétní institucionální závazky:

• zveřejněná zakládací a řídicí pravidla;
• jmenovaní nezávislí hodnotitelé;
• standardizované testy schopností a možností zneužití;
• pravidla pro přístup při auditu a zveřejňování výsledků;
• hranice pro vydání modelu a požadavky na nápravu;
• jednoznačná odpověď, zda může bezpečnostní zjištění vydání odložit nebo zcela zabránit nasazení.

Zatím lze vyvodit užší závěr: největší laboratoře frontier AI diskutují o společné bezpečnostní infrastruktuře a stále více podporují externí testování. Zda z těchto debat vznikne nezávislý a vymahatelný standardizační orgán, nebo jen dobrovolné průmyslové fórum, zůstává otevřené. 8911