Jak vybudovat globální pravidla bezpečnosti AI, která půjde ověřit

Když firma oznámí, že její systém umělé inteligence prošel bezpečnostním testem, kdo může výsledek zkontrolovat? A kdo může zasáhnout, pokud se systém po nasazení změní nebo selže? Právě na těchto otázkách by měla stát případná globální pravidla pro bezpečnost AI. Nestačí společný seznam zásad ani ujištění samotných vývojářů: požadavky musí být nezávisle ověřitelné a vymahatelné.

Singapurská ministryně pro digitální rozvoj a informace Josephine Teo přirovnala potřebné pojistky k civilnímu letectví. To se stalo běžně používanou technologií díky několika vrstvám ochrany; podle Teo je třeba budovat obdobná bezpečnostní opatření souběžně s rozšiřováním AI. 36

Co si vzít z letectví — a co ne

Mezinárodní pravidla pro letectví nevznikla jediným rozhodnutím. Před Pařížskou úmluvou z roku 1919 fungovaly vnitrostátní zákony a dvoustranné dohody. Chicagská úmluva z roku 1944 pak vytvořila nový rámec a v roce 1947 začala fungovat Mezinárodní organizace pro civilní letectví, známá jako ICAO. 313935 Pro AI z toho neplyne potřeba opsat letecké předpisy. Plyne z toho možnost začít dílčími dohodami a postupně je zpřesňovat.

Mezinárodní instituce by mohla sjednocovat minimální standardy, stanovovat podmínky pro nezávislé hodnotitele a porovnávat údaje o incidentech. Pravomoc kontrolovat provoz, požadovat nápravu, omezit nasazení či uložit sankci by však zůstala národním úřadům. Mezinárodní osvědčení nesmí nahrazovat domácí dohled.

Posouzení navíc nemůže končit spuštěním systému. Mělo by se vztahovat ke konkrétní verzi AI a konkrétnímu způsobu použití. Po nasazení by následovalo sledování provozu, nové posouzení při podstatných změnách a připravený postup pro návrat k předchozí verzi či ukončení provozu.

Jak proměnit bezpečnostní tvrzení v důkazy

Samotný odznak „otestováno“ nebo veřejné skóre v testu nestačí. Akreditovaný hodnotitel by potřeboval bezpečný přístup k příslušnému modelu, jeho nastavení při nasazení, dokumentaci a záznamům o významných selháních. Použité metody a závěry musí být popsány tak, aby je jiný kvalifikovaný hodnotitel mohl zpochybnit. Současně je nutné chránit osobní údaje, obchodní tajemství a citlivé bezpečnostní informace.

U vysoce rizikového systému by vývojář předložil podložené zdůvodnění bezpečnosti: co systém smí dělat, jak byl testován, které pojistky se osvědčily, jaká rizika zbývají a jak se budou řešit incidenty. Pokud důkazy nestačí, regulátor musí mít možnost požadovat nápravu nebo nasazení omezit. Cílem není slíbit, že AI nikdy nikomu neublíží, ale doložit splnění jasně určených požadavků.

Důležitá je i nezávislost financování. Velcí vývojáři by mohli přispívat do společného fondu nebo platit poplatky spravované regulátorem, místo aby si hodnotitele sami vybírali a přímo řídili. Nezávislé vyšetřování závažných selhání i situací, kdy k nim téměř došlo, by mělo pomáhat předcházet opakování. Ochrana oznamovatelů přitom nesmí znamenat beztrestnost za zatajování či úmyslné porušování pravidel.

Singapur jako možné místo pro testování, nikoli automatický garant důvěry

Singapur už rozvíjí nástroje pro testování AI; mezi uváděné základy patří AI Verify a tamní institut pro bezpečnost AI. 13 Mohl by hostit společná hodnocení nebo důvěrnou technickou výměnu v síti akreditovaných pracovišť.

To, že by se testovalo v Singapuru, by však samo o sobě nezaručilo důvěru Spojených států a Číny. Tu by musela podpořit transparentní správa, pravidla bezpečného přístupu, možnost nezávislého přezkumu a skutečná účast obou zemí. Síť více pracovišť by navíc zabránila závislosti na jediném centru.

Začít tam, kde se zájmy mohou překrývat

Shoda na zpomalení vývoje AI zatím chybí. Podle agentury Reuters Dario Amodei, Sam Altman a Elon Musk vyzývali ke koordinovanému zpomalení, zatímco Mark Zuckerberg upřednostňoval ochranná opatření utvářená trhem a Jensen Huang odmítal potřebu nové regulace. 4748 Čína výzvy ke zpomalení odmítla. Donald Trump před summitem s čínským prezidentem Si Ťin-pchingem 24. září uvedl, že posun v bezpečnostních pojistkách pro AI nečeká; zpravodajství o setkání také tlumilo očekávání zásadního průlomu. 585049

Státy ale nemusí nejprve vyřešit spor o tempo vývoje, aby se dohodly na omezení konkrétních hrozeb. Američtí a čínští bezpečnostní experti podle dostupného zpravodajství navrhují hranice pro zásahy AI do jaderných systémů, zachování lidské kontroly nad závažnými kybernetickými útoky a přímou komunikační linku pro incidenty s autonomní AI. 20 Na takových návrzích lze stavět pravidla pro naléhavé kontakty, oznamování incidentů a vzájemné technické konzultace. USA a Čína jsou pro takovou spolupráci důležité, ale na tvorbě standardů i přístupu k testovací kapacitě se musí podílet také další země.

Kontrola zbrojení nabízí princip úzkých, vzájemných a ověřitelných závazků. Finanční dohled zase připomíná, že nejnáročnější povinnosti mají dopadat tam, kde může mít selhání největší následky. Vysoce rizikoví vývojáři a provozovatelé by tak mohli podléhat nezávislému hodnocení, povinnému hlášení vážných selhání, úniků dat, průniků do systémů či krádeží modelů a požadavkům na plán obnovy. Menší firmy s nízkorizikovými službami by mohly využívat společnou testovací infrastrukturu a jednodušší dokumentaci; malá velikost firmy ale nesmí být výjimkou pro nebezpečný systém.

Mezinárodní smlouva a stálá instituce do roku 2030 mohou být politickým cílem, nikoli spolehlivou předpovědí. Bližším měřítkem pokroku bude, zda se státy shodnou na definicích incidentů, nezávislosti hodnotitelů a vzájemných pojistkách — a zda jejich úřady dokážou jednat, když předložené důkazy neobstojí.