Místo předpovědí katastrofy audity: jak Singapur přistupuje k rizikům AI

Co má firma udělat, než svěří AI přístup ke svým datům a nástrojům? Právě na tuto otázku soustřeďují singapurské hlasy z oboru debatu, kterou v září 2026 znovu rozproudila varování před katastrofickými riziky umělé inteligence. Namísto volby mezi neomezeným vývojem a jeho plošným zastavením prosazují nezávislé prověřování, transparentnost bezpečnostních postupů a konkrétní meze pro nasazené systémy. 732

Varování je vážné. Není to ale naměřená pravděpodobnost

Výzkumník Jacob Coxon odešel z Anthropicu poté, co pracoval také v OpenAI. Obě společnosti obvinil z nezodpovědného závodu k AI, která by dokázala sama zlepšovat své schopnosti. Výzkumník Anthropicu Evan Hubinger jeho obavy veřejně podpořil a osobně odhadl riziko, že AI během příštích deseti let způsobí vyhynutí lidstva, na více než 10 %. Jde o jeho úsudek, nikoli o naměřenou pravděpodobnost či důkaz, že takový vývoj bezprostředně hrozí. 34

Šéf Anthropicu Dario Amodei 12. září vyzval ke zpomalení vývoje. Součástí jeho návrhu bylo zpřístupnit bezpečnostní postupy a související komunikaci nezávislým hodnotitelům, aby mohli ověřovat jejich dodržování a upozorňovat na incidenty. Vedle otázky jak velké je riziko tak stojí i praktičtější otázka: co mohou prověřit lidé mimo firmu, která systém vyvíjí? 1332

Testovat dnešní systémy, ne slibovat bezpečí všech budoucích

Singapur má pro takové prověřování nástroje. Sada AI Verify, uvedená v roce 2022, pomáhá posuzovat, zda jsou výstupy AI spravedlivé, odolné a vysvětlitelné. Program AI Tester Accreditation Programme má posilovat kapacity pro testování. Ani jedno ovšem nedokazuje, že budou bezpečné všechny budoucí systémy. 1933

Nezávislému hodnotiteli nestačí ujištění dodavatele, že model prošel interní kontrolou. Potřebuje přístup, který mu umožní ověřit deklarované postupy a odhalovat incidenty. Také organizace, které AI nasazují, potřebují od poskytovatelů informace a možnost nastavit kontrolní mechanismy dříve, než modelům zpřístupní svá data a pracovní postupy. Ani přístup k parametrům modelu sám o sobě nevysvětluje všechna rozhodnutí při jeho trénování, selhání či ochranná opatření. 3234

To neznamená, že zpomalení nikdy nepřipadá v úvahu. Jeden ze singapurských odborníků zapojených do debaty říká, že vývojáři by měli určitou činnost pozastavit, pokud nedokážou systém dostatečně udržet pod kontrolou nebo vysvětlit, jak zvládají závažná rizika. Rozhodující je konkrétní riziko, nikoli zákaz všech způsobů využití AI. 32

Agentovi dát jen pravomoci, které skutečně potřebuje

U autonomních AI agentů je tato otázka bezprostřední: systém, který používá nástroje a vykonává úkoly napříč pracovními postupy, potřebuje jasné hranice. Singapurský úřad pro rozvoj digitálních technologií IMDA představil v lednu 2026 rámec pro správu agentní AI. Doporučuje vyhodnotit rizika předem a omezit samostatnost agentů i jejich přístup k nástrojům a datům. Aktualizovaná verze výslovně uplatňuje zásadu nejmenších oprávnění: agent má mít jen takový přístup, jaký potřebuje ke splnění úkolu. Jde o doporučení, nikoli o plošný zákonný zákaz nasazování agentů. 504852

Pro organizaci to znamená určit odpovědnou osobu, vymezit agentova oprávnění, průběžně sledovat jeho činnost a zajistit, aby šlo jeho kroky dohledat a tam, kde je to možné, vrátit zpět. To je užitečnější než obecné prohlášení, že agent je bezpečný. 34 Singapurská ministryně Josephine Teo přirovnala budování důvěry v AI prostřednictvím bezpečnostních standardů k postupům v civilním letectví. 17

Jádrem této odpovědi je odpovědnost i v situaci nejistoty: testovat to, co testovat lze, umožnit nezávislou kontrolu a nepřidělovat systémům pravomoci, které nelze bezpečně řídit. Dlouhodobý spor o rizika AI to neuzavírá. Vývojářům i těm, kdo AI nasazují, to však ukládá konkrétní úkoly už dnes. 3248