AI pro 150 000 úředníků: Singapur buduje registr agentů a pevné mantinely

Singapur volí při zavádění AI do státní správy systémový přístup: chce rozšířit přístup k nástrojům umělé inteligence, ale zároveň kolem agentů, nástrojů a dat vytvořit vymahatelná pravidla. Platforma GovTechu nazvaná AI Assistant Desk a připravovaný registr AI agentů mají zajistit, aby bylo používání AI ve státní správě dohledatelné a odpovědné i ve chvíli, kdy se rozšíří mezi přibližně 150 000 veřejných zaměstnanců.

Projekt se stále vyvíjí a probíhá jeho pilotní testování s vybranými úředníky. Širší nasazení je plánováno na později v roce 2026. Nejde tedy jen o další chatbot, ale o společnou provozní a kontrolní vrstvu pro používání AI napříč státní správou.

Registr má dát AI agentům vlastníka i dohledatelnou stopu

Registr má zaznamenávat, kdo za konkrétního AI agenta odpovídá, co smí dělat a jak je v praxi používán. Úřady tak budou moci automatizovaný systém přiřadit ke konkrétnímu odpovědnému vlastníkovi a jeho činnost v čase kontrolovat.

To je důležité proto, že AI agent nemusí pouze generovat text. Podle svých oprávnění a napojení může rozhodovat, volat další nástroje nebo provádět úkoly rychlostí, kterou člověk jen obtížně sleduje. Registr proto není jen seznam softwaru, ale také inventář a mechanismus odpovědnosti za „digitální pracovníky“.

GovTech popisuje AI Assistant Desk jako zabezpečené prostředí digitálních asistentů pro pracovníky veřejné správy. Mezi očekávané případy použití patří tvorba reportů, správa kalendářů, programování, rešerše a další rutinní činnosti.

Mantinely mají určovat technická pravidla, ne pouze sliby modelu

Navrhovaný přístup staví bezpečnost na celém okolním systému, nikoli jen na ochraně zabudované v jednom konkrétním AI modelu. Mezi uváděné kontrolní prvky patří:

• nastavitelná pravidla pro jednotlivé úřady nebo typy použití;
• schválené, tedy povolené AI nástroje;
• omezení akcí, například zákaz mazání souborů nebo odesílání e-mailů mimo organizaci;
• limity na počet či okruh příjemců, které mají snížit riziko nekontrolovaného rozesílání a spamu;
• automatické kontroly promptů a výstupů, například kvůli urážlivému jazyku a dalším problémům s bezpečnostní hygienou.

Jde o princip nejmenších oprávnění: agent má dostat pouze takový přístup a prostor pro akce, jaký skutečně potřebuje ke svému úkolu. To je obzvlášť důležité v prostředí, kde úřady používají více modelů nebo propojují agenty s citlivými vládními systémy.

Bezpečnostní vrstva má zůstat stabilní i při výměně modelů

GovTech vyvíjí také AI Guardian, samostatnou vrstvu pro řízení a testování bezpečnosti AI aplikací. Její dvě hlavní součásti plní odlišné úkoly: Litmus před nasazením pomocí adversariálního testování vyhodnocuje bezpečnostní a zabezpečovací rizika, zatímco Sentinel po spuštění aplikace zajišťuje moderaci obsahu v reálném čase a filtrování výstupů.

Oddělení těchto funkcí od samotného modelu může omezit závislost na jediném dodavateli. GovTech zároveň uvádí, že bezpečnostní architektura AI Assistant Desk je navržena tak, aby ochranná opatření zůstala zachována i při přidání nebo výměně nástrojů třetích stran.

Smysl je praktický: model se může změnit, ale požadavky vlády na ochranu dat, povolené akce, monitorování a bezpečnost výstupů by měly zůstat stejné. Rámec odpovědné AI singapurského GovTechu mezi základní požadavky řadí bezpečnost, odolnost, zabezpečení a soukromí, vysvětlitelnost a transparentnost.

Nejde jen o autonomní agenty, ale i o schopnější úředníky

Singapurský program AI ve veřejné správě není omezen na autonomní agenty. Vládní asistent Pair už podporuje psaní, rešerše, shrnování a analýzu na zařízeních vydaných státní správou. Je schválen i pro práci s citlivými vládními daty, která nelze vkládat do komerčních chatbotů.

GovTech současně rozvíjí AI podporu softwarového inženýrství a nízkokódové nástroje, aby technické týmy i pracovníci úřadů mohli rychleji vytvářet prototypy a automatizovat pracovní postupy. Starší zprávy GovTechu popisovaly také plány na AI asistenty pro programování, AI podporovaný vývoj a nástroje, které mají úřadům pomoci převádět prototypy do bezpečnějšího provozního prostředí.

Součástí infrastruktury je i vzdělávání. GovTech poskytuje veřejným zaměstnancům výukové materiály o datech a AI. Širší singapurské plány rozvoje pracovní síly pak počítají s programy, v nichž se mají technologičtí specialisté naučit automatizovat tvorbu kódu a budovat agentní systémy.

Praktickým cílem je vybudovat vlastní kompetence uvnitř státu: úředníci musí vědět, kdy je AI vhodná, technické týmy musí umět vytvořené systémy vyhodnotit a zabezpečit a jednotlivé úřady potřebují sdílené platformy namísto řady izolovaných experimentů.

Projekty ve veřejném sektoru ukazují, proč je nutné AI průběžně hodnotit

Projekt LangBuddy ilustruje, že AI aplikaci je třeba posuzovat podle jejího skutečného účelu. Jde o hlasového chatbota, který má studentům pomáhat procvičovat jejich mateřský jazyk prostřednictvím konverzace.

U podobného nástroje nestačí ověřit, zda chatbot odpovídá plynule. GovTech při hodnocení sleduje také bezpečnost, riziko halucinací a to, zda odpovědi dodržují zamýšlená pedagogická pravidla.

Stejný princip platí pro veřejné služby obecně: úřady musí testovat, zda AI systém skutečně plní zadaný úkol, drží se svých omezení a v realistických interakcích se chová přijatelně. Nestačí, že jeho odpovědi znějí přesvědčivě.

Kyberbezpečnost je podmínkou i oblastí využití AI

Stejná filozofie se objevuje v kybernetické bezpečnosti. GovTech uvádí schopnosti v oblasti bezpečného návrhu systémů, red-teamových cvičení, penetračního testování, programu pro hlášení zranitelností veřejností a blue-teamových funkcí pro odhalování a řešení hrozeb.

Agentní AI GovTech testuje také při penetračním testování a automatizaci třídění incidentů v bezpečnostních operačních centrech. AI tak zkouší nasadit na obou stranách bezpečnostního procesu: při hledání slabin i při pomoci obráncům s určováním priorit incidentů.

Některé zprávy hovoří o více než 2 000 vládních digitálních systémech v souvislosti s rozšiřováním bezpečnostního testování. Dostupné podklady potvrzují širší směr — red teaming, penetrační testování a AI podporované bezpečnostní operace — neprokazují však, že by nepřetržité AI testování už běželo na každém z těchto systémů.

Tři cíle singapurské strategie

Tyto iniciativy společně podporují tři propojené cíle:

1. Zlepšit poskytování veřejných služeb. Asistenti a agenti mohou převzít tvorbu dokumentů, analýzu, programování a rutinní pracovní postupy. Úředníkům tak zůstane více času na složité případy a přímou práci s občany.
2. Posílit technologickou soběstačnost státu. Sdílené platformy, nástroje pro hodnocení, bezpečnostní vrstvy a školení pomáhají Singapuru uchovat provozní know-how a nespoléhat se výhradně na jednoho dodavatele modelu nebo komerční produkt.
3. Chránit důvěru veřejnosti a kritické systémy. Registrace agentů, řízení oprávnění, auditovatelnost, bezpečnostní testování a kybernetická obrana vytvářejí dohled nad AI ve chvíli, kdy získává přístup ke státní práci a datům.

Hlavní lekce je jednoduchá: bezpečné rozšíření AI není pouze problémem kvality modelu, ale také otázkou architektury. Singapur se pokouší zpřístupnit AI ve velkém, přitom ale zachovat viditelné vlastnictví, oprávnění, testování a monitorování činnosti — tedy prvky, za které odpovídají instituce zajišťující veřejné služby.