Zpomalit AI neznamená zastavit: jak nastavit pojistky a co může nabídnout Singapur

Smysluplné zpomalení AI by znamenalo řídit tempo vývoje nejpokročilejších systémů, nikoli plošně zastavit používání AI. Nedávné výzvy předních představitelů oboru otevřely debatu o nezávislém hodnocení a koordinaci. Aby se ale z návrhů staly důvěryhodné pojistky, nestačí dobrovolné sliby: hodnocení musí být nezávislé, jeho výsledky musejí mít praktické důsledky a pravidla mají odpovídat míře rizika.

Singapur už má několik nástrojů, na které může navázat: rámec pro správu agentní AI, testovací nástroje AI Verify a program, který uznává způsobilost externích testerů AI. Dalším krokem je propojit je s jasnými rozhodnutími založenými na důkazech o konkrétních systémech a způsobu jejich nasazení. 4

Co výzvy ke zpomalení AI znamenají — a co zatím ne

Nedávné návrhy se týkají tempa vývoje nejpokročilejších modelů AI. U těchto systémů může být obtížné zajistit, aby bezpečnostní opatření vývojářů a vnější dohled držely krok s jejich schopnostmi. Mezi návrhy zmiňovanými v médiích patří průběžný přístup externích hodnotitelů k předním AI firmám, společné bezpečnostní standardy a širší mezinárodní spolupráce.

Jde o známku rostoucího zájmu, nikoli o hotovou politiku nebo závaznou dohodu mezi firmami. Mezinárodní zpráva o bezpečnosti AI uvádí, že postupy řízení rizik se stále vyvíjejí a většina firemních iniciativ zůstává dobrovolná. To je důležitý rozdíl: příslib, že firma model otestuje, sám o sobě neznamená vymahatelné pravidlo, které jí přikáže odložit vydání, pokud přetrvávají závažná rizika.

Zpomalování jako rozhodovací brána podle rizika

Praktický přístup by stanovil přísnější podmínky pro systémy s většími schopnostmi nebo pravomocemi, ale nezaváděl plošné pozastavení běžného používání AI. Nástroj na návrh textu s malým dopadem a agent, který smí provádět důležité úkony, by neměly automaticky podléhat stejným požadavkům. Singapurský rámec pro agentní AI už doporučuje rizika posoudit a omezit a u významných či citlivých kroků nastavit kontrolní body vyžadující lidské schválení. 46

U nejpokročilejších modelů a nasazení s velkým dopadem by na tomto principu mohl stát proces před uvedením do provozu, který zahrnuje:

• Nezávislé hodnocení před uvedením na trh: Způsobilí externí hodnotitelé by měli bezpečně získat přístup k potřebným systémům a podkladům a posoudit nebezpečné schopnosti i předvídatelné způsoby zneužití. Průběžný přístup hodnotitelů patří mezi návrhy na řízení tempa vývoje nejpokročilejší AI; nejde o obecně platnou současnou povinnost.
• Jasné prahy a konkrétní následky: Předem by mělo být zřejmé, které výsledky testů vedou k dodatečným pojistkám, omezení přístupu nebo odkladu vydání. Neúspěšné hodnocení by mělo vyústit v dokumentovanou reakci a — pokud to míra rizika vyžaduje — v pozdržení uvedení systému, nikoli pouze v další interní kontrolu. Jde o návrhy pro budoucí správu, ne o požadavky uvedené v současném singapurském rámci. 4
• Ochrany přiměřené způsobu použití: U agentů s oprávněním provádět významné úkony lze zvážit omezená přístupová práva, lidské schválení důležitých kroků, průběžné sledování a jasně určenou odpovědnost. Singapurský rámec podporuje omezování rizik a smysluplný lidský dohled; konkrétní opatření by se měla řídit vlastnostmi systému a jeho využitím. 48
• Opakované posouzení při podstatných změnách: Významné úpravy modelu, jeho nástrojů nebo prostředí nasazení by měly vést k novému hodnocení. Starší test totiž není trvalou zárukou bezpečnosti systému, který se mezitím změnil. Jde o návrh, jak udržet ověřování relevantní i po změnách nasazeného systému.

Pro aplikace s nižším rizikem by měla existovat srozumitelnější a méně náročná cesta k nasazení. Pravidla založená na míře rizika mohou umožnit zavádění AI ve firmách, aniž by úspěšný test vydávaly za důkaz bezpečnosti v každém prostředí. Jedním z příkladů regulace členěné podle rizikovosti použití AI je unijní Akt o umělé inteligenci.

Veřejná pravidla, nezávislé testování

Mezinárodní koordinace by mohla zajistit srovnatelnější hodnocení a omezit tlak přesouvat dohled do jurisdikcí s mírnějšími požadavky. Vlády mohou usilovat o společné testovací metody, sdílení informací o incidentech a minimální požadavky na systémy s nejvyšším rizikem. Nezávislí hodnotitelé by pak mohli posuzovat konkrétní systémy podle těchto pravidel. Také nedávné návrhy na zpomalení vývoje počítají s koordinací mezi firmami i napříč státy.

Důležité je rozdělení odpovědnosti. Veřejné instituce by měly stanovit vymahatelné prahy a určit, co se stane při jejich překročení. Firmy mohou přispět technickými znalostmi, neměly by ale být jediným rozhodčím při posuzování vlastních systémů. Nezávislí testeři potřebují transparentní metody a zveřejněné informace o případných střetech zájmů. Jde o zásady pro navrhovaný systém dohledu, nikoli o prvky, které by už nyní zajišťovaly samotné výzvy firem.

Na čem může Singapur stavět

Singapurský Modelový rámec pro správu agentní AI nabízí organizacím, které nasazují autonomní agenty, doporučení zahrnující posuzování rizik, lidskou odpovědnost a kontrolní mechanismy. Jde o vodítko pro odpovědné nasazení, nikoli samo o sobě o vymahatelnou podmínku pro uvedení systému do provozu. 468

AI Verify poskytuje testovací nástroje a program AI Tester Accreditation Programme uznává externí testovací firmy s odpovídajícími technickými schopnostmi a provozní připraveností. Tyto iniciativy by mohly pomoci sjednotit hodnocení napříč podniky a finančním sektorem. Singapur by také mohl podporovat společné profily ověřování a smluvní podmínky, které vyjasní, co mají doložit poskytovatelé modelů, integrátoři systémů, jejich provozovatelé a testeři. Jde o možné další kroky, nikoli o již zavedená pravidla uvedených rámců.

Užitečným cílem by bylo vzájemné uznávání výsledků a metod testování napříč zeměmi — ne tvrzení, že jeden národní certifikát zaručuje bezpečnost každého systému a každého způsobu jeho použití. Rámec a testovací nástroje mohou pomoci uspořádat důkazy; úřady a organizace ale stále musejí posoudit, zda se vztahují ke konkrétnímu nasazení a jeho rizikům.

Hodnotit bezpečnost AI, softwaru i kybernetickou bezpečnost

Testování výstupů modelu je jen jednou částí hodnocení AI agenta. Úplné posouzení by mělo zkoumat také okolní softwarový systém a zabezpečení nástrojů i oprávnění, ke kterým má agent přístup. Jde o související, ale odlišné otázky: jaké škodlivé chování může AI vykazovat, jak se sestavená aplikace zachová při poruše nebo změně a zda může útočník systém napadnout, zmanipulovat nebo přesměrovat.

Takové společné hodnocení je doporučeným rozšířením ověřování, nikoli tvrzením, že všechny dnešní nástroje už pokrývají všechny tři oblasti. Dokumentace AI Verify Toolkit popisuje technické testy pro tradiční systémy strojového učení, například testy férovosti, vysvětlitelnosti a robustnosti. Proto je důležité výslovně určit, jaké další testování celého systému je třeba u agentních aplikací — a nepředpokládat, že výsledek testu samotného modelu automaticky potvrzuje bezpečnost celého nasazení.

Podle čeho poznat skutečné zpomalení

Zpomalení má smysl tehdy, když nezávislé důkazy mohou změnit další postup: vydání rizikového systému lze odložit, omezit nebo upravit, pokud jeho ochrany nejsou dostatečné, zatímco pro běžná nasazení s nižším rizikem zůstává přiměřená cesta k uživatelům. Singapurské rámce a testovací programy mohou posloužit jako základ takového ověřování. Konkrétní prahy pro vydání, způsob vymáhání pravidel i rozsah testování by však musely být výslovně stanoveny.