AI TAP: Singapur chce certifikovat firmy, které prověřují bezpečnost umělé inteligence

Iniciativa je všeobecně popisována jako první akreditační program svého druhu v Asii, který má vytvořit měřítko pro služby zajišťování kvality AI.

Kdo AI TAP spouští a kdy začne

AI TAP je spouštěn nadací AI Verify Foundation, neziskovou organizací založenou za účelem rozvoje důvěryhodného testování AI a tvorby standardů. Nadace je dceřinou společností singapurského Úřadu pro rozvoj informačních a mediálních technologií (IMDA).

Program oznámila singapurská ministryně pro digitální rozvoj a informace Josephine Teo během mezinárodní akce o bezpečnosti AI v květnu 2026.

Podrobnosti o zavádění:

• Organizace, která program spouští: AI Verify Foundation
• Očekávané spuštění: druhá polovina roku 2026
• Příjem žádostí o akreditaci: očekává se kolem třetího čtvrtletí roku 2026

Proč Singapur vytvořil AI TAP

Hlavním cílem AI TAP je zvýšit důvěru ve služby testování bezpečnosti AI.

S tím, jak organizace přijímají AI systémy, mnohé z nich spoléhají na specializované firmy, které v modelech hledají slabiny – často pomocí red-teamingu nebo pokusů o obejití bezpečnostních opatření. Kvalita a důvěryhodnost těchto poskytovatelů se však může značně lišit.

AI TAP si klade za cíl tento problém vyřešit vytvořením formálního akreditačního standardu pro společnosti nabízející služby testování AI.

Program je také součástí širšího úsilí Singapuru o vybudování důvěryhodného ekosystému AI, který vyvažuje technologické inovace s bezpečností a odpovědností.

Tento ekosystém podporuje několik souvisejících iniciativ, včetně:

• Rámce pro testování AI Verify, který pomáhá firmám posoudit, zda jejich AI systémy dodržují mezinárodně uznávané principy správy.
• Globálního pilotního projektu a sandboxu pro zajišťování kvality AI, které propojují firmy nasazující AI se specializovanými testery za účelem vývoje praktických testovacích metod.

Společně tyto programy usilují o vytvoření sdílených norem pro zodpovědné nasazování AI.

Jak bude AI TAP certifikovat firmy testující AI

Společnosti žádající o akreditaci AI TAP projdou dvěma hlavními oblastmi hodnocení.

Posouzení technických schopností

Testovací organizace musí prokázat, že jejich metody hodnocení odpovídají uznávaným směrnicím pro testování AI systémů. To zahrnuje prokázání souladu s pokyny pokrývajícími například:

• Bezpečnost aplikací velkých jazykových modelů (LLM)
• Testování spolehlivosti a robustnosti
• Testování vyhledávání zranitelností a možností zneužití

Žadatelé musí také prokázat strukturované testovací metodiky a vhodné datové sady pro hodnocení AI systémů.

Organizační a provozní hodnocení

Kromě technických znalostí bude AI TAP posuzovat i samotnou společnost. Akreditační přezkum může zkoumat faktory, jako jsou:

• Pověst a dosavadní výsledky
• Provozní kapacita a odbornost personálu
• Finanční stabilita
• Zda nabízené služby odpovídají skutečným schopnostem organizace

Tento dvouvrstvý přezkum má zajistit, že akreditovaní testeři jsou technicky kompetentní a provozně důvěryhodní.

Typy rizik, které budou testeři zkoumat

Ačkoli AI TAP nezveřejnil univerzální kontrolní seznam testů, stávající práce v oblasti zajišťování kvality AI v Singapuru poukazuje na několik rizikových oblastí běžně zkoumaných v AI systémech.

Patří mezi ně:

• Bezpečnostní zranitelnosti a možnost zneužití, včetně pokusů obejít ochranná opatření nebo získat omezené informace
• Selhání bezpečnosti obsahu, například generování škodlivých nebo nevhodných výstupů
• Rizika úniku dat, zejména v systémech RAG (Retrieval-Augmented Generation) napojených na interní znalostní báze
• Bezpečnostní mezery ve vícejazyčném prostředí, kde ochranná opatření fungující v jednom jazyce mohou selhat v jiném
• Problémy s přesností a robustností, včetně halucinovaných nebo nekonzistentních odpovědí

Testovací cvičení v rámci singapurských iniciativ pro zajišťování kvality AI ukázala, že ochranná opatření se mohou v různých jazycích chovat odlišně a že některé návrhy systémů mohou zvýšit riziko úniku citlivých informací.

Testovací metody používané při zajišťování kvality AI

Organizace testující AI obvykle kombinují automatizované vyhodnocování s lidskou analýzou. Příklady metod používaných v singapurských projektech zajišťování kvality AI zahrnují:

• Adverzární promptování a red-teaming k odhalení zranitelností typu jailbreak
• Generování syntetických datových sad pro vytváření okrajových případů a vzácných scénářů selhání
• Benchmarking přesnosti, včetně klasifikační přesnosti a přesnosti vyhledávání
• Přezkum s lidským dohledem, kde odborníci hodnotí reakce systému
• Přístupy LLM-jako-hodnotitel, kde AI modely pomáhají škálovat hodnocení výstupů

Tyto přístupy umožňují testerům hodnotit jak výkon AI systémů, tak robustnost jejich ochranných opatření.

Jak by AI TAP mohl ovlivnit globální ekosystém bezpečnosti AI

Akreditace samotných testerů řeší rostoucí problém v oblasti správy AI: zajištění toho, aby hodnocení bezpečnosti AI byla důvěryhodná a konzistentní.

Mezi potenciální dopady programu patří:

• Větší důvěra, když organizace najímají externí firmy k hodnocení AI systémů
• Jasnější očekávání toho, co představuje kompetentní testování bezpečnosti AI
• Lepší srovnatelnost výsledků testování napříč odvětvími a jurisdikcemi
• Silnější spolupráce mezi vývojáři AI a specializovanými bezpečnostními auditory

Vzhledem k tomu, že AI TAP je prvním akreditačním schématem svého druhu v Asii, mohl by ovlivnit, jak budou ostatní země strukturovat své vlastní systémy zajišťování kvality AI.

Co zatím není jasné

Ačkoli jsou cíle a struktura AI TAP veřejně známy, několik provozních aspektů dosud nebylo plně zveřejněno, včetně:

• Podrobného bodovacího modelu používaného pro akreditaci
• Konkrétních testovacích protokolů požadovaných pro certifikaci
• Zda budou platit specifické odvětvové standardy pro průmyslová odvětví, jako je zdravotnictví nebo finance

Tyto podrobnosti budou pravděpodobně jasnější, jakmile program otevře žádosti a první vlna testovacích firem projde akreditací.

Celkový kontext

Testování bezpečnosti AI se stává nezbytnou součástí nasazování moderních AI systémů. Vlády a společnosti stále více potřebují způsoby, jak ověřit, zda jsou AI modely bezpečné, spolehlivé a v souladu s principy správy.

Singapurský přístup se zaměřuje na certifikaci samotných testerů, čímž vytváří důvěryhodnou vrstvu nezávislých hodnotitelů, na které se organizace mohou spolehnout při posuzování AI technologií.

Pokud bude úspěšný, programy jako AI TAP by se mohly stát klíčovým stavebním kamenem globálního prostředí správy AI.