Nadace chce vytvořit síť důvěryhodných firem schopných prověřovat AI v různých oblastech — od zdravotnictví a financí přes nábor zaměstnanců až po veřejné služby. Zároveň má program nastavit praktický základ pro to, jak má kvalitní technické testování vypadat.

Akreditované společnosti získají uznání pro konkrétně vymezený a zdokumentovaný rozsah testovacích služeb. Organizace, které hledají kvalifikovaného testera, s nimi pak mohou být propojeny. Cílem je posílit důvěru nejen u firem, které AI nasazují, ale také u jejich partnerů, zaměstnanců a koncových uživatelů.

Důležitá je však jedna hranice: akreditace nepotvrzuje, že konkrétní AI systém je zcela bezpečný nebo bez rizik. Pořád mohou zůstat problémy spojené s konkrétním nasazením, integrací s dalšími systémy nebo nově vznikajícími hrozbami. Za správu rizik, jejich přijetí a případná další opatření zůstává odpovědná organizace, která AI používá.

Co budou testeři prověřovat

Testování může probíhat formou takzvaného red teamingu — tedy simulovaných útoků, při nichž se testeři snaží AI přimět k nežádoucímu chování. Patří sem například pokusy o prompt injection, kdy škodlivé instrukce manipulují vstupem nebo kontextem systému, a jailbreak, jehož cílem je obejít zabudovaná bezpečnostní pravidla a přimět model k porušení zásad.

Podle vymezeného rozsahu mohou akreditované firmy hledat zejména:

• Bezpečnostní a spolehlivostní chyby, například nepřesné či smyšlené odpovědi nebo škodlivý a jinak nežádoucí obsah.
• Nespravedlivé rozhodování a zaujatost, tedy situace, kdy AI systematicky znevýhodňuje určité osoby nebo skupiny.
• Problémy se soukromím a zabezpečením, včetně úniku dat a technických zranitelností.
• Odolnost proti prompt injection a jailbreakům, což je zvlášť důležité u generativní a agentické AI, která může pracovat s externími daty nebo provádět úkoly prostřednictvím dalších nástrojů.

Jaké podmínky budou firmy muset splnit

Při posuzování žádostí se nemá hodnotit pouze technická stránka testování. Uchazeči budou posuzováni také podle organizační a podnikatelské připravenosti:

• Technická kompetence: firma musí doložit, že skutečně zvládne konkrétní testovací služby, které nabízí. Posuzování se může opírat například o metodiku IMDA nazvanou Starter Kit for Testing LLM-Based Applications for Safety and Reliability.
• Správa a dobrá pověst: vyžadována bude relevantní praxe, dobré postavení a závazek podnikat v Singapuru.
• Finanční udržitelnost: uchazeč musí mít dostatečně stabilní finanční zázemí pro dlouhodobý provoz.
• Provozní připravenost: firma musí mít odpovídající kapacity a být schopna deklarované služby skutečně poskytovat.
• Přesně vymezený rozsah služeb: uvedená nabídka musí odpovídat prokázaným schopnostem společnosti.

Pět hlavních rizik podle Starter Kitu

Metodika IMDA je dobrovolné doporučení pro základní testování bezpečnosti a spolehlivosti aplikací založených na velkých jazykových modelech (LLM). Zaměřuje se na pět oblastí:

1. Halucinace a nepřesnosti.
2. Zaujatost při rozhodování.
3. Nežádoucí obsah.
4. Úniky dat.
5. Zranitelnosti, včetně zranitelnosti vůči nepřátelským promptům.

Kolik bude akreditace stát a jak dlouho potrvá

AI Verify Foundation uvádí, že za podání žádosti ani za samotnou akreditaci se nemají účtovat poplatky. Tím chce snížit vstupní bariéry a podpořit rozvoj trhu se službami pro zajištění bezpečnosti AI.

Akreditace bude platná 12 měsíců. Po uplynutí této doby budou muset firmy žádat o obnovení a znovu prokázat, že si udržují potřebnou úroveň odbornosti — mimo jiné s ohledem na vývoj standardů a měnící se podobu hrozeb.

Předběžný zájem podle dostupných informací projevily společnosti Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro a Vulcan.

Co může AI TAP změnit na trhu

Program má přispět k jednotnějšímu a důvěryhodnějšímu trhu s externím testováním AI. Organizace by měly snáze najít odborníky, kteří používají doložitelné a zdokumentované postupy a jejichž práce odpovídá konkrétnímu účelu a rizikovému profilu daného systému.

Dostupné podklady neobsahují konkrétní vyjádření zástupců průmyslu k tomu, že akreditace přímo zlepší přizpůsobení testů, správu AI nebo důvěru v její bezpečnost. Konstrukce programu však tyto výsledky podporuje: kupujícím pomáhá identifikovat schopné testery, vyžaduje jasné vymezení rozsahu testů a poskytuje další úroveň jistoty prostřednictvím nezávislého posouzení.

AI TAP tedy není zárukou bezchybné umělé inteligence. Je spíše pokusem vytvořit čitelnější pravidla pro to, kdo AI testuje, co přesně testuje a jaké schopnosti musí prokázat.

Nadace chce vytvořit síť důvěryhodných firem schopných prověřovat AI v různých oblastech — od zdravotnictví a financí přes nábor zaměstnanců až po veřejné služby. Zároveň má program nastavit praktický základ pro to, jak má kvalitní technické testování vypadat.

Akreditované společnosti získají uznání pro konkrétně vymezený a zdokumentovaný rozsah testovacích služeb. Organizace, které hledají kvalifikovaného testera, s nimi pak mohou být propojeny. Cílem je posílit důvěru nejen u firem, které AI nasazují, ale také u jejich partnerů, zaměstnanců a koncových uživatelů.

Důležitá je však jedna hranice: akreditace nepotvrzuje, že konkrétní AI systém je zcela bezpečný nebo bez rizik. Pořád mohou zůstat problémy spojené s konkrétním nasazením, integrací s dalšími systémy nebo nově vznikajícími hrozbami. Za správu rizik, jejich přijetí a případná další opatření zůstává odpovědná organizace, která AI používá.

Co budou testeři prověřovat

Testování může probíhat formou takzvaného red teamingu — tedy simulovaných útoků, při nichž se testeři snaží AI přimět k nežádoucímu chování. Patří sem například pokusy o prompt injection, kdy škodlivé instrukce manipulují vstupem nebo kontextem systému, a jailbreak, jehož cílem je obejít zabudovaná bezpečnostní pravidla a přimět model k porušení zásad.

Podle vymezeného rozsahu mohou akreditované firmy hledat zejména:

• Bezpečnostní a spolehlivostní chyby, například nepřesné či smyšlené odpovědi nebo škodlivý a jinak nežádoucí obsah.
• Nespravedlivé rozhodování a zaujatost, tedy situace, kdy AI systematicky znevýhodňuje určité osoby nebo skupiny.
• Problémy se soukromím a zabezpečením, včetně úniku dat a technických zranitelností.
• Odolnost proti prompt injection a jailbreakům, což je zvlášť důležité u generativní a agentické AI, která může pracovat s externími daty nebo provádět úkoly prostřednictvím dalších nástrojů.

Jaké podmínky budou firmy muset splnit

Při posuzování žádostí se nemá hodnotit pouze technická stránka testování. Uchazeči budou posuzováni také podle organizační a podnikatelské připravenosti:

• Technická kompetence: firma musí doložit, že skutečně zvládne konkrétní testovací služby, které nabízí. Posuzování se může opírat například o metodiku IMDA nazvanou Starter Kit for Testing LLM-Based Applications for Safety and Reliability.
• Správa a dobrá pověst: vyžadována bude relevantní praxe, dobré postavení a závazek podnikat v Singapuru.
• Finanční udržitelnost: uchazeč musí mít dostatečně stabilní finanční zázemí pro dlouhodobý provoz.
• Provozní připravenost: firma musí mít odpovídající kapacity a být schopna deklarované služby skutečně poskytovat.
• Přesně vymezený rozsah služeb: uvedená nabídka musí odpovídat prokázaným schopnostem společnosti.

Pět hlavních rizik podle Starter Kitu

Metodika IMDA je dobrovolné doporučení pro základní testování bezpečnosti a spolehlivosti aplikací založených na velkých jazykových modelech (LLM). Zaměřuje se na pět oblastí:

1. Halucinace a nepřesnosti.
2. Zaujatost při rozhodování.
3. Nežádoucí obsah.
4. Úniky dat.
5. Zranitelnosti, včetně zranitelnosti vůči nepřátelským promptům.

Kolik bude akreditace stát a jak dlouho potrvá

AI Verify Foundation uvádí, že za podání žádosti ani za samotnou akreditaci se nemají účtovat poplatky. Tím chce snížit vstupní bariéry a podpořit rozvoj trhu se službami pro zajištění bezpečnosti AI.

Akreditace bude platná 12 měsíců. Po uplynutí této doby budou muset firmy žádat o obnovení a znovu prokázat, že si udržují potřebnou úroveň odbornosti — mimo jiné s ohledem na vývoj standardů a měnící se podobu hrozeb.

Předběžný zájem podle dostupných informací projevily společnosti Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro a Vulcan.

Co může AI TAP změnit na trhu

Program má přispět k jednotnějšímu a důvěryhodnějšímu trhu s externím testováním AI. Organizace by měly snáze najít odborníky, kteří používají doložitelné a zdokumentované postupy a jejichž práce odpovídá konkrétnímu účelu a rizikovému profilu daného systému.

Dostupné podklady neobsahují konkrétní vyjádření zástupců průmyslu k tomu, že akreditace přímo zlepší přizpůsobení testů, správu AI nebo důvěru v její bezpečnost. Konstrukce programu však tyto výsledky podporuje: kupujícím pomáhá identifikovat schopné testery, vyžaduje jasné vymezení rozsahu testů a poskytuje další úroveň jistoty prostřednictvím nezávislého posouzení.

AI TAP tedy není zárukou bezchybné umělé inteligence. Je spíše pokusem vytvořit čitelnější pravidla pro to, kdo AI testuje, co přesně testuje a jaké schopnosti musí prokázat.