Celem fundacji jest stworzenie grupy wiarygodnych firm, które będą potrafiły oceniać systemy AI w różnych sektorach — od ochrony zdrowia i finansów po rekrutację oraz usługi publiczne. Program ma jednocześnie wyznaczyć praktyczny, wspólny poziom odniesienia dla technicznego testowania AI.

Akredytowane podmioty zostaną uznane za firmy posiadające kompetencje i gotowość operacyjną do testowania AI w jasno określonym zakresie. Mogą też być łączone z organizacjami poszukującymi wykwalifikowanych testerów. W założeniu ma to zwiększyć zaufanie firm wdrażających AI, ich interesariuszy i użytkowników końcowych.

Ważne zastrzeżenie: akredytacja nie będzie oznaczała, że konkretny system AI jest całkowicie bezpieczny ani wolny od ryzyka. Nadal mogą występować zagrożenia zależne od sposobu wdrożenia, integracji z innymi systemami lub nowych metod ataku. Odpowiedzialność za zarządzanie ryzykiem, jego akceptację i dodatkowe zabezpieczenia pozostanie po stronie organizacji wdrażającej system.

Co będą sprawdzać testerzy?

Firmy mogą przeprowadzać konfrontacyjne testy typu „red team”, czyli symulować próby wykorzystania słabości systemu. Obejmie to m.in. prompt injection — wstrzykiwanie do danych wejściowych instrukcji, które mogą zmienić zachowanie modelu — oraz jailbreaki, czyli próby obejścia zabezpieczeń i nakłonienia systemu do generowania treści naruszających zasady lub w inny sposób niebezpiecznych.

Zakres oceny może obejmować:

• Bezpieczeństwo i niezawodność — w tym nieścisłe lub zmyślone odpowiedzi oraz treści szkodliwe albo niepożądane.
• Sprawiedliwość podejmowania decyzji — na przykład ryzyko uprzedzeń i dyskryminujących rezultatów.
• Prywatność i cyberbezpieczeństwo — w tym wycieki danych oraz podatności systemu.
• Odporność na prompt injection i jailbreaki — szczególnie istotną w przypadku generatywnej AI oraz systemów agentowych, które mogą wykonywać działania w imieniu użytkownika.

Jakie warunki musi spełnić firma?

Wnioskodawcy będą oceniani nie tylko pod względem umiejętności technicznych, lecz także organizacyjnej zdolności do świadczenia usług:

• Kompetencje techniczne: firma musi przedstawić dowody, że potrafi wykonywać deklarowane, konkretne usługi testowania. Ocena może opierać się m.in. na wytycznych IMDA zawartych w dokumencie Starter Kit for Testing LLM-Based Applications for Safety and Reliability.
• Zarządzanie i wiarygodność biznesowa: wymagane będą odpowiednie doświadczenie, dobra reputacja oraz zobowiązanie do prowadzenia działalności w Singapore.
• Stabilność finansowa: podmiot powinien mieć wystarczającą kondycję finansową, by działać w sposób trwały.
• Gotowość operacyjna: firma musi dysponować odpowiednimi zasobami i procesami do świadczenia proponowanych usług.
• Zgodność deklarowanego zakresu usług z możliwościami: zakres zgłoszony przez firmę powinien odpowiadać jej faktycznie wykazanym kompetencjom.

Pięć ryzyk wskazanych w Starter Kit

Starter Kit IMDA to dobrowolny zestaw wytycznych dotyczących podstawowego testowania bezpieczeństwa i niezawodności aplikacji opartych na dużych modelach językowych (LLM). Dokument wskazuje pięć głównych obszarów ryzyka:

1. Halucynacje i nieścisłości.
2. Uprzedzenia w podejmowaniu decyzji.
3. Treści niepożądane.
4. Wyciek danych.
5. Podatności, w tym podatność na wrogie prompty.

Czy udział będzie płatny?

AI Verify Foundation deklaruje, że nie pobierze ani opłat za złożenie wniosku, ani opłat za akredytację. Ma to obniżyć barierę wejścia i wesprzeć rozwój rynku usług zapewniania jakości oraz bezpieczeństwa AI.

Akredytacja będzie ważna przez 12 miesięcy. Po tym czasie firmy będą musiały ją odnowić i wykazać, że nadal spełniają wymagania — zwłaszcza że standardy oraz krajobraz zagrożeń związanych z AI mogą się zmieniać.

Wstępne zainteresowanie programem miały wyrazić firmy Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro i Vulcan.

Co AI TAP może zmienić na rynku?

Program ma wspierać bardziej spójny i wiarygodny rynek zewnętrznego testowania AI. W praktyce chodzi o wspólne oczekiwania wobec kompetencji testerów, udokumentowane i oparte na dowodach oceny oraz lepsze dopasowanie testów do konkretnego zastosowania AI i skali ryzyka organizacji.

W dostępnych materiałach nie przedstawiono konkretnych wypowiedzi przedstawicieli branży na temat poprawy personalizacji testów, zarządzania ryzykiem czy zaufania do bezpieczeństwa AI. Konstrukcja programu zakłada jednak wsparcie takich celów: ma ułatwiać nabywcom identyfikowanie kompetentnych firm, wymuszać jasne określenie zakresu testów i zapewniać organizacjom dodatkową ocenę niezależnego podmiotu.

Celem fundacji jest stworzenie grupy wiarygodnych firm, które będą potrafiły oceniać systemy AI w różnych sektorach — od ochrony zdrowia i finansów po rekrutację oraz usługi publiczne. Program ma jednocześnie wyznaczyć praktyczny, wspólny poziom odniesienia dla technicznego testowania AI.

Akredytowane podmioty zostaną uznane za firmy posiadające kompetencje i gotowość operacyjną do testowania AI w jasno określonym zakresie. Mogą też być łączone z organizacjami poszukującymi wykwalifikowanych testerów. W założeniu ma to zwiększyć zaufanie firm wdrażających AI, ich interesariuszy i użytkowników końcowych.

Ważne zastrzeżenie: akredytacja nie będzie oznaczała, że konkretny system AI jest całkowicie bezpieczny ani wolny od ryzyka. Nadal mogą występować zagrożenia zależne od sposobu wdrożenia, integracji z innymi systemami lub nowych metod ataku. Odpowiedzialność za zarządzanie ryzykiem, jego akceptację i dodatkowe zabezpieczenia pozostanie po stronie organizacji wdrażającej system.

Co będą sprawdzać testerzy?

Firmy mogą przeprowadzać konfrontacyjne testy typu „red team”, czyli symulować próby wykorzystania słabości systemu. Obejmie to m.in. prompt injection — wstrzykiwanie do danych wejściowych instrukcji, które mogą zmienić zachowanie modelu — oraz jailbreaki, czyli próby obejścia zabezpieczeń i nakłonienia systemu do generowania treści naruszających zasady lub w inny sposób niebezpiecznych.

Zakres oceny może obejmować:

• Bezpieczeństwo i niezawodność — w tym nieścisłe lub zmyślone odpowiedzi oraz treści szkodliwe albo niepożądane.
• Sprawiedliwość podejmowania decyzji — na przykład ryzyko uprzedzeń i dyskryminujących rezultatów.
• Prywatność i cyberbezpieczeństwo — w tym wycieki danych oraz podatności systemu.
• Odporność na prompt injection i jailbreaki — szczególnie istotną w przypadku generatywnej AI oraz systemów agentowych, które mogą wykonywać działania w imieniu użytkownika.

Jakie warunki musi spełnić firma?

Wnioskodawcy będą oceniani nie tylko pod względem umiejętności technicznych, lecz także organizacyjnej zdolności do świadczenia usług:

• Kompetencje techniczne: firma musi przedstawić dowody, że potrafi wykonywać deklarowane, konkretne usługi testowania. Ocena może opierać się m.in. na wytycznych IMDA zawartych w dokumencie Starter Kit for Testing LLM-Based Applications for Safety and Reliability.
• Zarządzanie i wiarygodność biznesowa: wymagane będą odpowiednie doświadczenie, dobra reputacja oraz zobowiązanie do prowadzenia działalności w Singapore.
• Stabilność finansowa: podmiot powinien mieć wystarczającą kondycję finansową, by działać w sposób trwały.
• Gotowość operacyjna: firma musi dysponować odpowiednimi zasobami i procesami do świadczenia proponowanych usług.
• Zgodność deklarowanego zakresu usług z możliwościami: zakres zgłoszony przez firmę powinien odpowiadać jej faktycznie wykazanym kompetencjom.

Pięć ryzyk wskazanych w Starter Kit

Starter Kit IMDA to dobrowolny zestaw wytycznych dotyczących podstawowego testowania bezpieczeństwa i niezawodności aplikacji opartych na dużych modelach językowych (LLM). Dokument wskazuje pięć głównych obszarów ryzyka:

1. Halucynacje i nieścisłości.
2. Uprzedzenia w podejmowaniu decyzji.
3. Treści niepożądane.
4. Wyciek danych.
5. Podatności, w tym podatność na wrogie prompty.

Czy udział będzie płatny?

AI Verify Foundation deklaruje, że nie pobierze ani opłat za złożenie wniosku, ani opłat za akredytację. Ma to obniżyć barierę wejścia i wesprzeć rozwój rynku usług zapewniania jakości oraz bezpieczeństwa AI.

Akredytacja będzie ważna przez 12 miesięcy. Po tym czasie firmy będą musiały ją odnowić i wykazać, że nadal spełniają wymagania — zwłaszcza że standardy oraz krajobraz zagrożeń związanych z AI mogą się zmieniać.

Wstępne zainteresowanie programem miały wyrazić firmy Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro i Vulcan.

Co AI TAP może zmienić na rynku?

Program ma wspierać bardziej spójny i wiarygodny rynek zewnętrznego testowania AI. W praktyce chodzi o wspólne oczekiwania wobec kompetencji testerów, udokumentowane i oparte na dowodach oceny oraz lepsze dopasowanie testów do konkretnego zastosowania AI i skali ryzyka organizacji.

W dostępnych materiałach nie przedstawiono konkretnych wypowiedzi przedstawicieli branży na temat poprawy personalizacji testów, zarządzania ryzykiem czy zaufania do bezpieczeństwa AI. Konstrukcja programu zakłada jednak wsparcie takich celów: ma ułatwiać nabywcom identyfikowanie kompetentnych firm, wymuszać jasne określenie zakresu testów i zapewniać organizacjom dodatkową ocenę niezależnego podmiotu.