Wat is Singapore’s AI Tester Accreditation Programme (AI TAP)?

Geaccrediteerde bedrijven worden erkend voor een duidelijk omschreven testaanbod. Ze kunnen bovendien in contact worden gebracht met organisaties die een gekwalificeerde tester zoeken. Dat moet het vertrouwen vergroten bij ontwikkelaars, organisaties die AI implementeren, andere belanghebbenden en eindgebruikers.

De accreditatie betekent overigens niet dat een specifiek AI-systeem daarmee volledig veilig of vrij van risico’s is verklaard. Risico’s die samenhangen met de concrete toepassing, integratie of nieuwe aanvalstechnieken kunnen blijven bestaan. De organisatie die het systeem inzet, blijft verantwoordelijk voor governance, het accepteren van risico’s en aanvullende maatregelen.

Wat gaan de testers onderzoeken?

De geaccrediteerde bedrijven kunnen zogenoemde red-teamtests uitvoeren. Daarbij proberen testers opzettelijk zwakke plekken bloot te leggen. Ze kunnen bijvoorbeeld promptinjecties gebruiken of een systeem proberen te jailbreaken: de beveiligingsmaatregelen omzeilen en het model aanzetten tot beleidsschendend of ander onveilig gedrag.

De onderzoeken kunnen onder meer gericht zijn op:

• veiligheid en betrouwbaarheid: onjuiste of verzonnen antwoorden en schadelijke of ongewenste inhoud;
• eerlijkheid: vooringenomenheid in besluitvorming;
• privacy en beveiliging: datalekken en technische kwetsbaarheden;
• weerbaarheid tegen promptinjecties en jailbreaks: vooral relevant voor generatieve en agentische AI-toepassingen.

Aan welke eisen moeten bedrijven voldoen?

Aanvragers worden niet alleen beoordeeld op hun technische testvaardigheden, maar ook op hun organisatorische slagkracht. De belangrijkste criteria zijn:

• Technische deskundigheid: het bedrijf moet aantonen dat het de specifieke testdiensten die het aanbiedt daadwerkelijk kan uitvoeren. Daarbij kan de beoordeling aansluiten op richtlijnen zoals de IMDA’s Starter Kit for Testing LLM-Based Applications for Safety and Reliability.
• Governance en zakelijke reputatie: relevante ervaring, een goede staat van dienst en de bereidheid om zakelijke activiteiten in Singapore te ontplooien.
• Financiële duurzaamheid: voldoende financiële draagkracht om de dienstverlening duurzaam voort te zetten.
• Operationele paraatheid: genoeg personeel, processen en capaciteit om de voorgestelde diensten te leveren.
• Een realistische dienstomschrijving: het opgegeven werkterrein moet overeenkomen met wat het bedrijf aantoonbaar kan uitvoeren.

De vijf risico’s uit de IMDA Starter Kit

De Starter Kit is vrijwillige richtlijn voor basistests van de veiligheid en betrouwbaarheid van toepassingen die werken met grote taalmodellen, ofwel large language models (LLM’s). De richtlijn benoemt vijf belangrijke risicogebieden:

1. hallucinaties en onnauwkeurigheid;
2. vooringenomenheid in besluitvorming;
3. ongewenste inhoud;
4. datalekken;
5. kwetsbaarheden, waaronder kwetsbaarheid voor vijandige prompts.

De bedoeling is niet dat elk AI-systeem exact dezelfde test ondergaat. De relevante risico’s, de omvang van het onderzoek en de drempels voor aanvaardbare prestaties moeten worden afgestemd op de concrete toepassing.

Zijn er kosten aan verbonden?

Volgens de AI Verify Foundation hoeven bedrijven geen aanvraag- of accreditatiekosten te betalen. Daarmee wil de Foundation de drempel voor deelname laag houden en de markt voor AI-assurance laten groeien.

Een accreditatie blijft twaalf maanden geldig. Daarna moet een bedrijf opnieuw aantonen dat het over voldoende deskundigheid beschikt. Dat is belangrijk omdat testmethoden, normen en het dreigingslandschap voortdurend veranderen.

De bedrijven die volgens de beschikbare informatie al belangstelling hebben getoond, zijn Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro en Vulcan.

Wat kan het programma veranderen?

AI TAP moet zorgen voor een meer consistente en geloofwaardige markt voor externe AI-tests. Gemeenschappelijke verwachtingen over deskundigheid, gedocumenteerde testresultaten en een duidelijk afgebakende testscope kunnen organisaties helpen om onderzoeken beter te vergelijken en af te stemmen op hun eigen AI-gebruik.

De beschikbare bronnen bevatten geen afzonderlijke, concrete uitspraken van industrievertegenwoordigers over verbeterde maatwerkmogelijkheden, governance of vertrouwen in AI-veiligheid. Het ontwerp van het programma ondersteunt die mogelijke effecten wel: kopers kunnen makkelijker competente testers vinden, de reikwijdte van een test wordt explicieter en organisaties krijgen een extra onafhankelijke beoordeling voordat zij AI inzetten.