Målet är att bygga upp en grupp trovärdiga företag som kan granska AI inom bland annat sjukvård, finans, rekrytering och offentlig service. Programmet ska också bidra till en praktisk grundnivå för hur teknisk AI-granskning bör genomföras.

Ackrediterade företag kommer att erkännas inom ett tydligt och dokumenterat testområde. De kan också kopplas samman med organisationer som söker kvalificerade testare. På så sätt vill initiativet stärka förtroendet hos företag som använder AI, andra berörda aktörer och slutanvändare.

Det är samtidigt viktigt att skilja på ackreditering av testföretaget och säkerhetsgodkännande av själva AI-systemet. AI TAP innebär inte att ett visst system är helt säkert eller fritt från risker. Risker som uppstår genom den specifika användningen, integrationen eller nya typer av angrepp kan finnas kvar. Den organisation som använder AI-systemet ansvarar fortfarande för styrning, riskacceptans och ytterligare skyddsåtgärder.

Vad ska testföretagen leta efter?

Testerna kan innehålla så kallade red-team-granskningar, där testare försöker angripa systemet på ett kontrollerat sätt. Det kan exempelvis handla om promptinjektioner eller jailbreaks – försök att kringgå modellens skydd och få den att generera innehåll eller utföra handlingar som strider mot reglerna eller är osäkra.

Testområdet kan omfatta:

• Säkerhet och tillförlitlighet: felaktiga eller påhittade svar samt skadligt eller på annat sätt olämpligt innehåll.
• Rättvisa: exempelvis partiskhet i beslut eller bedömningar.
• Integritet och cybersäkerhet: bland annat dataläckor och tekniska sårbarheter.
• Motståndskraft mot promptinjektioner och jailbreaks: särskilt relevant för generativ AI och AI-agenter som kan använda verktyg eller hämta information från andra system.

Vilka krav ställs på företagen?

Sökande företag ska bedömas både utifrån sin tekniska testförmåga och sin organisatoriska kapacitet. Kraven omfattar bland annat:

• Teknisk kompetens: Företaget måste kunna visa att det klarar de specifika testtjänster som det uppger att det erbjuder. Bedömningen kan utgå från vägledning som IMDA:s Starter Kit for Testing LLM-Based Applications for Safety and Reliability.
• Styrning och seriositet: Företaget ska ha relevant erfarenhet, god ställning och ett åtagande att bedriva verksamhet i Singapore.
• Ekonomisk bärkraft: Det ska ha tillräcklig ekonomisk stabilitet för att kunna bedriva verksamheten långsiktigt.
• Operativ beredskap: Företaget behöver ha tillräcklig kapacitet och vara redo att leverera de tjänster som ansökan gäller.
• Korrekt tjänsteomfattning: Det deklarerade testområdet måste stämma överens med företagets bevisade förmåga.

IMDA:s fem centrala riskområden för stora språkmodeller

IMDA:s Starter Kit är frivillig vägledning för grundläggande tester av säkerhet och tillförlitlighet i applikationer som bygger på stora språkmodeller, så kallade LLM-modeller. Den lyfter fram fem riskområden:

1. Hallucinationer och felaktigheter.
2. Partiskhet i beslutsfattande.
3. Olämpligt eller oönskat innehåll.
4. Läckage av data.
5. Sårbarheter, bland annat mot fientliga instruktioner.

Kostnad, giltighetstid och företag som visat intresse

AI Verify Foundation uppger att det inte kommer att tas ut någon ansöknings- eller ackrediteringsavgift. Syftet är att hålla tröskeln låg och bidra till att marknaden för AI-granskning kan växa.

En ackreditering ska gälla i 12 månader. Därefter måste företaget förnya den och visa att kompetensen fortfarande håller måttet, i takt med att standarder och hotbild förändras.

Företag som enligt uppgifterna har visat tidigt intresse är Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro och Vulcan.

Vad kan programmet förändra?

Den uttalade ambitionen är att skapa en mer enhetlig och trovärdig marknad för extern AI-testning. Det innebär gemensammare förväntningar på testarnas kompetens, mer dokumenterade och evidensbaserade bedömningar samt tester som anpassas efter organisationens användningsområde och riskprofil.

Det tillgängliga underlaget innehåller inga specifika uttalanden från branschrepresentanter om hur ackrediteringen skulle påverka anpassning, styrning eller förtroende. Programmets utformning är dock tänkt att stödja sådana resultat genom att hjälpa köpare att hitta kompetenta testare, tydliggöra vad som faktiskt testas och ge organisationer ett extra underlag genom oberoende granskning.

Målet är att bygga upp en grupp trovärdiga företag som kan granska AI inom bland annat sjukvård, finans, rekrytering och offentlig service. Programmet ska också bidra till en praktisk grundnivå för hur teknisk AI-granskning bör genomföras.

Ackrediterade företag kommer att erkännas inom ett tydligt och dokumenterat testområde. De kan också kopplas samman med organisationer som söker kvalificerade testare. På så sätt vill initiativet stärka förtroendet hos företag som använder AI, andra berörda aktörer och slutanvändare.

Det är samtidigt viktigt att skilja på ackreditering av testföretaget och säkerhetsgodkännande av själva AI-systemet. AI TAP innebär inte att ett visst system är helt säkert eller fritt från risker. Risker som uppstår genom den specifika användningen, integrationen eller nya typer av angrepp kan finnas kvar. Den organisation som använder AI-systemet ansvarar fortfarande för styrning, riskacceptans och ytterligare skyddsåtgärder.

Vad ska testföretagen leta efter?

Testerna kan innehålla så kallade red-team-granskningar, där testare försöker angripa systemet på ett kontrollerat sätt. Det kan exempelvis handla om promptinjektioner eller jailbreaks – försök att kringgå modellens skydd och få den att generera innehåll eller utföra handlingar som strider mot reglerna eller är osäkra.

Testområdet kan omfatta:

• Säkerhet och tillförlitlighet: felaktiga eller påhittade svar samt skadligt eller på annat sätt olämpligt innehåll.
• Rättvisa: exempelvis partiskhet i beslut eller bedömningar.
• Integritet och cybersäkerhet: bland annat dataläckor och tekniska sårbarheter.
• Motståndskraft mot promptinjektioner och jailbreaks: särskilt relevant för generativ AI och AI-agenter som kan använda verktyg eller hämta information från andra system.

Vilka krav ställs på företagen?

Sökande företag ska bedömas både utifrån sin tekniska testförmåga och sin organisatoriska kapacitet. Kraven omfattar bland annat:

• Teknisk kompetens: Företaget måste kunna visa att det klarar de specifika testtjänster som det uppger att det erbjuder. Bedömningen kan utgå från vägledning som IMDA:s Starter Kit for Testing LLM-Based Applications for Safety and Reliability.
• Styrning och seriositet: Företaget ska ha relevant erfarenhet, god ställning och ett åtagande att bedriva verksamhet i Singapore.
• Ekonomisk bärkraft: Det ska ha tillräcklig ekonomisk stabilitet för att kunna bedriva verksamheten långsiktigt.
• Operativ beredskap: Företaget behöver ha tillräcklig kapacitet och vara redo att leverera de tjänster som ansökan gäller.
• Korrekt tjänsteomfattning: Det deklarerade testområdet måste stämma överens med företagets bevisade förmåga.

IMDA:s fem centrala riskområden för stora språkmodeller

IMDA:s Starter Kit är frivillig vägledning för grundläggande tester av säkerhet och tillförlitlighet i applikationer som bygger på stora språkmodeller, så kallade LLM-modeller. Den lyfter fram fem riskområden:

1. Hallucinationer och felaktigheter.
2. Partiskhet i beslutsfattande.
3. Olämpligt eller oönskat innehåll.
4. Läckage av data.
5. Sårbarheter, bland annat mot fientliga instruktioner.

Kostnad, giltighetstid och företag som visat intresse

AI Verify Foundation uppger att det inte kommer att tas ut någon ansöknings- eller ackrediteringsavgift. Syftet är att hålla tröskeln låg och bidra till att marknaden för AI-granskning kan växa.

En ackreditering ska gälla i 12 månader. Därefter måste företaget förnya den och visa att kompetensen fortfarande håller måttet, i takt med att standarder och hotbild förändras.

Företag som enligt uppgifterna har visat tidigt intresse är Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro och Vulcan.

Vad kan programmet förändra?

Den uttalade ambitionen är att skapa en mer enhetlig och trovärdig marknad för extern AI-testning. Det innebär gemensammare förväntningar på testarnas kompetens, mer dokumenterade och evidensbaserade bedömningar samt tester som anpassas efter organisationens användningsområde och riskprofil.

Det tillgängliga underlaget innehåller inga specifika uttalanden från branschrepresentanter om hur ackrediteringen skulle påverka anpassning, styrning eller förtroende. Programmets utformning är dock tänkt att stödja sådana resultat genom att hjälpa köpare att hitta kompetenta testare, tydliggöra vad som faktiskt testas och ge organisationer ett extra underlag genom oberoende granskning.