Målet er å bygge opp en gruppe troverdige selskaper som kan teste KI på tvers av sektorer som helse, finans, rekruttering og offentlige tjenester. Ordningen skal også etablere et praktisk minstemål for hva god teknisk kvalitetssikring innebærer.

For virksomheter som skal ta i bruk KI, kan dette gjøre det enklere å finne en uavhengig tester med dokumentert kompetanse og et klart definert tjenesteområde. Akkrediterte selskaper kan også bli satt i kontakt med organisasjoner som leter etter kvalifiserte testere.

Det er likevel viktig å skille mellom akkreditering av testeren og sikkerhetsgodkjenning av selve KI-systemet. AI TAP betyr ikke at et bestemt system er helt trygt eller uten risiko. Risiko som oppstår gjennom den konkrete integrasjonen, bruken eller nye typer angrep, kan fortsatt gjenstå. Ansvaret for styring, aksept av risiko og eventuelle ekstra sikkerhetstiltak ligger fortsatt hos virksomheten som tar systemet i bruk.

Hva skal testerne undersøke?

Akkrediterte selskaper kan gjennomføre såkalte red team-tester, der de forsøker å lure eller omgå sikkerhetsmekanismene i et KI-system. Det kan blant annet innebære:

• Prompt-injeksjon: forsøk på å få modellen til å følge skadelige eller uautoriserte instrukser som er lagt inn i brukerinnhold eller eksterne datakilder.
• «Jailbreaking»: forsøk på å omgå modellens sikkerhetsregler og fremprovosere innhold eller handlinger som systemet egentlig skal avvise.

Testingen kan dekke flere typer feil og svakheter:

• unøyaktige eller oppdiktede svar og annet skadelig eller uønsket innhold
• skjevheter i beslutninger og andre rettferdighetsproblemer
• personvern- og sikkerhetsproblemer, blant annet datalekkasje og tekniske sårbarheter
• motstandsdyktighet mot prompt-injeksjon og «jailbreaking», noe som er særlig relevant for generativ og agentbasert KI

Hvilke krav må selskapene oppfylle?

Søkerne skal vurderes både på hvor gode de er til å teste KI, og på om de har kapasitet til å drive tjenesten på en forsvarlig måte. Kriteriene omfatter blant annet:

• Teknisk kompetanse: Selskapet må kunne dokumentere at det behersker de konkrete testtjenestene det søker akkreditering for. Vurderingen kan ta utgangspunkt i IMDAs Starter Kit for Testing LLM-Based Applications for Safety and Reliability.
• Styring og virksomhetens anseelse: Det kreves relevant erfaring, god forretningsmessig status og en forpliktelse til å ha næringsaktivitet i Singapore.
• Økonomisk bærekraft: Selskapet må ha tilstrekkelig økonomisk grunnlag til å drive stabilt over tid.
• Operativ beredskap: Det må ha nok kapasitet og være klart til å levere de foreslåtte tjenestene.
• Riktig beskrivelse av tjenestene: Det oppgitte tjenesteområdet må samsvare med selskapets dokumenterte evner.

De fem viktigste LLM-risikoene

IMDAs Starter Kit er frivillig veiledning for grunnleggende sikkerhets- og pålitelighetstesting av applikasjoner basert på store språkmodeller, ofte kalt LLM-er. Veiledningen trekker særlig frem fem risikoområder:

1. hallusinasjoner og unøyaktighet
2. skjevheter i beslutninger
3. uønsket innhold
4. datalekkasje
5. sårbarheter, blant annet mot fiendtlige instrukser

Ingen gebyrer – men akkrediteringen må fornyes

AI Verify Foundation har opplyst at det ikke skal kreves gebyr verken for søknad eller akkreditering. Hensikten er å senke terskelen for deltakelse og bidra til å utvikle markedet for KI-kvalitetssikring.

En akkreditering skal være gyldig i 12 måneder. Deretter må selskapet fornye den og dokumentere at kompetansen fortsatt holder mål, i takt med at standarder og trusselbildet endrer seg.

Selskaper som ifølge de tilgjengelige opplysningene har vist tidlig interesse, er Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro og Vulcan.

Hva kan dette bety for KI-markedet?

AI TAP er ment å gjøre markedet for ekstern KI-testing mer ensartet og troverdig. Felles forventninger til testernes kompetanse, dokumenterte vurderinger og tydelig avgrensede testområder kan gjøre det lettere for virksomheter å bestille testing som passer deres konkrete bruk og risikobilde.

Det tilgjengelige kildematerialet inneholder ikke konkrete uttalelser fra bransjerepresentanter om at ordningen allerede vil gi bedre tilpasning, styring eller tillit til KI-sikkerhet. Utformingen av programmet legger likevel til rette for slike resultater: Kjøpere får bedre grunnlag for å velge testere, testomfanget skal være tydelig, og virksomhetene kan få en ekstra vurdering fra uavhengige fagmiljøer.

Målet er å bygge opp en gruppe troverdige selskaper som kan teste KI på tvers av sektorer som helse, finans, rekruttering og offentlige tjenester. Ordningen skal også etablere et praktisk minstemål for hva god teknisk kvalitetssikring innebærer.

For virksomheter som skal ta i bruk KI, kan dette gjøre det enklere å finne en uavhengig tester med dokumentert kompetanse og et klart definert tjenesteområde. Akkrediterte selskaper kan også bli satt i kontakt med organisasjoner som leter etter kvalifiserte testere.

Det er likevel viktig å skille mellom akkreditering av testeren og sikkerhetsgodkjenning av selve KI-systemet. AI TAP betyr ikke at et bestemt system er helt trygt eller uten risiko. Risiko som oppstår gjennom den konkrete integrasjonen, bruken eller nye typer angrep, kan fortsatt gjenstå. Ansvaret for styring, aksept av risiko og eventuelle ekstra sikkerhetstiltak ligger fortsatt hos virksomheten som tar systemet i bruk.

Hva skal testerne undersøke?

Akkrediterte selskaper kan gjennomføre såkalte red team-tester, der de forsøker å lure eller omgå sikkerhetsmekanismene i et KI-system. Det kan blant annet innebære:

• Prompt-injeksjon: forsøk på å få modellen til å følge skadelige eller uautoriserte instrukser som er lagt inn i brukerinnhold eller eksterne datakilder.
• «Jailbreaking»: forsøk på å omgå modellens sikkerhetsregler og fremprovosere innhold eller handlinger som systemet egentlig skal avvise.

Testingen kan dekke flere typer feil og svakheter:

• unøyaktige eller oppdiktede svar og annet skadelig eller uønsket innhold
• skjevheter i beslutninger og andre rettferdighetsproblemer
• personvern- og sikkerhetsproblemer, blant annet datalekkasje og tekniske sårbarheter
• motstandsdyktighet mot prompt-injeksjon og «jailbreaking», noe som er særlig relevant for generativ og agentbasert KI

Hvilke krav må selskapene oppfylle?

Søkerne skal vurderes både på hvor gode de er til å teste KI, og på om de har kapasitet til å drive tjenesten på en forsvarlig måte. Kriteriene omfatter blant annet:

• Teknisk kompetanse: Selskapet må kunne dokumentere at det behersker de konkrete testtjenestene det søker akkreditering for. Vurderingen kan ta utgangspunkt i IMDAs Starter Kit for Testing LLM-Based Applications for Safety and Reliability.
• Styring og virksomhetens anseelse: Det kreves relevant erfaring, god forretningsmessig status og en forpliktelse til å ha næringsaktivitet i Singapore.
• Økonomisk bærekraft: Selskapet må ha tilstrekkelig økonomisk grunnlag til å drive stabilt over tid.
• Operativ beredskap: Det må ha nok kapasitet og være klart til å levere de foreslåtte tjenestene.
• Riktig beskrivelse av tjenestene: Det oppgitte tjenesteområdet må samsvare med selskapets dokumenterte evner.

De fem viktigste LLM-risikoene

IMDAs Starter Kit er frivillig veiledning for grunnleggende sikkerhets- og pålitelighetstesting av applikasjoner basert på store språkmodeller, ofte kalt LLM-er. Veiledningen trekker særlig frem fem risikoområder:

1. hallusinasjoner og unøyaktighet
2. skjevheter i beslutninger
3. uønsket innhold
4. datalekkasje
5. sårbarheter, blant annet mot fiendtlige instrukser

Ingen gebyrer – men akkrediteringen må fornyes

AI Verify Foundation har opplyst at det ikke skal kreves gebyr verken for søknad eller akkreditering. Hensikten er å senke terskelen for deltakelse og bidra til å utvikle markedet for KI-kvalitetssikring.

En akkreditering skal være gyldig i 12 måneder. Deretter må selskapet fornye den og dokumentere at kompetansen fortsatt holder mål, i takt med at standarder og trusselbildet endrer seg.

Selskaper som ifølge de tilgjengelige opplysningene har vist tidlig interesse, er Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro og Vulcan.

Hva kan dette bety for KI-markedet?

AI TAP er ment å gjøre markedet for ekstern KI-testing mer ensartet og troverdig. Felles forventninger til testernes kompetanse, dokumenterte vurderinger og tydelig avgrensede testområder kan gjøre det lettere for virksomheter å bestille testing som passer deres konkrete bruk og risikobilde.

Det tilgjengelige kildematerialet inneholder ikke konkrete uttalelser fra bransjerepresentanter om at ordningen allerede vil gi bedre tilpasning, styring eller tillit til KI-sikkerhet. Utformingen av programmet legger likevel til rette for slike resultater: Kjøpere får bedre grunnlag for å velge testere, testomfanget skal være tydelig, og virksomhetene kan få en ekstra vurdering fra uavhengige fagmiljøer.