Foundation vil derfor opbygge en gruppe af troværdige virksomheder, der kan vurdere AI-løsninger på tværs af sektorer som sundhed, finans, rekruttering og offentlige tjenester. Ordningen skal samtidig etablere et praktisk minimumsniveau for, hvad god teknisk AI-test indebærer.

Akkrediterede virksomheder vil blive anerkendt for en dokumenteret og klart afgrænset testydelse. De kan også blive sat i forbindelse med organisationer, der leder efter kvalificerede testere. Det skal give virksomheder, interessenter og slutbrugere større tillid til den eksterne vurdering.

Det er dog vigtigt, at en akkreditering af en tester ikke betyder, at det konkrete AI-system er helt sikkert eller uden risiko. Risici, der kun viser sig i en bestemt implementering, integration eller ny trusselsituation, kan stadig være til stede. Det er fortsat den organisation, der anvender AI-systemet, som har ansvaret for styring, risikovurdering, accept af resterende risiko og eventuelle ekstra sikkerhedsforanstaltninger.

Hvad skal testerne undersøge?

Testvirksomhederne kan udføre såkaldte red-team-tests, hvor de forsøger at få et system til at svigte eller omgå dets sikkerhedsforanstaltninger. Det kan blandt andet ske gennem:

• Prompt-injection: manipulerende instruktioner i input eller eksternt indhold, som forsøger at få systemet til at tilsidesætte sine oprindelige regler.
• Jailbreaks: forsøg på at omgå modellens sikkerhedsbegrænsninger og fremkalde indhold eller adfærd, som systemet ikke burde levere.

Testene kan blandt andet omfatte:

• sikkerheds- og pålidelighedsfejl, herunder upræcise eller opdigtede svar samt skadeligt eller på anden måde uønsket indhold
• problemer med fairness, for eksempel bias i beslutninger
• privatlivs- og sikkerhedsproblemer som datalæk og tekniske sårbarheder
• modstandsdygtighed over for prompt-injection og jailbreaks, hvilket er særligt relevant for generativ og agentbaseret AI

Hvilke krav skal virksomhederne opfylde?

Ansøgere skal vurderes både på deres tekniske testevner og på deres organisatoriske kapacitet. Kravene omfatter blandt andet:

• Teknisk kompetence: Virksomheden skal kunne dokumentere, at den kan levere de specifikke testydelser, den søger akkreditering til. Vurderingen kan ske med udgangspunkt i blandt andet IMDA's Starter Kit for Testing LLM-Based Applications for Safety and Reliability.
• Ledelse og forretningsmæssig troværdighed: Ansøgeren skal have relevant erfaring, være i god stand og forpligte sig til forretningsaktiviteter i Singapore.
• Økonomisk bæredygtighed: Virksomheden skal have et tilstrækkeligt økonomisk grundlag til at drive sine aktiviteter på en stabil måde.
• Operationel parathed: Den skal have den nødvendige kapacitet og være klar til at levere de foreslåede tjenester.
• Præcist ydelsesområde: Det område, virksomheden erklærer, at den kan teste, skal stemme overens med dens dokumenterede kompetencer.

IMDA's fem centrale risikoområder for sprogmodeller

IMDA's Starter Kit er frivillig vejledning til grundlæggende test af sikkerhed og pålidelighed i applikationer baseret på store sprogmodeller – på engelsk kaldet large language models eller LLM'er. Vejledningen fokuserer på fem risici:

1. hallucinationer og unøjagtigheder
2. bias i beslutninger
3. uønsket indhold
4. datalæk
5. sårbarheder, blandt andet over for fjendtlige prompts

Hvad koster det, og hvor længe gælder akkrediteringen?

AI Verify Foundation oplyser, at der hverken vil være ansøgningsgebyr eller gebyr for selve akkrediteringen. Det skal holde adgangsbarriererne nede og understøtte udviklingen af markedet for AI-assurance.

En akkreditering gælder i 12 måneder. Herefter skal virksomheden forny den og dokumentere, at kompetencerne fortsat er på plads, i takt med at standarder og trusler udvikler sig.

Følgende virksomheder er blevet nævnt som nogle af dem, der tidligt har vist interesse: Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro og Vulcan.

Hvad kan ordningen ændre i branchen?

Den forventede effekt er et mere ensartet og troværdigt marked for ekstern AI-test. Fælles forventninger til testernes kompetencer, dokumenterede metoder og tydelige testområder kan gøre det lettere for organisationer at vælge den rigtige leverandør til deres konkrete AI-anvendelse og risikoprofil.

Det tilgængelige materiale indeholder ikke konkrete udtalelser fra branchefolk om, at ordningen vil forbedre tilpasning, styring eller tillid. Men ordningens udformning understøtter netop disse mål: Købere får lettere ved at identificere kompetente testere, testernes arbejdsområde bliver tydeligere, og organisationerne får en ekstra vurdering fra en uafhængig part.

Foundation vil derfor opbygge en gruppe af troværdige virksomheder, der kan vurdere AI-løsninger på tværs af sektorer som sundhed, finans, rekruttering og offentlige tjenester. Ordningen skal samtidig etablere et praktisk minimumsniveau for, hvad god teknisk AI-test indebærer.

Akkrediterede virksomheder vil blive anerkendt for en dokumenteret og klart afgrænset testydelse. De kan også blive sat i forbindelse med organisationer, der leder efter kvalificerede testere. Det skal give virksomheder, interessenter og slutbrugere større tillid til den eksterne vurdering.

Det er dog vigtigt, at en akkreditering af en tester ikke betyder, at det konkrete AI-system er helt sikkert eller uden risiko. Risici, der kun viser sig i en bestemt implementering, integration eller ny trusselsituation, kan stadig være til stede. Det er fortsat den organisation, der anvender AI-systemet, som har ansvaret for styring, risikovurdering, accept af resterende risiko og eventuelle ekstra sikkerhedsforanstaltninger.

Hvad skal testerne undersøge?

Testvirksomhederne kan udføre såkaldte red-team-tests, hvor de forsøger at få et system til at svigte eller omgå dets sikkerhedsforanstaltninger. Det kan blandt andet ske gennem:

• Prompt-injection: manipulerende instruktioner i input eller eksternt indhold, som forsøger at få systemet til at tilsidesætte sine oprindelige regler.
• Jailbreaks: forsøg på at omgå modellens sikkerhedsbegrænsninger og fremkalde indhold eller adfærd, som systemet ikke burde levere.

Testene kan blandt andet omfatte:

• sikkerheds- og pålidelighedsfejl, herunder upræcise eller opdigtede svar samt skadeligt eller på anden måde uønsket indhold
• problemer med fairness, for eksempel bias i beslutninger
• privatlivs- og sikkerhedsproblemer som datalæk og tekniske sårbarheder
• modstandsdygtighed over for prompt-injection og jailbreaks, hvilket er særligt relevant for generativ og agentbaseret AI

Hvilke krav skal virksomhederne opfylde?

Ansøgere skal vurderes både på deres tekniske testevner og på deres organisatoriske kapacitet. Kravene omfatter blandt andet:

• Teknisk kompetence: Virksomheden skal kunne dokumentere, at den kan levere de specifikke testydelser, den søger akkreditering til. Vurderingen kan ske med udgangspunkt i blandt andet IMDA's Starter Kit for Testing LLM-Based Applications for Safety and Reliability.
• Ledelse og forretningsmæssig troværdighed: Ansøgeren skal have relevant erfaring, være i god stand og forpligte sig til forretningsaktiviteter i Singapore.
• Økonomisk bæredygtighed: Virksomheden skal have et tilstrækkeligt økonomisk grundlag til at drive sine aktiviteter på en stabil måde.
• Operationel parathed: Den skal have den nødvendige kapacitet og være klar til at levere de foreslåede tjenester.
• Præcist ydelsesområde: Det område, virksomheden erklærer, at den kan teste, skal stemme overens med dens dokumenterede kompetencer.

IMDA's fem centrale risikoområder for sprogmodeller

IMDA's Starter Kit er frivillig vejledning til grundlæggende test af sikkerhed og pålidelighed i applikationer baseret på store sprogmodeller – på engelsk kaldet large language models eller LLM'er. Vejledningen fokuserer på fem risici:

1. hallucinationer og unøjagtigheder
2. bias i beslutninger
3. uønsket indhold
4. datalæk
5. sårbarheder, blandt andet over for fjendtlige prompts

Hvad koster det, og hvor længe gælder akkrediteringen?

AI Verify Foundation oplyser, at der hverken vil være ansøgningsgebyr eller gebyr for selve akkrediteringen. Det skal holde adgangsbarriererne nede og understøtte udviklingen af markedet for AI-assurance.

En akkreditering gælder i 12 måneder. Herefter skal virksomheden forny den og dokumentere, at kompetencerne fortsat er på plads, i takt med at standarder og trusler udvikler sig.

Følgende virksomheder er blevet nævnt som nogle af dem, der tidligt har vist interesse: Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro og Vulcan.

Hvad kan ordningen ændre i branchen?

Den forventede effekt er et mere ensartet og troværdigt marked for ekstern AI-test. Fælles forventninger til testernes kompetencer, dokumenterede metoder og tydelige testområder kan gøre det lettere for organisationer at vælge den rigtige leverandør til deres konkrete AI-anvendelse og risikoprofil.

Det tilgængelige materiale indeholder ikke konkrete udtalelser fra branchefolk om, at ordningen vil forbedre tilpasning, styring eller tillid. Men ordningens udformning understøtter netop disse mål: Købere får lettere ved at identificere kompetente testere, testernes arbejdsområde bliver tydeligere, og organisationerne får en ekstra vurdering fra en uafhængig part.