AI TAP pyrkii rakentamaan luotettavien testausyritysten verkoston, joka pystyy arvioimaan tekoälyä esimerkiksi terveydenhuollossa, rahoitusalalla, rekrytoinnissa ja julkisissa palveluissa. Samalla ohjelma määrittelee käytännön vähimmäistason sille, millaista laadukas tekninen tekoälytestaus on.

Akkreditoidut yritykset tunnustetaan niiden osoittamasta osaamisesta tietyllä, ennalta määritellyllä testausalueella. Niitä voidaan myös yhdistää organisaatioihin, jotka etsivät päteviä ulkopuolisia testaajia. Tavoitteena on vahvistaa sekä tekoälyä käyttöön ottavien organisaatioiden että niiden sidosryhmien ja loppukäyttäjien luottamusta.

Akkreditointi ei kuitenkaan tarkoita, että jokainen testattu tekoälyjärjestelmä olisi automaattisesti turvallinen tai riskitön. Käyttöympäristöön, järjestelmäintegraatioihin ja uusiin, vielä tuntemattomiin riskeihin voi liittyä ongelmia. Viime kädessä käyttöönottava organisaatio vastaa edelleen hallinnasta, riskien hyväksymisestä ja tarvittavista lisäsuojauksista.

Mitä testaajat yrittävät löytää?

Testaukseen voi kuulua vastakkainasetteluun perustuvaa red teaming -arviointia. Siinä testaajat pyrkivät esimerkiksi manipuloimaan järjestelmää prompt injection -hyökkäyksillä tai tekemään sille jailbreakin eli kiertämään mallin suojauksia ja houkuttelemaan sen tuottamaan sääntöjen vastaista tai muuten vaarallista sisältöä.

Testauksen mahdollisia kohteita ovat muun muassa:

• Turvallisuus- ja luotettavuusongelmat, kuten epätarkat tai keksityt vastaukset sekä haitallinen tai muuten ei-toivottu sisältö.
• Oikeudenmukaisuuden puutteet, kuten päätöksentekoon liittyvä vinouma.
• Yksityisyys- ja tietoturvaongelmat, esimerkiksi tietojen vuotaminen ja tekniset haavoittuvuudet.
• Prompt injection- ja jailbreak-hyökkäysten kestävyys, mikä on erityisen tärkeää generatiivisissa ja itsenäisesti toimivissa tekoälysovelluksissa.

Millä perusteilla yritykset akkreditoidaan?

Hakijoita arvioidaan sekä teknisen testausosaamisen että organisaation toimintakyvyn perusteella. Kriteereihin kuuluvat seuraavat osa-alueet:

• Tekninen pätevyys: yrityksen on osoitettava pystyvänsä tuottamaan ilmoittamansa, tarkasti määritellyt testauspalvelut. Arvioinnissa voidaan hyödyntää IMDA:n Starter Kit for Testing LLM-Based Applications for Safety and Reliability -ohjeistusta.
• Hallinto ja hyvä maine: hakijalla on oltava asiaankuuluva kokemus, hyvä asema ja sitoutuminen liiketoimintaan Singaporessa.
• Taloudellinen kestävyys: yrityksellä on oltava riittävä taloudellinen pohja toiminnan jatkuvuuden varmistamiseksi.
• Operatiivinen valmius: yrityksellä on oltava riittävä kapasiteetti ja valmius tarjota ehdottamiaan palveluja.
• Palvelukuvauksen paikkansapitävyys: ilmoitetun testausalan on vastattava yrityksen tosiasiallisesti osoitettua osaamista.

IMDA:n Starter Kit nostaa esiin viisi keskeistä riskiä

Starter Kit on vapaaehtoinen ohjeistus suurten kielimallien sovellusten perustason turvallisuuden ja luotettavuuden testaamiseen. Sen viisi keskeistä riskialuetta ovat:

1. Hallusinaatiot ja epätarkkuudet.
2. Päätöksenteon vinoumat.
3. Ei-toivottu sisältö.
4. Tietojen vuotaminen.
5. Haavoittuvuudet, kuten vastakkainasetteluun perustuville kehotteille altistuminen.

Maksut, voimassaolo ja kiinnostuneet yritykset

AI Verify Foundationin mukaan hakemus- tai akkreditointimaksuja ei peritä. Maksuttomuuden tarkoituksena on madaltaa osallistumiskynnystä ja tukea tekoälyn varmennuspalvelujen markkinan kasvua.

Akkreditointi on voimassa 12 kuukautta. Sen jälkeen yrityksen on haettava uusimista ja osoitettava osaamisensa säilyneen, koska testausstandardit ja uhkakenttä muuttuvat ajan myötä.

Varhaista kiinnostusta ohjelmaa kohtaan ovat lähteiden mukaan osoittaneet Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro ja Vulcan.

Mitä vaikutuksia alalle odotetaan?

AI TAP:n tavoitteena on tehdä ulkopuolisesta tekoälytestauksesta yhtenäisempää ja uskottavampaa. Yhteiset odotukset testaajien osaamisesta, dokumentoidut ja näyttöön perustuvat arvioinnit sekä käyttötapaukseen ja riskialueeseen sovitettu testaus voisivat helpottaa organisaatioiden ostopäätöksiä.

Saatavilla olevissa lähteissä ei ole yksityiskohtaisia toimialan edustajien lausuntoja siitä, miten akkreditointi parantaisi testauksen räätälöintiä, hallintaa tai luottamusta tekoälyn turvallisuuteen. Ohjelman rakenne kuitenkin tukee näitä tavoitteita: ostajat voivat tunnistaa päteviä testaajia, testauksen laajuus tehdään näkyväksi ja käyttöönottajat saavat riippumattomasta arvioinnista lisätietoa päätöksentekonsa tueksi.

AI TAP pyrkii rakentamaan luotettavien testausyritysten verkoston, joka pystyy arvioimaan tekoälyä esimerkiksi terveydenhuollossa, rahoitusalalla, rekrytoinnissa ja julkisissa palveluissa. Samalla ohjelma määrittelee käytännön vähimmäistason sille, millaista laadukas tekninen tekoälytestaus on.

Akkreditoidut yritykset tunnustetaan niiden osoittamasta osaamisesta tietyllä, ennalta määritellyllä testausalueella. Niitä voidaan myös yhdistää organisaatioihin, jotka etsivät päteviä ulkopuolisia testaajia. Tavoitteena on vahvistaa sekä tekoälyä käyttöön ottavien organisaatioiden että niiden sidosryhmien ja loppukäyttäjien luottamusta.

Akkreditointi ei kuitenkaan tarkoita, että jokainen testattu tekoälyjärjestelmä olisi automaattisesti turvallinen tai riskitön. Käyttöympäristöön, järjestelmäintegraatioihin ja uusiin, vielä tuntemattomiin riskeihin voi liittyä ongelmia. Viime kädessä käyttöönottava organisaatio vastaa edelleen hallinnasta, riskien hyväksymisestä ja tarvittavista lisäsuojauksista.

Mitä testaajat yrittävät löytää?

Testaukseen voi kuulua vastakkainasetteluun perustuvaa red teaming -arviointia. Siinä testaajat pyrkivät esimerkiksi manipuloimaan järjestelmää prompt injection -hyökkäyksillä tai tekemään sille jailbreakin eli kiertämään mallin suojauksia ja houkuttelemaan sen tuottamaan sääntöjen vastaista tai muuten vaarallista sisältöä.

Testauksen mahdollisia kohteita ovat muun muassa:

• Turvallisuus- ja luotettavuusongelmat, kuten epätarkat tai keksityt vastaukset sekä haitallinen tai muuten ei-toivottu sisältö.
• Oikeudenmukaisuuden puutteet, kuten päätöksentekoon liittyvä vinouma.
• Yksityisyys- ja tietoturvaongelmat, esimerkiksi tietojen vuotaminen ja tekniset haavoittuvuudet.
• Prompt injection- ja jailbreak-hyökkäysten kestävyys, mikä on erityisen tärkeää generatiivisissa ja itsenäisesti toimivissa tekoälysovelluksissa.

Millä perusteilla yritykset akkreditoidaan?

Hakijoita arvioidaan sekä teknisen testausosaamisen että organisaation toimintakyvyn perusteella. Kriteereihin kuuluvat seuraavat osa-alueet:

• Tekninen pätevyys: yrityksen on osoitettava pystyvänsä tuottamaan ilmoittamansa, tarkasti määritellyt testauspalvelut. Arvioinnissa voidaan hyödyntää IMDA:n Starter Kit for Testing LLM-Based Applications for Safety and Reliability -ohjeistusta.
• Hallinto ja hyvä maine: hakijalla on oltava asiaankuuluva kokemus, hyvä asema ja sitoutuminen liiketoimintaan Singaporessa.
• Taloudellinen kestävyys: yrityksellä on oltava riittävä taloudellinen pohja toiminnan jatkuvuuden varmistamiseksi.
• Operatiivinen valmius: yrityksellä on oltava riittävä kapasiteetti ja valmius tarjota ehdottamiaan palveluja.
• Palvelukuvauksen paikkansapitävyys: ilmoitetun testausalan on vastattava yrityksen tosiasiallisesti osoitettua osaamista.

IMDA:n Starter Kit nostaa esiin viisi keskeistä riskiä

Starter Kit on vapaaehtoinen ohjeistus suurten kielimallien sovellusten perustason turvallisuuden ja luotettavuuden testaamiseen. Sen viisi keskeistä riskialuetta ovat:

1. Hallusinaatiot ja epätarkkuudet.
2. Päätöksenteon vinoumat.
3. Ei-toivottu sisältö.
4. Tietojen vuotaminen.
5. Haavoittuvuudet, kuten vastakkainasetteluun perustuville kehotteille altistuminen.

Maksut, voimassaolo ja kiinnostuneet yritykset

AI Verify Foundationin mukaan hakemus- tai akkreditointimaksuja ei peritä. Maksuttomuuden tarkoituksena on madaltaa osallistumiskynnystä ja tukea tekoälyn varmennuspalvelujen markkinan kasvua.

Akkreditointi on voimassa 12 kuukautta. Sen jälkeen yrityksen on haettava uusimista ja osoitettava osaamisensa säilyneen, koska testausstandardit ja uhkakenttä muuttuvat ajan myötä.

Varhaista kiinnostusta ohjelmaa kohtaan ovat lähteiden mukaan osoittaneet Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro ja Vulcan.

Mitä vaikutuksia alalle odotetaan?

AI TAP:n tavoitteena on tehdä ulkopuolisesta tekoälytestauksesta yhtenäisempää ja uskottavampaa. Yhteiset odotukset testaajien osaamisesta, dokumentoidut ja näyttöön perustuvat arvioinnit sekä käyttötapaukseen ja riskialueeseen sovitettu testaus voisivat helpottaa organisaatioiden ostopäätöksiä.

Saatavilla olevissa lähteissä ei ole yksityiskohtaisia toimialan edustajien lausuntoja siitä, miten akkreditointi parantaisi testauksen räätälöintiä, hallintaa tai luottamusta tekoälyn turvallisuuteen. Ohjelman rakenne kuitenkin tukee näitä tavoitteita: ostajat voivat tunnistaa päteviä testaajia, testauksen laajuus tehdään näkyväksi ja käyttöönottajat saavat riippumattomasta arvioinnista lisätietoa päätöksentekonsa tueksi.