En reell KI-brems må kunne utsette risikable lanseringer

En reell brems på KI bør styre tempoet i utviklingen av de mest avanserte systemene, ikke stanse KI-bruk i hele økonomien. Nylige utspill fra sentrale KI-ledere har satt uavhengige evalueringer og internasjonalt samarbeid på dagsordenen. Men troverdige sikkerhetstiltak krever mer enn frivillige løfter: Testene må være uavhengige, resultatene må kunne påvirke om et system lanseres, og kravene bør stå i forhold til risikoen.

Singapore har flere nyttige verktøy for dette arbeidet, blant annet et rammeverk for styring av KI-agenter, testverktøyet AI Verify og et program som anerkjenner uavhengige KI-testere. Neste steg er å knytte verktøyene til tydelige, kunnskapsbaserte avgjørelser om systemene som faktisk tas i bruk. 4

Hva forslagene om å bremse KI innebærer

De nylige forslagene handler om tempoet i utviklingen av frontier-KI – de mest avanserte systemene, der sikkerhetstiltak og ekstern kontroll kan få problemer med å holde tritt med økt kapasitet. Blant forslagene som er omtalt, er å gi eksterne evaluatorer løpende tilgang til ledende KI-selskaper, samordne sikkerhetsstandarder og styrke internasjonalt samarbeid.

Forslagene viser økt interesse for spørsmålet, men er ikke en ferdig politikk eller en bindende avtale mellom KI-selskapene. Den internasjonale KI-sikkerhetsrapporten beskriver arbeidet med risikohåndtering som fortsatt under utvikling, og peker på at de fleste initiativ fra selskaper fremdeles er frivillige. Det skillet er viktig: Et selskaps løfte om å teste en modell er ikke i seg selv en regel som kan tvinge selskapet til å utsette en lansering dersom alvorlig risiko gjenstår.

La risikoen avgjøre om en lansering kan gå videre

En praktisk tilnærming vil stille strengere krav til systemer med større kapasitet eller myndighet, uten å innføre et generelt forbud mot vanlig KI-bruk. Et enkelt verktøy for tekstutkast og en agent som kan utføre handlinger med store konsekvenser, bør ikke automatisk møte de samme kravene. Singapores rammeverk for KI-agenter anbefaler allerede å vurdere og avgrense risiko og å legge inn menneskelig godkjenning før viktige eller sensitive handlinger. 46

For de mest avanserte modellene og bruksområdene med stor påvirkning kan myndigheter bygge videre på dette med en prosess før lansering som omfatter:

• Uavhengig testing før lansering: Gi kvalifiserte eksterne testere sikker tilgang til relevante systemer og dokumentasjon. Testene bør undersøke farlige egenskaper og forutsigbar misbruk. Løpende tilgang for evaluatorer er foreslått i nyere utspill om å styre utviklingen av de mest avanserte systemene, men er ikke et generelt gjeldende krav.
• Tydelige terskler og oppfølging: Fastsett og gjør det klart hvilke testfunn som utløser flere sikkerhetstiltak, begrenset tilgang eller utsettelse. Hvis et system ikke består en evaluering, bør det føre til en dokumentert reaksjon. Når risikoen tilsier det, bør lanseringen holdes tilbake – ikke bare sendes til enda en intern gjennomgang. Dette er forslag til styringstiltak, ikke krav som beskrives i Singapores nåværende rammeverk. 4
• Tiltak tilpasset bruken: For agenter med tillatelse til å utføre handlinger med store konsekvenser bør man vurdere avgrenset tilgang, menneskelig godkjenning ved viktige beslutninger, overvåking og tydelig ansvar. Singapores rammeverk støtter risikobegrensning og reell menneskelig oppfølging; de konkrete tiltakene bør tilpasses systemet og bruken. 48
• Ny vurdering ved vesentlige endringer: Test systemet på nytt når modellen, verktøyene den bruker eller bruksområdet endres vesentlig. En tidligere test bør ikke behandles som en varig garanti. Dette er et foreslått tiltak for å sikre at vurderingen fortsatt er relevant når systemet endres.

Bruksområder med lavere risiko bør få en tydeligere og enklere vei til bruk. Risikobaserte regler kan legge til rette for at virksomheter tar i bruk KI uten å behandle en bestått test som bevis på at systemet er trygt i alle sammenhenger. EUs KI-forordning er ett eksempel på regulering som tar utgangspunkt i risikoen ved ulike bruksområder.

Åpne regler, uavhengige tester

Internasjonalt samarbeid kan gjøre evalueringer mer sammenlignbare og redusere presset på selskaper til å velge den minst krevende formen for tilsyn. Myndigheter kan arbeide for felles testmetoder, deling av informasjon om hendelser og minstekrav til systemer med høyest risiko. Uavhengige testere kan så vurdere systemene opp mot disse kravene. De nylige forslagene om å bremse utviklingen tar også til orde for samarbeid mellom selskaper og på tvers av landegrenser.

Det er viktig å fordele ansvaret riktig. Offentlige myndigheter bør fastsette bindende terskler og bestemme hva som skjer når de overskrides. Selskaper kan bidra med teknisk kunnskap, men bør ikke alene avgjøre om deres egne systemer oppfyller kravene. Uavhengige testere trenger åpne metoder og tydelig informasjon om mulige interessekonflikter. Dette er prinsipper for et foreslått tilsynssystem, ikke ordninger som allerede er etablert gjennom utspillene fra bransjen.

Hva Singapore kan bygge videre på

Singapores Model AI Governance Framework for Agentic AI gir virksomheter veiledning om bruk av KI-agenter, blant annet om risikovurdering, menneskelig ansvar og kontrolltiltak. Rammeverket er veiledning for ansvarlig bruk, ikke i seg selv et bindende krav om at et system må godkjennes før lansering. 468

AI Verify tilbyr testverktøy, mens AI Tester Accreditation Programme anerkjenner tredjeparts testfirmaer med relevant teknisk kompetanse og operasjonell kapasitet. Samlet kan initiativene bidra til mer ensartede vurderinger i næringslivet og finanssektoren. Singapore kan også legge til rette for felles vurderingsprofiler og kontrakter som tydeliggjør hva modellleverandører, systemintegratorer, virksomheter som tar systemene i bruk og testere forventes å dokumentere. Dette er mulige neste steg, ikke tiltak som allerede er fastsatt i de nevnte rammeverkene.

Et nyttig mål kan være at land anerkjenner testresultater og metoder på tvers av grenser – ikke å hevde at ett nasjonalt sertifikat garanterer sikkerhet for alle systemer og bruksområder. Rammeverket og testverktøyene kan gjøre dokumentasjonen mer strukturert. Myndigheter og virksomheter må likevel vurdere om dokumentasjonen dekker den faktiske bruken og risikoen.

Vurder KI-sikkerhet, programvaresikkerhet og cybersikkerhet samlet

Testing av svarene fra en modell er bare én del av vurderingen av en KI-agent. En fullstendig evaluering bør også undersøke programvaresystemet rundt modellen og sikkerheten til verktøyene og tilgangene den kan bruke. Dette er beslektede, men ulike spørsmål: Hvilken skadelig atferd kan KI-en vise? Hvordan oppfører den ferdige løsningen seg når noe svikter eller endres? Og kan en angriper ta kontroll over systemet eller lede det på avveier?

En slik samlet vurdering er et anbefalt utvidet sikkerhetsarbeid, ikke en påstand om at alle eksisterende verktøy allerede dekker alle tre områdene. AI Verify Toolkit beskriver tekniske tester for tradisjonelle maskinlæringssystemer, blant annet av rettferdighet, forklarbarhet og robusthet. Derfor er det viktig å beskrive hvilken ende-til-ende-testing som i tillegg trengs for KI-agenter, i stedet for å anta at en test av modellen alene godkjenner hele systemet.

Slik ser en reell brems ut

En brems er reell når uavhengig dokumentasjon kan endre hva som skjer videre: En lansering med høy risiko kan utsettes, begrenses eller endres dersom sikkerhetstiltakene ikke strekker til, samtidig som bruksområder med lavere risiko får en forholdsmessig vei til bruk. Singapores rammeverk og testprogrammer gir et utgangspunkt for en slik modell. Men kravene for lansering, håndhevingen og omfanget av evalueringene må gjøres tydelige.