Disse sikkerhedsnet skal være på plads, før AI-agenter får adgang til produktionen

Giv kun agenten de rettigheder, data og værktøjer, der er nødvendige for en klart afgrænset opgave. Adskil udvikling, testmiljø og produktion, og undgå at lade den samme agentidentitet have samtidig adgang til produktionsdatabaser, backupsystemer, identitetsstyring, betalingssystemer og udrulningsinfrastruktur.

Princippet om mindst mulige rettigheder er også blandt grundprincipperne i Singapore Consensus fra 2026 sammen med sporbar identitet, revisionsmulighed, valideret udrulning, sikkerhed under drift, afbrydelighed og menneskeligt tilsyn.

Rettigheder bør være tidsbegrænsede, knyttet til en bestemt ressource og automatisk ophæves, når opgaven er afsluttet. Agenten må ikke kunne udvide sine egne rettigheder eller ændre de systemer, der overvåger den.

2. Kræv uafhængig godkendelse af konsekvensrige handlinger

Indfør et menneskeligt godkendelsestrin før handlinger som sletning af data, ændringer i databasestrukturer, ændring af legitimationsoplysninger, udsendelse af eksterne meddelelser med stor betydning, pengeoverførsler eller ændringer i sikkerhedskritisk infrastruktur. Ved de mest alvorlige handlinger bør virksomheder overveje dobbeltgodkendelse eller en anden form for funktionsadskillelse.

Godkendelsen skal ligge uden for agentens egen beslutningssløjfe. En prompt, der beder systemet bekræfte sin hensigt, svarer ikke til en infrastrukturport, der blokerer udførelsen, indtil en autoriseret person har godkendt den konkrete handling.

3. Hold backups uden for skadesområdet

En backup, der deler legitimationsoplysninger eller netværksveje med produktionssystemet, kan blive slettet sammen med de data, den skulle beskytte. Brug isolerede, skrivebeskyttede eller på anden måde uforanderlige backups, som agenten ikke har adgang til, og test jævnligt, om data kan gendannes.

Det er en enkel, men ofte overset konsekvens af agenters adgang: Spørgsmålet er ikke kun, om agenten kan skade produktionen, men også om den kan nå genoprettelsessystemerne bagefter.

4. Før manipulationssikre handlingsspor

Alle agentens handlinger bør kunne knyttes til en bestemt agentidentitet og en bestemt udrulning. Loggene bør, hvor det er relevant, indeholde:

• model- og softwareversion;
• den bruger, opgave og instruktion, der satte handlingen i gang;
• kaldte værktøjer og anvendte rettigheder;
• ændrede data eller kode;
• godkendelser og politiske eller tekniske kontrolbeslutninger;
• fejl, gentagelser og forsøg på tilbagerulning; samt
• det endelige resultat, som blev meldt tilbage til operatørerne.

Loggene bør opbevares adskilt fra agenten og beskyttes mod ændringer. Bengio har specifikt fremhævet behovet for digitale spor, der gør autonome handlinger sporbare, samt et tydeligt ansvar for, hvem der kontrollerer systemet.

5. Placér ansvaret hos en menneskelig organisation

Hver udrulning bør have en navngiven forretningsansvarlig, en teknisk ansvarlig, en eskalationsvej og en leder for eventuel hændelseshåndtering. Ansvaret skal omfatte godkendelse af rettigheder, overvågning, reaktion på hændelser samt beslutninger om at sætte systemet på pause eller udfase det.

„Det var AI’en, der gjorde det“ er ikke en ansvarsmodel. Organisationen er fortsat ansvarlig for at beslutte, hvor agenten må arbejde, hvilke data den må tilgå, og hvilke sikkerhedsforanstaltninger der skal gælde, når den fejler.

6. Byg en ekstern og pålidelig nedlukningsvej

Agenten må ikke selv kontrollere sin overvågning, sine legitimationsoplysninger, sin udskiftningsproces eller sin nedlukningsmekanisme. Deaktivering skal kunne ske udefra, straks og på en teknisk håndhævelig måde. Det skal være muligt at tilbagekalde rettigheder og isolere tilkoblede værktøjer, også hvis agenten ikke svarer eller afgiver misvisende statusmeldinger.

Nedlukning bør testes som et fejlscenarie – ikke antages at fungere, blot fordi systemet normalt følger instruktioner. Anthropic og andre forskere har undersøgt simulerede situationer med selvopretholdelse, afpresning og andre forsøg på at undgå kontrol. I Anthropics vurdering blev risikoen for sabotage beskrevet som meget lav, men ikke lig nul.

7. Test adfærd – ikke kun funktioner

En benchmark, der viser, at en agent kan løse en opgave, viser ikke, at den respekterer begrænsninger undervejs. Før udrulning bør hele systemet – agenten sammen med dens værktøjer – testes under modstridende instruktioner, uklare mål og angrebslignende forhold.

Relevante tests bør undersøge, om agenten:

• rapporterer fejl ærligt;
• opfinder journaler eller hævder, at en opgave er fuldført, når den ikke er det;
• skjuler fejl;
• udvider sine rettigheder eller tilgår irrelevante data;
• forsøger at omgå godkendelsesporte;
• eksfiltrerer information;
• ændrer kode eller data for at beskytte sit tildelte mål; eller
• modsætter sig overvågning, udskiftning eller nedlukning.

Bengios forslag om „Scientist AI“ peger på én mulig retning: Et ikke-agentisk system, der er designet til at forklare observationer og vurdere foreslåede handlinger frem for selv at forfølge et operationelt mål. Ideen er at bruge et mere tillidsvækkende overvågningslag til at vurdere, hvad der er sandt, og hvilke konsekvenser en agents plan kan få.

8. Fastlæg målbare stopkriterier

Sikkerhedsbeslutninger bør baseres på operationelle grænser – ikke på en generel fornemmelse af, at systemet virker sikkert. Virksomheder kan blandt andet følge graden af uautoriserede handlinger, overtrædelser af politikker, fejlagtige påstande om gennemført arbejde, antal eskaleringer, hvor ofte tilbagerulning lykkes, samt tiden fra fejl til opdagelse og stop.

En udrulning bør sættes på pause, få reduceret sine rettigheder eller rulles tilbage, hvis på forhånd fastsatte grænser overskrides. Overvågningen skal fortsætte efter lanceringen, fordi virkelige værktøjer, data og incitamenter kan skabe situationer, som ikke fandtes under testen.

Singapore Consensus beskriver sikkerhed som forsvar i dybden på tre forbundne områder: udvikling af pålidelige systemer, vurdering af deres risici samt kontrol og indgriben efter udrulning.

9. Rul ud i etaper

Begynd med skrivebeskyttet adgang, syntetiske data og værktøjer i et afskærmet testmiljø. Gå derefter videre til snævre pilotprojekter, afgrænsede opgaver i produktionen og gradvist udvidede rettigheder – men kun når agenten opfylder dokumenterede sikkerhedskrav.

Uafhængige red teams bør teste hele driftsmiljøet, herunder identitetsstyring, API’er, databaser, overvågning og genoprettelsesprocedurer. Hvis man kun tester den underliggende sprogmodel, overser man de værktøjer og rettigheder, der i praksis bestemmer konsekvenserne af en fejl.

10. Kræv uafhængig kontrol og rapportering af hændelser

For agenter, der kan påvirke kritiske forretningssystemer, bør ekstern test og revision efter ibrugtagning supplere de interne evalueringer. Alvorlige hændelser bør dokumenteres og rapporteres gennem organisationens egne ledelses- og eventuelle regulatoriske kanaler.

Bengio har argumenteret for, at mange sikkerhedsteknikker allerede findes, men at brug, uafhængig verifikation og gennemsigtighed kræver stærkere institutionel opbakning. Kontrollen bør fokusere på, hvad agenten kan gøre, og hvilke systemer den kan nå – ikke på, om den bliver markedsført som en „assistent“.

Fra principper til en beslutning om go eller no-go

Før en virksomhed giver en agent adgang til produktionen, bør den kunne svare klart på fem spørgsmål:

1. Hvad kan agenten tilgå, og hvad er udtrykkeligt uden for dens rækkevidde?
2. Hvilke handlinger kræver godkendelse, og kan infrastrukturen håndhæve kravet?
3. Kan efterforskere rekonstruere alle væsentlige handlinger efter en hændelse?
4. Kan en ekstern operatør straks tilbagekalde adgangen og standse systemet?
5. Hvilken målt fejlrate eller hvilket testresultat udløser en pause eller tilbagerulning?

Hvis svarene afhænger af, at agenten frivilligt følger instruktionerne, er udrulningen endnu ikke tilstrækkeligt kontrolleret.

Det overordnede princip

Ingen autonom AI-agent bør få irreversibel myndighed, før det er dokumenteret, at den er begrænset, observerbar, afbrydelig og uafhængigt testet – og at den er placeret under en klart ansvarlig organisation.

Fælles internationale sikkerhedsrammer kan være med til at etablere ens forventninger, men virksomhederne skal stadig håndhæve dem i deres egen infrastruktur. Den centrale lære fra både driftsfejl og kontrollerede alignment-evalueringer er enkel: Autonomi skal optjenes gennem dokumentation.

En kapabel agent kan være nyttig i produktionen. Men kapacitet alene er ikke et sikkerhedsargument.