Minneforgiftning gjør KI-agenters hukommelse til en forsinket angrepsflate

Vedvarende minne gjør en KI-agent mer nyttig. Den kan huske preferanser, tidligere arbeid, rutiner og kontekst mellom oppgaver. Men funksjonen åpner også et eget sikkerhetsproblem: Hvis upålitelig innhold lagres som minne, trenger ikke en angriper å utløse en synlig feil med én gang. Det kan holde å vente til agenten senere henter frem den forgiftede oppføringen i en helt annen oppgave. 15

Slik virker et forsinket minneangrep

Minneforgiftning er et integritetsangrep mot det en agent senere behandler som egen opparbeidet kunnskap. Forløpet kan forenkles slik:

1. Injeksjon: Agenten møter villedende eller ondsinnet innhold gjennom vanlige inndata eller et miljø den har tillatelse til å lese.
2. Lagring: Innholdet skrives til langtidsminnet, gjerne ved siden av legitime notater, fakta og tidligere oppgaver.
3. Dvale: Agenten fortsetter å løse ufarlige oppgaver, slik at den opprinnelige lagringen kan få liten oppmerksomhet.
4. Gjenhenting: En senere forespørsel, oppgave, formulering eller semantisk lik kontekst gjør at systemet henter den forgiftede oppføringen.
5. Aktivering: Det hentede innholdet påvirker agentens resonnement, anbefaling eller bruk av et verktøy. 125

Det avgjørende skillet fra vanlig prompt-injeksjon er tidsaspektet. En vellykket ondsinnet minneskriving kan påvirke senere økter, selv om den første interaksjonen ikke synlig endrer agentens oppførsel. 130

Angriperen trenger heller ikke alltid direkte tilgang til en minnedatabase. Forskning på nettagenter beskriver for eksempel et angrep på tvers av både økter og nettsteder: Agenten ser en manipulert nettside under normal bruk, minnet forurenses, og angrepet aktiveres først i en senere oppgave. 2

Dette undersøkte analysen fra University of Calgary

Forskere tilknyttet University of Calgary analyserte 2 614 simulerte angrepstrajektorier med flere steg for LLM-agenter med minne. I stedet for kun å spørre om et angrep lyktes eller mislyktes, undersøkte de hvordan kompromitteringen utviklet seg over tid. Fire angrepsmønstre ble analysert: kjedeforgiftning, policyomskriving, bakdørutløsning og langsom drift. 14

Kjedeforgiftning

Kjedeforgiftning plasserer en skadelig premiss tidlig i et flertrinnsforløp. Senere resonnementer kan bygge videre på premisset gjennom tilsynelatende plausible mellomvalg, før resultatet til slutt blir usikkert. Sikkerhetsutfordringen er at enkeltstegene ikke nødvendigvis ser åpenbart ondsinnede ut isolert sett. 14

Policyomskriving

Her forfalskes lagrede regler, godkjenninger, prioriteringer eller driftsforutsetninger. Når en senere oppgave henter disse endrede postene, kan agenten følge angriperens erstattede policy i stedet for den tiltenkte. 14

Bakdørutløsning

En bakdørlignende minneoppføring kan bli liggende i dvale til en senere oppgave inneholder riktig utløser, for eksempel et bestemt uttrykk, en oppgavekontekst eller et semantisk treff. Tidligere forskning har vist den bredere risikoen ved at én forurenset observasjon lagres og aktiveres i senere arbeid på tvers av økter og nettsteder. 214

Langsom drift

Langsom drift viser til mindre endringer som over tid flytter agentens anbefalinger eller handlingsmønstre. Forskning på kompromittert vedvarende minne finner at senere oppgaver med leksikalsk eller semantisk likhet kan hente frem forgiftede oppføringer og skape utrygge mønstre på tvers av økter. 29

Hvorfor engangstester kan overse angrepet

Calgary-analysen peker på et tidsproblem: Enkelte angrep kan være vanskelige å skille fra normal oppførsel når injeksjonen skjer. Den skadelige effekten er adskilt fra den opprinnelige minneskrivingen og kan først vise seg når minnet hentes frem senere. 14

Risikoen trenger derfor ikke å øke jevnt. Den kan ligge stille gjennom flere interaksjoner og deretter stige når en relevant oppgave, kontekst eller utløser gjør at det forgiftede minnet rangeres høyt nok til å bli hentet. Annen forskning beskriver tilsvarende minneforgiftning som en tofaset prosess: først injeksjon, deretter aktivering ved gjenhenting. 5

En test som bare spør «feilet agenten på denne prompten?», kan dermed gi falsk trygghet. Det samme gjelder trinnvise evalueringer som nullstiller konteksten, hopper over mellomliggende økter eller aldri prøver en relevant fremtidig oppgave.

Det riktige testobjektet er hele trajektorien:

• de upålitelige inndataene og beslutningen om å skrive til minnet
• ufarlige økter imellom
• senere spørsmål og semantiske varianter som kan hente frem oppføringen
• agentens resonnement etter gjenhenting
• og eventuelle handlinger gjennom verktøy eller eksterne systemer. 214

Vedvarende minne øker innsatsen for autonome agenter

Den umiddelbare konsekvensen kan være et dårlig svar. Den større bekymringen oppstår når agenten har myndighet til å gjøre noe etter å ha konsultert minnet sitt. En senere gjenhenting kan påvirke en e-post, en nettleserbasert arbeidsflyt, en databaseoperasjon eller en annen verktøystyrt oppgave. eTAMP-forskningen viser spesifikt at tilgangsbaserte forsvar alene ikke nødvendigvis stopper en trussel som kommer indirekte fra et miljø agenten har lov til å undersøke. 2

Minne blir dermed en del av den operative sikkerhetsgrensen, ikke bare en bekvemmelighetsfunksjon. Et minnesystem som tar imot upålitelig materiale og senere presenterer det som nyttig kontekst, kan gjøre en lite synlig hendelse til en forsinket sikkerhetsincident. 14

Praktisk sjekkliste for testing og forsvar

Den siterte forskningen etablerer ikke ett universelt forsvar, og den dokumenterer heller ikke hvor utbredt modne rutiner for hendelseshåndtering er i virksomheter. Den støtter likevel at vedvarende minne må behandles som et sikkerhetskritisk system med tydelige kontroller.

Test over tid – ikke bare med enkeltprompter

Bruk motstandsdyktighetstester som omfatter forsinkede utløsere, gjentatte økter, ufarlige oppgaver mellom dem, ulike formuleringer for gjenhenting og realistiske verktøytillatelser. Test også om agenten kan gjenopprettes etter at en mistenkelig minneskriving er oppdaget. 214

Spor opprinnelsen til minneskrivinger

Registrer hvor et minne kom fra, hvorfor det ble lagret og hvilke tillitsvilkår som gjaldt da det ble skrevet. Forskning på vern av langtidsminne foreslår manipulasjonssikre logger for skrivinger og autorisasjonsbeslutninger, og illustrerer verdien av etterprøvbare minnehistorikker. 31

Skill minne fra myndighet

Et hentet notat bør ikke automatisk få samme autoritet som en verifisert instruks eller policy. Begrens hva agenten kan gjøre basert på eksternt avledede minner med lav tillit, og hold legitimasjon og handlinger med stor konsekvens adskilt.

Overvåk både skrivinger og gjenhentinger

Det er ikke nok å overvåke innkommende prompter. Team trenger innsyn i hva som legges i minnet, hva som senere hentes ut, og hvilke handlinger som følger. Én foreslått deteksjonsmetode bruker observerbare overganger fra gjenhenting til handling, men resultatene avhenger av arkitekturen og bør ikke behandles som en universalløsning. 18

Ha en plan for tilbakekalling og tilbakerulling

En responsprosess bør kunne finne mistenkelige oppføringer, isolere eller fjerne dem, ugyldiggjøre avledede sammendrag der det er mulig, og gjennomgå handlinger som ble utført etter at potensielt forgiftede minner ble hentet frem.

Hovedpoenget

Minneforgiftning endrer spørsmålet fra «kan agenten motstå en ondsinnet prompt akkurat nå?» til «kan den håndtere informasjon trygt når den kan påvirke agenten langt senere?». Analysen av 2 614 trajektorier fra Calgary understreker hvorfor svaret ikke kan hentes ut av én enkelt interaksjon. For agenter med minne må sikkerhetstesting følge hele veien fra upålitelige inndata, via lagring og forsinket gjenhenting, til handlinger i virkelige systemer. 14