Forgiftet hukommelse gør AI-agenters langtidslager til en forsinket angrebsflade

Vedvarende hukommelse gør en AI-agent mere nyttig. Den kan huske præferencer, tidligere arbejde, procedurer og sammenhæng mellem opgaver. Men den skaber også et særligt sikkerhedsproblem: Hvis indhold fra en utroværdig kilde gemmes som hukommelse, behøver en angriber ikke skabe en synlig fejl med det samme. Angriberen kan vente, til agenten langt senere henter det forgiftede indhold i en tilsyneladende helt anden opgave. 15

Sådan virker et forsinket hukommelsesangreb

Memory poisoning er et integritetsangreb mod det, agenten senere opfatter som sin egen opsamlede viden. Forløbet kan i hovedtræk se sådan ud:

1. Indsprøjtning: Agenten møder manipuleret eller vildledende indhold via et normalt input eller et miljø, den har adgang til at læse.
2. Lagring: Indholdet skrives til langtidslageret sammen med legitime noter, fakta eller optegnelser om tidligere opgaver.
3. Dvale: Agenten løser fortsat almindelige opgaver, så den oprindelige lagring kan få begrænset opmærksomhed.
4. Genfinding: En senere forespørgsel, opgave, formulering eller semantisk lignende kontekst får systemet til at hente den forgiftede post frem.
5. Aktivering: Det hentede indhold påvirker agentens ræsonnement, anbefaling eller brug af et værktøj. 125

Den afgørende forskel fra almindelig prompt injection er tiden. En vellykket ondsindet lagring kan påvirke senere sessioner, selv om den første interaktion ikke synligt ændrer agentens adfærd. 130

Det kræver heller ikke nødvendigvis direkte adgang til at redigere en hukommelsesdatabase. Forskning i webagenter beskriver eksempelvis et angreb på tværs af sessioner og websites: Agenten ser en manipuleret webside under normal brug, indholdet forurener hukommelsen, og det aktiveres først under en senere opgave. 2

Hvad analysen fra University of Calgary undersøgte

Forskere med tilknytning til University of Calgary analyserede 2.614 simulerede angrebsforløb med flere trin for LLM-agenter med hukommelse. I stedet for alene at spørge, om et angreb lykkedes eller ej, undersøgte de, hvordan kompromitteringen udviklede sig over tid. Arbejdet omfattede fire angrebsmønstre: kædeforgiftning, omskrivning af politikker, bagdørstriggere og gradvis drift. 14

Kædeforgiftning

Kædeforgiftning placerer en skadelig forudsætning tidligt i et flertrinsforløb. Senere ræsonnement kan bygge videre på forudsætningen gennem ellers plausible mellemtrin og ende i et usikkert resultat. Sikkerhedsproblemet er, at det enkelte trin ikke nødvendigvis ser åbenlyst ondsindet ud, når det vurderes isoleret. 14

Omskrivning af politikker

Her forurenes agentens huskede regler, godkendelser, prioriteter eller driftsantagelser. Når en senere opgave henter de ændrede oplysninger frem, kan agenten følge angriberens erstattede politik frem for den tilsigtede. 14

Bagdørstriggere

En bagdørslignende hukommelsespost ligger inaktiv, indtil en senere opgave indeholder den rigtige udløser, eksempelvis en bestemt formulering, opgavekontekst eller semantisk lighed. Tidligere forskning har vist den bredere risiko ved, at én forurenet observation lagres og aktiveres i fremtidigt arbejde på tværs af sessioner og websites. 214

Gradvis drift

Gradvis drift dækker over små ændringer, som over tid flytter agentens anbefalinger eller handlingsmønstre. Forskning i kompromittering af vedvarende hukommelse peger på, at senere opgaver med leksikalsk eller semantisk lighed kan hente forgiftede poster frem og fremkalde usikre mønstre på tværs af sessioner. 29

Derfor kan engangstest overse angrebet

Calgary-analysen fremhæver et tidsmæssigt problem: Nogle angreb kan være svære at skelne fra normal adfærd på tidspunktet, hvor indholdet lagres. Den skadelige virkning er adskilt fra den første hukommelsesskrivning og kan først vise sig ved en senere genfinding. 14

Risikoen behøver derfor ikke udvikle sig jævnt. Den kan være skjult gennem flere interaktioner og så stige, når en relevant opgave, kontekst eller trigger får den forgiftede hukommelse højt nok op i systemets genfinding. Anden forskning beskriver tilsvarende memory poisoning som en proces i to faser: først indsprøjtning og derefter senere aktivering via genfinding. 5

En test, der blot spørger: »Fejlede agenten på denne prompt?«, kan dermed give falsk tryghed. Det samme gælder evalueringer trin for trin, hvis de nulstiller kontekst, springer mellemliggende sessioner over eller aldrig afprøver en senere opgave, der kan aktivere indholdet.

Den relevante teststørrelse er i stedet hele forløbet:

• det utroværdige input og beslutningen om at lagre det;
• mellemliggende, harmløse sessioner;
• fremtidige forespørgsler og semantiske varianter, der kan hente posten frem;
• agentens ræsonnement efter genfindingen; og
• eventuelle handlinger via værktøjer eller eksterne systemer. 214

Vedvarende hukommelse øger konsekvenserne for selvstændige agenter

Den umiddelbare følge af forgiftning kan være et dårligt svar. Den større bekymring opstår, når en agent har beføjelse til at handle efter at have konsulteret sin hukommelse. En senere genfinding kan påvirke en e-mail, en browserbaseret arbejdsgang, en databasehandling eller en anden opgave, der udføres via værktøjer. eTAMP-forskningen viser specifikt, at tilladelsesbaserede forsvar alene muligvis ikke stopper en trussel, der kommer indirekte fra et miljø, agenten har tilladelse til at undersøge. 2

Hukommelsen bliver dermed en del af den operationelle sikkerhedsgrænse – ikke blot en praktisk funktion. Et hukommelsessystem, der accepterer utroværdigt materiale og senere præsenterer det som brugbar kontekst, kan gøre en tidlig hændelse med lav synlighed til en forsinket sikkerhedsincident. 14

Praktisk tjekliste til test og forsvar

Den citerede forskning fastslår ikke et universelt forsvar og viser heller ikke, hvor udbredt modne beredskabsprocedurer er i organisationer. Den understøtter dog, at vedvarende hukommelse bør behandles som et sikkerhedsfølsomt system med tydelige kontroller.

Test på tværs af tid – ikke kun prompter

Brug adversarielle evalueringer med forsinkede triggere, gentagne sessioner, mellemliggende harmløse opgaver, forskellige formuleringer ved genfinding og realistiske værktøjstilladelser. Test også, om agenten kan genoprettes, efter en mistænkelig hukommelsesskrivning er fundet. 214

Spor hukommelsesskrivningers oprindelse

Registrér, hvor en hukommelse kom fra, hvorfor den blev lagret, og hvilke tillidsforudsætninger der gjaldt ved lagringen. Forskning i beskyttelse af langtidshukommelse foreslår manipulationssynlig logning af skrivninger og autorisationsbeslutninger, hvilket illustrerer værdien af efterprøvelige hukommelseshistorikker. 31

Adskil hukommelse fra autoritet

En hentet note bør ikke automatisk få samme autoritet som en verificeret instruktion eller politik. Begræns, hvad agenten kan gøre på baggrund af minder med lav tillid eller indhold fra eksterne kilder, og hold legitimationsoplysninger og handlinger med stor effekt adskilt.

Undersøg både lagring og genfinding

Overvågning kan ikke kun fokusere på indgående prompter. Teams skal kunne se, hvad der kommer ind i hukommelsen, hvad der senere hentes frem, og hvilke efterfølgende handlinger det udløser. En foreslået metode til detektion bruger observerbare overgange fra genfinding til handling, men de rapporterede resultater afhænger af arkitekturen og bør ikke opfattes som en universel løsning. 18

Planlæg tilbagekaldelse og tilbagerulning

En beredskabsproces bør kunne finde mistænkelige poster, sætte dem i karantæne eller fjerne dem, ugyldiggøre afledte resuméer, hvor det er muligt, og gennemgå de handlinger, der er foretaget efter genfinding af potentielt forgiftede minder.

Den centrale læring

Memory poisoning ændrer spørgsmålet fra: »Kan en agent modstå en ondsindet prompt lige nu?« til: »Kan den håndtere information sikkert, når den måske først påvirker agenten langt senere?« Calgary-forskernes analyse af 2.614 forløb understreger, hvorfor svaret ikke kan afgøres ud fra en enkelt interaktion. For agenter med hukommelse skal sikkerhedstest følge hele vejen fra utroværdigt input til lagring, forsinket genfinding og handling i den virkelige verden. 14