AI-agenters minnen kan förgiftas – och aktiveras långt senare

Ett beständigt minne gör en AI-agent mer användbar. Agenten kan komma ihåg preferenser, tidigare arbete, rutiner och sammanhang mellan olika uppgifter. Men minnet skapar också en särskild säkerhetsrisk: om opålitligt innehåll sparas kan en angripare få effekt långt senare, när agenten hämtar den förgiftade posten under en till synes helt orelaterad uppgift. 15

Så fungerar en fördröjd minnesförgiftningsattack

Minnesförgiftning är en integritetsattack mot det som agenten senare behandlar som sin egen samlade kunskap. Förloppet kan se ut så här:

1. Injektion: Agenten möter vilseledande eller skadligt innehåll i en vanlig indata eller miljö som den har tillåtelse att läsa.
2. Lagring: Innehållet skrivs till långtidsminnet, möjligen bland legitima anteckningar, fakta och uppgifter från tidigare arbete.
3. Viloläge: Agenten fortsätter att utföra harmlösa uppgifter, vilket gör att den ursprungliga lagringen kan passera obemärkt.
4. Återhämtning: En senare fråga, uppgift, formulering eller semantiskt liknande situation gör att systemet hämtar den förgiftade posten.
5. Aktivering: Det hämtade innehållet påverkar agentens resonemang, rekommendation eller användning av ett verktyg. 125

Den avgörande skillnaden mot vanlig promptinjektion är tiden. En lyckad skadlig minnesskrivning kan påverka framtida sessioner även om den ursprungliga interaktionen inte synligt förändrar agentens beteende. 130

Angriparen behöver inte i varje fall få direkt åtkomst till en minnesdatabas. Forskning om webb-agenter beskriver exempelvis en attack över flera sessioner och webbplatser: en manipulerad webbsida observeras under normal användning, förorenar minnet och aktiveras först i en senare uppgift. 2

Calgary-forskarnas analys: 2 614 simulerade händelseförlopp

Forskare med koppling till University of Calgary analyserade 2 614 simulerade attackförlopp med flera steg för LLM-agenter med minne. I stället för att bara fråga om en attack lyckades eller misslyckades undersökte de hur en kompromettering utvecklades över tid. Analysen omfattade fyra angreppsmönster: kedjeförgiftning, omskrivning av policyer, bakdörrsutlösning och gradvis drift. 14

Kedjeförgiftning

Kedjeförgiftning innebär att en skadlig premiss planteras tidigt i en process med flera steg. Senare resonemang kan sedan bygga vidare på premissen genom till synes rimliga mellanbeslut, tills resultatet blir osäkert. Säkerhetsproblemet är att inget enskilt steg nödvändigtvis framstår som uppenbart skadligt när det granskas isolerat. 14

Omskrivning av policyer

Här förvanskas sparade regler, godkännanden, prioriteringar eller arbetsantaganden. När agenten senare hämtar dessa poster kan den följa angriparens ersatta policy i stället för den avsedda. 14

Bakdörrsutlösning

En bakdörrsliknande minnespost kan ligga vilande tills en senare uppgift innehåller rätt utlösare, exempelvis en viss formulering, uppgiftskontext eller semantisk träff. Tidigare forskning har visat den bredare risken att en enda förorenad observation sparas och aktiveras i framtida arbete över både sessioner och webbplatser. 214

Gradvis drift

Gradvis drift innebär mindre förändringar som över tid förskjuter agentens rekommendationer eller handlingsmönster. Forskning om beständig minneskompromettering visar att framtida uppgifter med lexikalisk eller semantisk likhet kan hämta förgiftade poster och skapa osäkra mönster över flera sessioner. 29

Därför kan engångstester missa hotet

Calgary-analysen lyfter ett tidsproblem: vissa attacker kan vara svåra att skilja från normalt beteende just när den skadliga informationen skrivs till minnet. Den skadliga effekten är separerad från den första lagringen och kan visa sig först vid en senare återhämtning. 14

Risken behöver alltså inte öka jämnt. Den kan förbli dold genom flera interaktioner och sedan stiga när en relevant uppgift, kontext eller utlösare gör att det förgiftade minnet rankas tillräckligt högt för att hämtas. Annan forskning beskriver på motsvarande sätt minnesförgiftning som en process i två faser: först injektion, sedan aktivering när innehållet hämtas. 5

Ett test som enbart frågar: ”Misslyckades agenten på den här prompten?” kan därför ge falsk trygghet. Detsamma gäller en stegvis utvärdering som återställer kontexten, hoppar över mellanliggande sessioner eller aldrig provar en framtida uppgift som kan aktivera minnet.

Det relevanta testobjektet är i stället hela förloppet:

• den opålitliga indatan och beslutet att skriva till minnet,
• harmlösa sessioner däremellan,
• framtida frågor och semantiska varianter som kan hämta posten,
• agentens resonemang efter återhämtningen, och
• eventuella åtgärder i verktyg eller externa system. 214

När minnet får påverka handlingar blir konsekvenserna större

Den direkta följden av förgiftning kan vara ett dåligt svar. Den större risken uppstår när agenten har rätt att agera efter att ha läst sitt minne. En senare återhämtning kan påverka ett e-postmeddelande, ett webbläsarbaserat arbetsflöde, en databasåtgärd eller en annan uppgift som utförs med verktyg. eTAMP-forskningen visar särskilt att behörighetsbaserade skydd i sig kanske inte stoppar ett hot som introduceras indirekt genom en miljö agenten får granska. 2

Minnet blir därmed en del av den operativa säkerhetsgränsen, inte bara en bekvämlighetsfunktion. Ett minnessystem som tar emot opålitligt material och senare presenterar det som användbar kontext kan förvandla en lågmäld tidigare händelse till en fördröjd incident. 14

Praktisk checklista för testning och skydd

Den citerade forskningen visar inte upp något universellt försvar, och den fastslår inte heller hur vanligt det är att organisationer redan har mogna rutiner för incidenthantering. Den ger däremot stöd för att behandla beständigt minne som ett säkerhetskänsligt system med tydliga kontroller.

Testa över tid, inte bara mot enskilda promptar

Använd adversariella utvärderingar med fördröjda utlösare, upprepade sessioner, harmlösa uppgifter mellan teststegen, varierade formuleringar för återhämtning och realistiska verktygsbehörigheter. Pröva också om agenten kan återhämta sig efter att en misstänkt minnesskrivning har identifierats. 214

Dokumentera minnesskrivningarnas ursprung

Registrera varifrån ett minne kommer, varför det sparades och vilka tillitsvillkor som gällde vid lagringen. Forskning om skydd av långtidsminne föreslår manipulationsindikativ loggning av skrivningar och auktoriseringsbeslut, vilket illustrerar värdet av granskningsbara minneshistoriker. 31

Håll minne och befogenhet isär

En återhämtad anteckning bör inte automatiskt få samma auktoritet som en verifierad instruktion eller policy. Begränsa vad agenten kan göra utifrån minnen med låg tillit eller externa källor, och avgränsa inloggningsuppgifter och åtgärder med stor påverkan.

Granska både lagring och återhämtning

Det räcker inte att bara övervaka inkommande promptar. Team behöver insyn i vad som skrivs till minnet, vad som senare hämtas och vilka efterföljande handlingar som sker. Ett föreslaget sätt att upptäcka angrepp använder observerbara övergångar från minnesåterhämtning till handling, men de rapporterade resultaten är beroende av arkitektur och bör inte ses som en universallösning. 18

Planera för återkallelse och återställning

En incidentprocess bör kunna hitta misstänkta poster, isolera eller radera dem, ogiltigförklara härledda sammanfattningar där det är möjligt och granska vilka handlingar som utförts efter att potentiellt förgiftade minnen hämtats.

Den centrala slutsatsen

Minnesförgiftning förändrar frågan från ”Kan agenten stå emot en skadlig prompt just nu?” till ”Kan den säkert hantera information som kan påverka den långt senare?”. Calgary-forskarnas analys av 2 614 förlopp understryker varför svaret inte kan avgöras i en enda interaktion. För agenter med minne måste säkerhetstester följa hela kedjan: från opålitlig indata, via lagring och fördröjd återhämtning, till handling i verkliga system. 14