Geheugenvergiftiging maakt AI-agenten ook dagen later kwetsbaar

Persistent geheugen maakt een AI-agent bruikbaarder: hij kan voorkeuren, eerdere werkzaamheden, procedures en context tussen taken onthouden. Maar het creëert ook een eigen beveiligingsrisico. Als onbetrouwbare inhoud in dat geheugen belandt, hoeft een aanvaller niet direct een fout uit te lokken. Die kan wachten tot de agent de vergiftigde informatie bij een latere, ogenschijnlijk losstaande taak weer ophaalt. 15

Zo werkt een vertraagde aanval via geheugenvergiftiging

Geheugenvergiftiging is een integriteitsaanval op informatie die een agent later als eigen opgebouwde kennis kan behandelen. Het patroon bestaat grofweg uit vijf stappen:

1. Injectie: de agent krijgt misleidende of aanvallende inhoud binnen via normale invoer of een omgeving die hij mag lezen.
2. Opslag: die inhoud wordt weggeschreven naar het langetermijngeheugen, mogelijk naast legitieme notities, feiten of taakgeschiedenis.
3. Sluimerfase: de agent voert intussen onschuldige taken uit, waardoor de oorspronkelijke opslag weinig aandacht kan trekken.
4. Ophalen: een toekomstige vraag, taak, formulering of semantisch vergelijkbare context leidt ertoe dat het systeem de vergiftigde geheugenregel ophaalt.
5. Activering: de opgehaalde inhoud beïnvloedt de redenering, aanbeveling of het gebruik van een tool door de agent. 125

Het verschil met een gewone promptinjectie zit in de tijd. Een geslaagde kwaadaardige geheugenopslag kan latere sessies beïnvloeden, ook als de eerste interactie niet zichtbaar tot afwijkend gedrag leidde. 130

Daarvoor hoeft een aanvaller niet in elk scenario rechtstreeks een geheugendatabase te wijzigen. Onderzoek naar webagenten beschrijft bijvoorbeeld een aanval over meerdere sessies en websites: de agent ziet tijdens normaal gebruik een gemanipuleerde pagina, slaat de inhoud op in zijn geheugen en activeert die pas bij een latere taak. 2

Wat de analyse van de University of Calgary onderzocht

Onderzoekers verbonden aan de University of Calgary analyseerden 2.614 gesimuleerde aanvalstrajecten met meerdere stappen voor LLM-agenten met geheugen. In plaats van alleen te vragen of een aanval wel of niet slaagde, onderzochten zij hoe een compromittering zich in de tijd ontwikkelde. Daarbij keken ze naar vier aanvalspatronen: ketenvergiftiging, beleidsherschrijving, backdooractivering en geleidelijke afwijking. 14

Ketenvergiftiging

Bij ketenvergiftiging wordt vroeg in een proces een schadelijk uitgangspunt geplant. Latere redenering kan daarop voortbouwen via op zichzelf geloofwaardige tussenstappen, om uiteindelijk tot een onveilige uitkomst te komen. Voor beveiliging is vooral relevant dat geen afzonderlijke stap duidelijk kwaadaardig hoeft te lijken wanneer die op zichzelf wordt bekeken. 14

Beleidsherschrijving

Beleidsherschrijving tast onthouden regels, goedkeuringen, prioriteiten of werkaannames aan. Haalt de agent die aangepaste informatie later op, dan kan hij het door de aanvaller vervangen beleid volgen in plaats van het bedoelde beleid. 14

Backdooractivering

Een backdoor-achtige geheugenregel blijft inactief totdat een latere taak de juiste trigger bevat, zoals een specifieke formulering, taakcontext of semantische overeenkomst. Eerder onderzoek laat het bredere risico zien dat één besmette waarneming kan worden opgeslagen en in toekomstig werk over sessies en websites heen kan worden geactiveerd. 214

Geleidelijke afwijking

Geleidelijke afwijking betreft kleinere veranderingen die aanbevelingen of handelingspatronen van een agent langzaam verschuiven. Onderzoek naar compromittering van persistent geheugen stelt vast dat latere taken met lexicale of semantische gelijkenis vergiftigde records kunnen terughalen en zo onveilige patronen over meerdere sessies kunnen veroorzaken. 29

Waarom een eenmalige test dit risico kan missen

De Calgary-analyse legt een tijdsprobleem bloot: sommige aanvallen zijn op het moment van injectie moeilijk te onderscheiden van normaal gedrag. Het schadelijke effect ligt los van de eerste geheugenopslag en kan pas bij een volgende retrieval zichtbaar worden. 14

Het risico hoeft dus niet geleidelijk en lineair toe te nemen. Het kan tijdens diverse interacties stil blijven en vervolgens oplopen zodra een relevante taak, context of trigger ervoor zorgt dat de vergiftigde informatie hoog genoeg eindigt in de resultaten die de agent ophaalt. Ander onderzoek beschrijft geheugenvergiftiging eveneens als een proces in twee fasen: eerst injectie, daarna activering wanneer de herinnering wordt teruggehaald. 5

Een test die alleen vraagt: faalt de agent bij deze prompt?, kan daardoor vals geruststellend zijn. Ook een evaluatie per losse stap kan tekortschieten wanneer die context reset, tussenliggende sessies overslaat of nooit een passende toekomstige taak uitvoert.

De juiste testeenheid is daarom het volledige traject:

• de onbetrouwbare invoer en de beslissing om die in het geheugen op te slaan;
• onschuldige sessies die daartussen plaatsvinden;
• toekomstige vragen en semantische varianten die de regel kunnen terughalen;
• de redenering van de agent na het ophalen; en
• elke daaruit voortvloeiende actie via tools of externe systemen. 214

Waarom persistent geheugen de inzet verhoogt bij autonome agenten

Het directe gevolg van vergiftiging kan een slecht antwoord zijn. De grotere zorg ontstaat wanneer een agent na raadpleging van zijn geheugen bevoegd is om te handelen. Een latere retrieval kan invloed hebben op een e-mail, een browserworkflow, een databasebewerking of een andere taak die via tools wordt uitgevoerd. Het eTAMP-onderzoek laat specifiek zien dat verdediging op basis van alleen permissies onvoldoende kan zijn tegen een dreiging die indirect wordt ingebracht via een omgeving die de agent mag bekijken. 2

Daarmee wordt geheugen onderdeel van de operationele beveiligingsgrens, niet slechts een handige functie. Een geheugensysteem dat onbetrouwbaar materiaal accepteert en dit later als bruikbare context aanbiedt, kan een weinig opvallende gebeurtenis van eerder veranderen in een vertraagd incident. 14

Praktische checklist voor testen en verdediging

Het aangehaalde onderzoek levert geen universele verdediging op en toont ook niet in hoeverre organisaties al volwassen processen voor incidentrespons hebben ingevoerd. Wel ondersteunt het de benadering dat persistent geheugen een beveiligingsgevoelig systeem is dat expliciete beheersmaatregelen vereist.

Test door de tijd heen, niet alleen per prompt

Gebruik adversarial evaluaties met vertraagde triggers, herhaalde sessies, tussenliggende onschuldige taken, uiteenlopende formuleringen voor retrieval en realistische toolrechten. Test ook of de agent kan herstellen zodra een verdachte geheugenopslag is vastgesteld. 214

Leg de herkomst van geheugenopslag vast

Registreer waar een geheugenitem vandaan kwam, waarom het werd bewaard en welke vertrouwensvoorwaarden golden op het moment van opslag. Onderzoek naar bescherming van langetermijngeheugen stelt een manipulatiebestendig logboek voor van schrijfacties en autorisatiebeslissingen; dat onderstreept de waarde van controleerbare geheugengeschiedenissen. 31

Scheid geheugen van bevoegdheid

Een opgehaalde notitie mag niet automatisch hetzelfde gezag krijgen als een geverifieerde instructie of beleidsregel. Beperk wat een agent mag doen op basis van laag-vertrouwde of extern afgeleide herinneringen, en isoleer inloggegevens en handelingen met grote impact.

Controleer zowel opslag als retrieval

Detectie kan niet alleen naar binnenkomende prompts kijken. Teams hebben zicht nodig op wat het geheugen ingaat, wat later wordt opgehaald en welke vervolgacties daaruit voortkomen. Een voorgestelde detectiemethode gebruikt waarneembare overgangen van retrieval naar actie, maar de gerapporteerde resultaten hangen af van de architectuur en gelden niet als universele oplossing. 18

Zorg voor intrekking en herstel

Een responsproces moet verdachte items kunnen vinden, isoleren of verwijderen, waar mogelijk afgeleide samenvattingen ongeldig maken en acties beoordelen die plaatsvonden nadat mogelijk vergiftigde informatie was opgehaald.

De kern: beveiliging moet het hele pad volgen

Geheugenvergiftiging verschuift de vraag van: kan een agent nu een kwaadaardige prompt weerstaan? naar: kan hij informatie veilig beheren wanneer die hem veel later nog kan beïnvloeden? De analyse van 2.614 trajecten door de Calgary-onderzoekers laat zien waarom één interactie geen afdoend antwoord geeft. Bij agenten met geheugen moet beveiliging het hele pad testen: van onbetrouwbare invoer, via opslag en vertraagd ophalen, tot handelen in de buitenwereld. 14