Memory Poisoning: Wie manipulierte KI-Erinnerungen später zur Gefahr werden

Ein dauerhaftes Gedächtnis macht KI-Agenten nützlicher: Sie können Präferenzen, frühere Arbeitsschritte, Verfahren und Kontext über mehrere Aufgaben hinweg behalten. Genau das eröffnet jedoch ein eigenes Sicherheitsrisiko. Werden nicht vertrauenswürdige Inhalte als Erinnerung gespeichert, muss ein Angreifer keinen sofort sichtbaren Fehler auslösen. Er kann warten, bis der Agent den manipulierten Eintrag in einer späteren, scheinbar unabhängigen Aufgabe wieder abruft. 15

So funktioniert ein verzögerter Angriff

Memory Poisoning ist ein Integritätsangriff auf das Wissen, das ein Agent später als eigene, angesammelte Erfahrung behandelt. Typischerweise läuft er in fünf Schritten ab:

1. Einschleusen: Der Agent trifft über eine reguläre Eingabe oder eine Umgebung, die er lesen darf, auf irreführende oder manipulierte Inhalte.
2. Speichern: Diese Inhalte werden im Langzeitgedächtnis abgelegt – möglicherweise neben legitimen Notizen, Fakten oder Aufzeichnungen früherer Aufgaben.
3. Ruhephase: Der Agent arbeitet zunächst unauffällig weiter. Der ursprüngliche Speichervorgang kann daher kaum Aufmerksamkeit erzeugen.
4. Abruf: Eine spätere Anfrage, Aufgabe, Formulierung oder ein semantisch ähnlicher Kontext führt dazu, dass der manipulierte Eintrag erneut geladen wird.
5. Aktivierung: Der abgerufene Inhalt beeinflusst das Schlussfolgern, eine Empfehlung oder den Einsatz eines Werkzeugs. 125

Der entscheidende Unterschied zu einer gewöhnlichen Prompt-Injection ist der Zeitfaktor. Ein erfolgreicher bösartiger Speichereintrag kann spätere Sitzungen prägen, selbst wenn sich das Verhalten des Agenten in der ursprünglichen Interaktion nicht sichtbar verändert. 130

Dafür braucht ein Angreifer nicht in jedem Fall direkten Zugriff auf eine Speicher-Datenbank. Forschung zu Web-Agenten beschreibt etwa einen sitzungs- und websiteübergreifenden Angriff: Eine manipulierte Webseite wird während der normalen Nutzung gelesen, verunreinigt den Speicher und wird erst bei einer späteren Aufgabe aktiv. 2

Was die Analyse der University of Calgary untersucht hat

Forschende mit Bezug zur University of Calgary analysierten 2.614 simulierte mehrstufige Angriffstrajektorien mit LLM-Agenten, die über ein Gedächtnis verfügen. Statt Angriffe nur als Erfolg oder Misserfolg zu bewerten, betrachteten sie, wie sich eine Kompromittierung im Zeitverlauf entwickelt. Untersucht wurden vier Muster: Chain Poisoning, Policy Rewriting, Backdoor Triggering und Slow Drift. 14

Chain Poisoning: falsche Prämisse, gefährliche Kette

Beim Chain Poisoning wird früh in einem mehrstufigen Ablauf eine schädliche Prämisse platziert. Spätere Überlegungen können darauf mit für sich genommen plausiblen Zwischenschritten aufbauen und schließlich zu einem unsicheren Ergebnis führen. Sicherheitsrelevant ist: Betrachtet man einzelne Schritte isoliert, muss keiner davon offensichtlich bösartig wirken. 14

Policy Rewriting: gespeicherte Regeln werden umgeschrieben

Policy Rewriting verfälscht gespeicherte Regeln, Freigaben, Prioritäten oder Annahmen für den Betrieb. Ruft der Agent diese veränderten Aufzeichnungen später ab, kann er der vom Angreifer ersetzten Regel folgen – statt der eigentlich vorgesehenen. 14

Backdoor Triggering: Aktivierung erst beim passenden Auslöser

Ein Backdoor-ähnlicher Speichereintrag bleibt inaktiv, bis eine spätere Aufgabe den passenden Auslöser enthält, etwa eine bestimmte Formulierung, einen Aufgabenkontext oder eine semantische Übereinstimmung. Frühere Arbeiten belegen das grundsätzliche Risiko, dass eine einzige manipulierte Beobachtung gespeichert und in künftigen Aufgaben über Sitzungen und Websites hinweg aktiviert wird. 214

Slow Drift: schleichende Verhaltensverschiebung

Slow Drift bezeichnet kleinere Veränderungen, die Empfehlungen oder Handlungsmuster eines Agenten über längere Zeit verschieben. Forschung zu kompromittiertem persistentem Speicher zeigt, dass später ähnliche Aufgaben – sprachlich oder semantisch – vergiftete Einträge wieder hervorholen und unsichere Muster über mehrere Sitzungen hinweg fördern können. 29

Warum einmalige Tests den Angriff übersehen können

Die Calgary-Analyse macht vor allem ein zeitliches Problem sichtbar: Manche Angriffe lassen sich im Moment des Einschleusens nur schwer von normalem Verhalten unterscheiden. Die schädliche Wirkung ist vom ursprünglichen Speichervorgang entkoppelt und kann erst beim späteren Abruf auftreten. 14

Das Risiko verläuft daher nicht zwingend gleichmäßig. Es kann über mehrere Interaktionen unauffällig bleiben und steigen, wenn eine passende Aufgabe, ein Kontext oder ein Trigger den manipulierten Eintrag weit genug nach oben in die Abrufauswahl bringt. Andere Forschung beschreibt Memory Poisoning ebenfalls als zweistufigen Prozess: zuerst das Einschleusen, später die Aktivierung durch Abruf. 5

Ein Test, der nur fragt: „Scheitert der Agent bei diesem Prompt?“, kann somit falsche Sicherheit vermitteln. Gleiches gilt für schrittweise Tests, die den Kontext zurücksetzen, Sitzungen dazwischen auslassen oder keine passende spätere Aufgabe simulieren.

Die passende Testeinheit ist die vollständige Trajektorie:

• die nicht vertrauenswürdige Eingabe und die Entscheidung, etwas zu speichern;
• harmlose Sitzungen dazwischen;
• spätere Anfragen und semantische Varianten, die den Eintrag abrufen könnten;
• das Schlussfolgern des Agenten nach dem Abruf; sowie
• mögliche Folgeschritte über Werkzeuge oder externe Systeme. 214

Weshalb dauerhaftes Gedächtnis bei autonomen Agenten besonders heikel ist

Die unmittelbare Folge einer Vergiftung kann eine schlechte Antwort sein. Gravierender wird das Risiko, wenn ein Agent nach dem Blick in sein Gedächtnis selbstständig handeln darf. Ein späterer Abruf kann etwa E-Mails, browsergestützte Arbeitsabläufe, Datenbankoperationen oder andere werkzeugbasierte Aufgaben beeinflussen. Die eTAMP-Forschung zeigt konkret, dass rein berechtigungsbasierte Schutzmechanismen eine Gefahr nicht unbedingt stoppen, wenn sie indirekt über eine Umgebung eingebracht wird, die der Agent ohnehin ansehen darf. 2

Damit wird das Gedächtnis Teil der operativen Sicherheitsgrenze – nicht bloß eine Komfortfunktion. Nimmt ein Speichersystem fremdes Material auf und präsentiert es später als nützlichen Kontext, kann aus einem zunächst kaum sichtbaren Ereignis ein verzögerter Sicherheitsvorfall werden. 14

Praktische Checkliste für Tests und Schutzmaßnahmen

Die zitierten Arbeiten liefern keine universelle Abwehr und belegen nicht, wie verbreitet ausgereifte Verfahren zur Reaktion auf solche Vorfälle bereits sind. Sie stützen aber die Forderung, persistente Speicher als sicherheitskritische Systeme mit klaren Kontrollen zu behandeln.

Über Zeit testen, nicht nur einzelne Prompts

Adversariale Tests sollten verzögerte Trigger, wiederholte Sitzungen, harmlose Zwischenaufgaben, unterschiedliche Formulierungen für den Abruf und realistische Werkzeugberechtigungen enthalten. Wichtig ist auch zu prüfen, ob ein Agent sich erholen kann, nachdem ein verdächtiger Speichervorgang erkannt wurde. 214

Herkunft jedes Speichereintrags dokumentieren

Teams sollten festhalten, woher ein Eintrag stammt, warum er gespeichert wurde und welche Vertrauensbedingungen beim Speichern galten. Forschung zum Schutz von Langzeitgedächtnissen schlägt manipulationssichere Protokolle für Schreibvorgänge und Autorisierungsentscheidungen vor – ein Beispiel für den Nutzen prüfbarer Speicherhistorien. 31

Erinnerung und Berechtigung trennen

Eine abgerufene Notiz darf nicht automatisch dieselbe Autorität haben wie eine verifizierte Anweisung oder Richtlinie. Für Erinnerungen mit geringer Vertrauensstufe oder aus externen Quellen sollte begrenzt werden, was der Agent damit tun darf. Zugangsdaten und besonders folgenreiche Aktionen sollten voneinander getrennt bleiben.

Schreibvorgänge und Abrufe überwachen

Erkennung darf sich nicht auf eingehende Prompts beschränken. Nötig ist Transparenz darüber, was in den Speicher gelangt, was später abgerufen wird und welche Folgeaktionen daraus entstehen. Ein vorgeschlagener Ansatz betrachtet beobachtbare Übergänge vom Abruf zur Aktion; die berichteten Ergebnisse hängen jedoch von der jeweiligen Architektur ab und sind keine universelle Lösung. 18

Rücknahme und Bereinigung vorbereiten

Ein Reaktionsprozess sollte verdächtige Einträge auffinden, isolieren oder löschen können. Soweit möglich, müssen auch daraus abgeleitete Zusammenfassungen ungültig gemacht und Aktionen überprüft werden, die nach dem Abruf potenziell vergifteter Erinnerungen ausgeführt wurden.

Die zentrale Erkenntnis

Memory Poisoning verschiebt die entscheidende Frage: Nicht allein „Kann ein Agent einem bösartigen Prompt jetzt widerstehen?“, sondern „Kann er Informationen sicher verwalten, die ihn erst viel später beeinflussen könnten?“ Die Analyse von 2.614 Trajektorien aus Calgary unterstreicht, weshalb sich das nicht in einer einzigen Interaktion entscheiden lässt. Bei Agenten mit dauerhaftem Gedächtnis muss Sicherheit den gesamten Weg verfolgen – von nicht vertrauenswürdigem Input über Speicherung und verzögerten Abruf bis zur Handlung in der realen Umgebung. 14