Otrávená paměť AI: útok, který se může projevit až dlouho poté

Trvalá paměť dělá AI agenta užitečnějším: může si mezi úkoly pamatovat preference, předchozí práci, postupy i souvislosti. Zároveň ale otevírá specifický bezpečnostní problém. Pokud se do paměti uloží nedůvěryhodný obsah, útočník nemusí vyvolat okamžité selhání. Může čekat, až agent otrávený záznam vytáhne při pozdějším, zdánlivě nesouvisejícím úkolu. 15

Jak funguje útok s odloženým účinkem

Otrávení paměti (memory poisoning) je útok na integritu toho, co agent následně považuje za vlastní nahromaděné znalosti. Typický postup má pět fází:

1. Vložení obsahu: Agent narazí na útočný nebo zavádějící obsah v běžném vstupu či prostředí, které smí číst.
2. Uložení: Obsah se zapíše do dlouhodobé paměti vedle legitimních poznámek, faktů nebo záznamů o dřívějších úkolech.
3. Nečinnost: Agent dál vykonává neškodnou práci, takže původní zápis může zůstat bez povšimnutí.
4. Vyhledání: Budoucí dotaz, úkol, konkrétní výraz nebo sémanticky podobný kontext způsobí, že systém otrávený záznam vyhledá.
5. Aktivace: Vyvolaný obsah ovlivní uvažování agenta, jeho doporučení nebo použití nástroje. 125

Oproti běžnému prompt injection je podstatný časový odstup. Úspěšný škodlivý zápis do paměti může ovlivnit další relace, přestože se při původní interakci agent navenek nijak nezmění. 130

Útočník navíc nemusí v každém případě přímo upravovat databázi paměti. Výzkum webových agentů například popisuje útok napříč relacemi i weby: agent při běžném provozu navštíví upravenou stránku, pozorovaný obsah kontaminuje paměť a aktivuje se až při jiném budoucím úkolu. 2

Co sledovala analýza spojená s University of Calgary

Výzkumníci spojení s University of Calgary analyzovali 2 614 simulovaných vícekrokových trajektorií útoků na LLM agenty vybavené pamětí. Nehodnotili jen to, zda útok jednorázově uspěl, ale i způsob, jakým se kompromitace vyvíjela v čase. Práce rozlišovala čtyři vzorce: řetězové otrávení, přepisování politik, aktivaci zadních vrátek a pozvolný posun chování. 14

Řetězové otrávení

Řetězové otrávení vloží škodlivý předpoklad na začátek vícekrokového procesu. Pozdější úvahy na něm pak mohou stavět prostřednictvím jinak věrohodných mezikroků, až vyústí v nebezpečný výsledek. Z bezpečnostního hlediska je podstatné, že žádný jednotlivý krok nemusí při samostatném posouzení vypadat očividně škodlivě. 14

Přepisování politik

Při přepisování politik útočník poškodí zapamatovaná pravidla, schválení, priority nebo pracovní předpoklady. Když agent tyto změněné záznamy později vyhledá, může se řídit útočníkem podvrženou politikou namísto zamýšlených pravidel. 14

Aktivace zadních vrátek

Záznam ve stylu zadních vrátek zůstává neaktivní, dokud se v budoucím úkolu neobjeví správný spouštěč — například určité slovní spojení, kontext úlohy nebo sémantická shoda. Dřívější práce ukázaly širší riziko, kdy se jediné kontaminované pozorování uloží a následně aktivuje při práci v jiných relacích i na jiných webech. 214

Pozvolný posun chování

Pozvolný posun označuje menší změny, které v čase posouvají doporučení agenta nebo jeho vzorce jednání. Výzkum trvalé kompromitace paměti naznačuje, že otrávené záznamy mohou být vyvolány pozdějšími úkoly s lexikální či sémantickou podobností a napříč relacemi podporovat nebezpečné vzorce. 29

Proč jednorázové testování nestačí

Analýza z Calgary zdůrazňuje časový rozměr problému: některé útoky lze v okamžiku vložení jen obtížně odlišit od normálního chování. Škodlivý dopad je oddělen od původního zápisu do paměti a může se projevit až při pozdějším vyhledání. 14

Riziko proto nemusí růst plynule. Může zůstat nenápadné po několik interakcí a náhle vzrůst ve chvíli, kdy relevantní úkol, kontext nebo spouštěč posune otrávenou vzpomínku dostatečně vysoko ve výsledcích vyhledávání. Jiný výzkum obdobně popisuje otrávení paměti jako dvoufázový proces: nejprve vložení, potom pozdější aktivaci prostřednictvím vyhledání. 5

Test, který se ptá jen „selhal agent na tomto promptu?“, tak může vytvářet falešný pocit bezpečí. Totéž platí pro hodnocení krok za krokem, jež resetuje kontext, vynechá mezilehlé relace nebo nikdy neotestuje relevantní budoucí úkol.

Vhodnější jednotkou testování je celá trajektorie:

• nedůvěryhodný vstup a rozhodnutí uložit jej do paměti;
• mezilehlé neškodné relace;
• budoucí dotazy a sémantické varianty, které mohou záznam vyvolat;
• uvažování agenta po vyhledání záznamu; a
• následná akce přes nástroje nebo externí systémy. 214

Proč je trvalá paměť závažnější u autonomních agentů

Bezprostředním důsledkem otrávení může být chybná odpověď. Větší problém nastává, pokud má agent po práci s pamětí pravomoc jednat. Pozdější vyhledání záznamu může ovlivnit e-mail, práci ve webovém prohlížeči, operaci v databázi nebo jiný úkol zprostředkovaný nástrojem. Výzkum eTAMP konkrétně ukazuje, že obrana založená jen na oprávněních nemusí zastavit hrozbu nepřímo vloženou přes prostředí, které agent smí kontrolovat. 2

Paměť se tím stává součástí provozní bezpečnostní hranice, nikoli pouhou funkcí pro pohodlí. Systém, který přijímá nedůvěryhodný materiál a později jej předkládá jako užitečný kontext, může z dřívější, málo nápadné události vytvořit incident s odloženým dopadem. 14

Praktický kontrolní seznam pro testování a obranu

Citovaný výzkum nestanovuje univerzální obranu ani nedokládá, do jaké míry už organizace zavedly vyspělé postupy reakce na incidenty. Podporuje však pohled na trvalou paměť jako na bezpečnostně citlivý systém, který potřebuje výslovné kontroly.

Testujte v čase, ne jen jednotlivé prompty

Zařaďte do adversariálního hodnocení zpožděné spouštěče, opakované relace, vložené neškodné úkoly, různé formulace pro vyhledávání i realistická oprávnění nástrojů. Ověřujte také, zda se agent dokáže zotavit poté, co je podezřelý zápis do paměti odhalen. 214

Evidujte původ zápisů do paměti

Zaznamenávejte, odkud paměť pochází, proč byla uložena a jaké podmínky důvěry platily v okamžiku zápisu. Výzkum ochrany dlouhodobé paměti navrhuje protokoly zápisů a autorizačních rozhodnutí odolné proti dodatečné manipulaci, což ilustruje hodnotu auditovatelné historie paměti. 31

Oddělte paměť od oprávnění

Vyvolaná poznámka by automaticky neměla mít autoritu ověřeného pokynu nebo politiky. Omezte, co agent může dělat s pamětí s nízkou důvěryhodností či s externím původem, a oddělte přístupové údaje i vysoce dopadové akce.

Sledujte zápisy i vyhledávání

Detekce se nemůže soustředit pouze na příchozí prompty. Týmy potřebují přehled o tom, co se do paměti dostává, co se později vyvolává a jaké následné akce z toho plynou. Jeden navržený detekční přístup pracuje s pozorovatelnými přechody od vyhledání paměti k akci; jeho zveřejněné výsledky jsou však závislé na architektuře a nelze je považovat za univerzální řešení. 18

Připravte zrušení a návrat k bezpečnému stavu

Proces reakce by měl umět najít podezřelé záznamy, izolovat je nebo odstranit, pokud možno zneplatnit odvozená shrnutí a prověřit akce provedené poté, co agent potenciálně otrávenou paměť vyvolal.

Hlavní poučení

Otrávení paměti mění otázku z „odolá agent škodlivému promptu právě teď?“ na „umí bezpečně spravovat informace, které jej mohou ovlivnit mnohem později?“. Analýza 2 614 trajektorií spojená s University of Calgary ukazuje, proč odpověď nelze určit z jediné interakce. U agentů s pamětí musí bezpečnostní testování sledovat celou cestu: od nedůvěryhodného vstupu přes uložení a opožděné vyhledání až k akci v reálném systému. 14