Zatrucie pamięci: dlaczego agent AI może zostać przejęty dopiero po czasie

Trwała pamięć zwiększa użyteczność agenta AI: pozwala mu zachowywać preferencje, wyniki wcześniejszej pracy, procedury i kontekst między zadaniami. Tworzy jednak także odrębny problem bezpieczeństwa. Jeśli do pamięci zostanie zapisany nieufny materiał, napastnik nie musi wywoływać błędu od razu. Może czekać, aż agent pobierze zatruty wpis przy późniejszym, z pozoru niezwiązanym zadaniu. 15

Jak działa odroczony atak przez zatrucie pamięci

Zatrucie pamięci to atak na integralność tego, co agent później uznaje za własną, zgromadzoną wiedzę. Typowy przebieg wygląda tak:

1. Wstrzyknięcie: agent natrafia na wrogą lub wprowadzającą w błąd treść w zwykłym wejściu albo środowisku, które może odczytać.
2. Utrwalenie: treść zostaje zapisana w pamięci długoterminowej obok prawidłowych notatek, faktów lub zapisów wcześniejszych zadań.
3. Uśpienie: agent nadal wykonuje nieszkodliwe zadania, dlatego sam zapis może nie wzbudzić uwagi.
4. Odzyskanie: przyszłe pytanie, zadanie, fraza albo semantycznie podobny kontekst powoduje pobranie zatrutego wpisu.
5. Aktywacja: pobrana treść wpływa na rozumowanie, rekomendację lub użycie narzędzia przez agenta. 125

W porównaniu ze zwykłym prompt injection kluczowy jest tu czas. Udany złośliwy zapis w pamięci może oddziaływać na kolejne sesje, nawet gdy pierwsza interakcja nie zmieniła w widoczny sposób zachowania agenta. 130

Nie w każdym scenariuszu napastnik musi bezpośrednio edytować bazę pamięci. Badania nad agentami internetowymi opisują między innymi atak działający między sesjami i witrynami: agent podczas normalnej pracy obserwuje zmanipulowaną stronę, zapisuje skażoną informację w pamięci, a ta uruchamia się przy późniejszym zadaniu. 2

Co wykazała analiza 2614 trajektorii

Badacze związani z University of Calgary przeanalizowali 2614 symulowanych, wieloetapowych trajektorii ataku z udziałem agentów LLM wyposażonych w pamięć. Zamiast ograniczyć się do pytania, czy atak zakończył się sukcesem, badali, jak kompromitacja rozwijała się w czasie. Uwzględnili cztery wzorce: zatruwanie łańcucha, przepisywanie zasad, wyzwalanie tylnej furtki oraz powolny dryf. 14

Zatruwanie łańcucha

Ten wariant polega na umieszczeniu szkodliwego założenia na początku wieloetapowego procesu. Późniejsze rozumowanie może na nim budować poprzez pozornie wiarygodne decyzje pośrednie, aż do niebezpiecznego wyniku. Z punktu widzenia bezpieczeństwa istotne jest to, że pojedynczy krok oglądany osobno nie musi wyglądać na wyraźnie złośliwy. 14

Przepisywanie zasad

W tym przypadku skażeniu ulegają zapamiętane reguły, zatwierdzenia, priorytety lub założenia operacyjne. Gdy późniejsze zadanie pobierze zmienione zapisy, agent może postępować według polityki podstawionej przez napastnika zamiast zgodnie z zamierzoną. 14

Wyzwalanie tylnej furtki

Wpis przypominający tylną furtkę pozostaje nieaktywny, dopóki przyszłe zadanie nie zawiera właściwego wyzwalacza — na przykład określonej frazy, kontekstu zadania albo semantycznego dopasowania. Wcześniejsze badania pokazały szersze ryzyko: pojedyncza skażona obserwacja może zostać zapisana i aktywowana w późniejszej pracy, między sesjami i witrynami. 214

Powolny dryf

Powolny dryf oznacza drobniejsze zmiany, które z czasem przesuwają rekomendacje agenta lub jego schematy działania. Badania trwałej kompromitacji pamięci wskazują, że późniejsze zadania podobne leksykalnie lub semantycznie mogą wydobywać zatrute zapisy i utrwalać niebezpieczne wzorce między sesjami. 29

Dlaczego jednorazowy test agenta może nie wykryć problemu

Analiza z Calgary podkreśla problem czasowy: w chwili wstrzyknięcia niektóre ataki mogą być trudne do odróżnienia od normalnego działania. Szkodliwy skutek jest oddzielony od pierwotnego zapisu w pamięci i może ujawnić się dopiero po późniejszym pobraniu informacji. 14

Ryzyko nie musi więc narastać liniowo. Może pozostawać niewidoczne przez kilka interakcji, a potem gwałtownie wzrosnąć, gdy odpowiednie zadanie, kontekst lub wyzwalacz sprawi, że zatruta pamięć zostanie pobrana wystarczająco wysoko w rankingu. Inne badania również opisują zatrucie pamięci jako proces dwuetapowy: najpierw wstrzyknięcie, a następnie późniejszą aktywację po odzyskaniu wpisu. 5

Test sprowadzający się do pytania „czy agent zawiódł na tym prompcie?” może zatem dawać fałszywe poczucie bezpieczeństwa. Podobnie ocena krok po kroku, która resetuje kontekst, pomija sesje pośrednie albo nie sprawdza istotnego przyszłego zadania, może nie odtworzyć warunków niezbędnych do aktywacji.

Właściwą jednostką testu powinna być pełna trajektoria, obejmująca:

• nieufne wejście i decyzję o zapisaniu go w pamięci;
• następujące po nim nieszkodliwe sesje;
• przyszłe zapytania oraz warianty semantyczne mogące wywołać pobranie wpisu;
• rozumowanie agenta po odzyskaniu pamięci;
• działania wykonane za pomocą narzędzi lub w systemach zewnętrznych. 214

Dlaczego trwała pamięć podnosi stawkę w autonomicznych agentach

Bezpośrednim skutkiem zatrucia może być błędna odpowiedź. Większy problem pojawia się, gdy agent po konsultacji z pamięcią ma uprawnienia do działania. Późniejsze pobranie wpisu może wpłynąć na e-mail, przepływ pracy w przeglądarce, operację na bazie danych czy inne zadanie realizowane przez narzędzia. Badanie eTAMP pokazuje w szczególności, że same zabezpieczenia oparte na uprawnieniach mogą nie zatrzymać zagrożenia wprowadzonego pośrednio przez środowisko, które agent ma prawo przeglądać. 2

Pamięć staje się więc częścią operacyjnej granicy bezpieczeństwa, a nie tylko wygodną funkcją. System pamięci, który przyjmuje materiał z nieufnych źródeł, a następnie przedstawia go jako użyteczny kontekst, może zamienić mało widoczne zdarzenie z przeszłości w opóźniony incydent. 14

Praktyczna lista kontroli dla testów i obrony

Przytoczone badania nie wskazują uniwersalnej metody obrony ani nie pokazują, jak powszechnie organizacje wdrożyły dojrzałe procedury reagowania na takie incydenty. Uzasadniają jednak traktowanie trwałej pamięci jako systemu wrażliwego z punktu widzenia bezpieczeństwa, wymagającego wyraźnych mechanizmów kontroli.

Testuj w czasie, nie tylko prompty

Prowadź testy adversarialne obejmujące opóźnione wyzwalacze, powtarzane sesje, pośrednie zadania nieszkodliwe, różne sposoby formułowania zapytań dla mechanizmu wyszukiwania oraz realistyczne uprawnienia narzędzi. Sprawdzaj również, czy agent potrafi wrócić do bezpiecznego działania po wykryciu podejrzanego zapisu. 214

Śledź pochodzenie zapisów pamięci

Rejestruj źródło pamięci, powód jej zapisania oraz warunki zaufania obowiązujące w chwili zapisu. Prace dotyczące ochrony pamięci długoterminowej proponują dzienniki zapisów i decyzji autoryzacyjnych zabezpieczone przed niezauważalną modyfikacją, co pokazuje wartość audytowalnej historii pamięci. 31

Oddziel pamięć od uprawnień

Odzyskana notatka nie powinna automatycznie mieć autorytetu zweryfikowanej instrukcji lub polityki. Ograniczaj działania, które agent może wykonać na podstawie pamięci o niskim poziomie zaufania albo treści pochodzących z zewnątrz, oraz izoluj poświadczenia i operacje o dużym wpływie.

Obserwuj zapisy i odczyty

Wykrywanie nie może skupiać się wyłącznie na promptach przychodzących. Zespoły potrzebują wglądu w to, co trafia do pamięci, co jest później przywoływane i jakie działania następują po takim odczycie. Jedno z proponowanych podejść wykrywa obserwowalne przejścia od pobrania pamięci do działania, ale deklarowane wyniki zależą od architektury i nie powinny być traktowane jako rozwiązanie uniwersalne. 18

Przygotuj cofanie skutków i przywracanie stanu

Proces reagowania powinien umożliwiać znalezienie podejrzanych wpisów, ich odizolowanie lub usunięcie, unieważnienie pochodnych podsumowań tam, gdzie to możliwe, oraz przegląd działań wykonanych po pobraniu potencjalnie zatrutej pamięci.

Najważniejszy wniosek

Zatrucie pamięci zmienia pytanie z „czy agent potrafi teraz oprzeć się złośliwemu promptowi?” na „czy potrafi bezpiecznie zarządzać informacją, która może wpłynąć na niego znacznie później?”. Analiza 2614 trajektorii z Calgary pokazuje, dlaczego odpowiedzi nie da się uzyskać na podstawie pojedynczej interakcji. W przypadku agentów z pamięcią testy bezpieczeństwa muszą śledzić całą drogę: od nieufnego wejścia, przez zapis, opóźnione odzyskanie informacji, aż po działanie w świecie rzeczywistym. 14