Memory poisoning: l’attacco che colpisce gli agenti IA anche molto tempo dopo

La memoria persistente rende un agente IA più utile: può ricordare preferenze, procedure, attività precedenti e contesto da una sessione all’altra. Ma apre anche un problema di sicurezza specifico. Se un contenuto non affidabile viene memorizzato, chi attacca non deve necessariamente provocare un errore immediato: può aspettare che l’agente recuperi quella voce avvelenata durante un compito futuro, magari del tutto diverso. 15

Come funziona un attacco ritardato alla memoria

Il memory poisoning è un attacco all’integrità di ciò che un agente finirà per trattare come propria conoscenza accumulata. La sequenza essenziale è questa:

1. Iniezione: l’agente incontra contenuti ingannevoli o ostili attraverso un input ordinario o un ambiente che è autorizzato a leggere.
2. Persistenza: quei contenuti vengono scritti nella memoria a lungo termine, accanto ad appunti, fatti o registri di attività legittimi.
3. Dormienza: l’agente continua a svolgere lavori benigni, quindi la scrittura originaria può passare inosservata.
4. Recupero: una richiesta futura, un’attività, una frase o un contesto semanticamente simile fa recuperare al sistema la voce avvelenata.
5. Attivazione: il contenuto recuperato influenza il ragionamento, un consiglio o l’uso di uno strumento da parte dell’agente. 125

La differenza decisiva rispetto a una normale prompt injection è il tempo. Una scrittura malevola riuscita nella memoria può influenzare sessioni successive anche se, nell’interazione iniziale, il comportamento dell’agente non appare alterato. 130

Non è indispensabile che l’attaccante modifichi direttamente un database di memoria. Nella ricerca sugli agenti web, per esempio, viene descritto un attacco tra sessioni e tra siti: una pagina manipolata viene osservata durante l’uso normale, contamina la memoria e si attiva più tardi in un altro compito. 2

Cosa ha analizzato lo studio collegato all’Università di Calgary

Ricercatori associati all’Università di Calgary hanno analizzato 2.614 traiettorie simulate di attacco multi-step che coinvolgevano agenti LLM dotati di memoria. Invece di ridurre il successo dell’attacco a un semplice sì o no, il lavoro ha osservato come la compromissione evolvesse nel tempo. Sono stati considerati quattro modelli: avvelenamento a catena, riscrittura delle policy, attivazione di backdoor e deriva lenta. 14

Avvelenamento a catena

L’avvelenamento a catena inserisce una premessa dannosa nelle prime fasi di un processo composto da più passaggi. I ragionamenti successivi possono costruirsi su quella premessa attraverso decisioni intermedie apparentemente plausibili, fino a produrre un esito non sicuro. Dal punto di vista della sicurezza, il problema è che nessun singolo passaggio deve apparire palesemente malevolo se osservato isolatamente. 14

Riscrittura delle policy

La riscrittura delle policy corrompe regole, approvazioni, priorità o assunzioni operative conservate in memoria. Quando un compito successivo recupera quei record alterati, l’agente può seguire la policy sostituita dall’attaccante anziché quella prevista. 14

Attivazione di backdoor

Una voce di memoria in stile backdoor resta inattiva finché un compito futuro non contiene il trigger giusto: per esempio una frase particolare, un contesto operativo o una corrispondenza semantica. Lavori precedenti hanno mostrato il rischio più generale di una singola osservazione contaminata, memorizzata e poi attivata in attività future tra sessioni e siti web diversi. 214

Deriva lenta

La deriva lenta indica cambiamenti più piccoli che, nel tempo, spostano raccomandazioni o schemi d’azione dell’agente. La ricerca sulla compromissione della memoria persistente rileva che attività successive, lessicalmente o semanticamente simili, possono far riemergere record avvelenati e indurre comportamenti non sicuri attraverso più sessioni. 29

Perché i test una tantum possono non rilevare l’attacco

L’analisi di Calgary mette in evidenza un problema temporale: alcuni attacchi possono essere difficili da distinguere dal comportamento normale nel momento in cui avviene l’iniezione. L’effetto dannoso è separato dalla scrittura iniziale in memoria e può manifestarsi soltanto al recupero successivo. 14

Il rischio, quindi, non cresce necessariamente in modo lineare. Può restare silenzioso per diverse interazioni e aumentare quando un’attività, un contesto o un trigger rilevante fa salire abbastanza in alto la memoria contaminata nella classifica di recupero. Anche altre ricerche descrivono il memory poisoning come un processo in due fasi: prima l’iniezione, poi l’attivazione attraverso il recupero. 5

Un test che chieda soltanto «L’agente ha fallito con questo prompt?» può quindi dare una falsa sensazione di sicurezza. Lo stesso vale per una valutazione passo per passo che azzeri il contesto, salti le sessioni intermedie o non sottoponga mai l’agente a un compito futuro rilevante.

L’unità di test più appropriata è l’intera traiettoria:

• l’input non affidabile e la decisione di scriverlo in memoria;
• le sessioni innocue che intervengono;
• le richieste future e le varianti semantiche che potrebbero recuperare quella voce;
• il ragionamento dell’agente dopo il recupero;
• le eventuali azioni risultanti tramite strumenti o sistemi esterni. 214

Perché la memoria persistente alza la posta per gli agenti autonomi

L’effetto immediato dell’avvelenamento può essere una risposta sbagliata. Il rischio maggiore nasce quando l’agente ha l’autorità di agire dopo aver consultato la propria memoria. Un recupero futuro può influenzare un’e-mail, un flusso di lavoro nel browser, un’operazione su database o un’altra attività mediata da strumenti. La ricerca eTAMP mostra in particolare che le sole difese basate sui permessi potrebbero non fermare una minaccia introdotta indirettamente da un ambiente che l’agente è autorizzato a ispezionare. 2

La memoria diventa così parte del perimetro di sicurezza operativo, e non una semplice funzione di comodità. Un sistema che accetta materiale non affidabile e lo ripresenta in seguito come contesto utile può trasformare un evento iniziale poco visibile in un incidente ritardato. 14

Una checklist pratica per test e difese

Le ricerche citate non dimostrano l’esistenza di una difesa universale, né stabiliscono quanto siano diffuse nelle organizzazioni pratiche mature di risposta agli incidenti. Indicano però che la memoria persistente va trattata come un sistema sensibile dal punto di vista della sicurezza, con controlli espliciti.

Testare nel tempo, non solo sui prompt

Usare valutazioni avversariali che includano trigger ritardati, sessioni ripetute, compiti benigni intermedi, formulazioni diverse per il recupero e permessi realistici sugli strumenti. Va verificato anche se l’agente riesce a riprendersi dopo l’identificazione di una scrittura sospetta in memoria. 214

Tracciare la provenienza delle scritture in memoria

Registrare da dove proviene ogni memoria, perché è stata conservata e quali condizioni di fiducia valevano al momento della scrittura. Una proposta per proteggere la memoria a lungo termine suggerisce registri delle scritture e delle decisioni di autorizzazione che rendano evidenti eventuali manomissioni, a dimostrazione dell’utilità di cronologie di memoria verificabili. 31

Separare memoria e autorità

Una nota recuperata non dovrebbe ricevere automaticamente l’autorità di un’istruzione o di una policy verificata. Occorre limitare ciò che un agente può fare sulla base di memorie a bassa fiducia o derivate da fonti esterne e mantenere separati credenziali e interventi ad alto impatto.

Ispezionare sia le scritture sia i recuperi

Il rilevamento non può concentrarsi soltanto sui prompt in ingresso. I team devono poter osservare cosa entra in memoria, cosa viene richiamato più tardi e quali azioni successive ne derivano. Un approccio proposto usa transizioni osservabili dal recupero all’azione; tuttavia, i risultati riportati dipendono dall’architettura e non vanno considerati una soluzione universale. 18

Preparare revoca e rollback

Una procedura di risposta dovrebbe consentire di trovare le voci sospette, isolarle o rimuoverle, invalidare ove possibile i riepiloghi derivati e riesaminare le azioni compiute dopo il recupero di memorie potenzialmente avvelenate.

La lezione centrale

Il memory poisoning cambia la domanda da «Un agente sa resistere a un prompt malevolo adesso?» a «Sa gestire in sicurezza informazioni che potrebbero influenzarlo molto più tardi?». L’analisi delle 2.614 traiettorie sottolinea perché la risposta non possa essere stabilita in una singola interazione. Per gli agenti dotati di memoria, i test di sicurezza devono seguire l’intero percorso: dall’input non affidabile all’archiviazione, dal recupero ritardato fino all’azione nel mondo reale. 14