Отруєння пам’яті перетворює довготривалу пам’ять ШІ-агента на відкладену поверхню атаки

Постійна пам’ять робить ШІ-агента кориснішим: він може зберігати вподобання, результати попередньої роботи, процедури та контекст між завданнями. Водночас вона створює окрему проблему безпеки. Якщо до пам’яті потрапляє недовірений вміст, зловмиснику не обов’язково одразу спричиняти збій. Він може дочекатися, коли агент витягне отруєний запис під час майбутнього, на перший погляд не пов’язаного із ним завдання. 15

Як працює відкладена атака через отруєння пам’яті

Отруєння пам’яті — це атака на цілісність того, що агент пізніше сприймає як власне накопичене знання. Типова послідовність має такий вигляд:

1. Ін’єкція. Агент отримує ворожий або оманливий вміст через звичайний вхідний канал чи середовище, яке йому дозволено читати.
2. Збереження. Цей вміст записується до довготривалої пам’яті поруч із легітимними нотатками, фактами або записами про попередні завдання.
3. Прихована фаза. Агент продовжує безпечно виконувати звичайну роботу, тому первинний запис може не привернути уваги.
4. Витягування. Майбутній запит, завдання, фраза або семантично подібний контекст змушує систему знайти отруєний запис.
5. Активація. Витягнутий вміст впливає на міркування агента, його рекомендацію або застосування інструменту. 125

Головна відмінність від звичайної ін’єкції в промпт — час. Успішний шкідливий запис у пам’ять здатен впливати на наступні сесії, навіть якщо початкова взаємодія не змінила поведінку агента помітним чином. 130

Не в кожному сценарії зловмисник мусить мати прямий доступ до бази пам’яті. Наприклад, дослідження вебагентів описує міжсесійний і міжсайтовий напад: агент під час звичайної роботи бачить маніпульовану сторінку, його пам’ять забруднюється, а атака активується під час пізнішого завдання. 2

Що аналізували дослідники, пов’язані з Університетом Калгарі

Дослідники, пов’язані з Університетом Калгарі, повідомили про аналіз 2 614 змодельованих багатокрокових траєкторій атак на LLM-агентів із пам’яттю. Замість відповіді лише «так» або «ні» на питання, чи вдалася атака, вони вивчали, як компрометація розвивається з часом. Розглядалися чотири моделі: ланцюгове отруєння, переписування політик, активація бекдору та повільний дрейф. 14

Ланцюгове отруєння

Ланцюгове отруєння закладає шкідливу передумову на ранньому етапі багатокрокового процесу. Подальші міркування можуть вибудовуватися на ній через зовні правдоподібні проміжні рішення й зрештою привести до небезпечного результату. Важливо для безпеки, що жоден окремий крок необов’язково виглядатиме очевидно зловмисним, якщо розглядати його ізольовано. 14

Переписування політик

Переписування політик псує збережені правила, погодження, пріоритети або робочі припущення. Якщо пізніше агент витягне такі змінені записи, він може діяти за підставленою зловмисником політикою, а не за передбаченими правилами. 14

Активація бекдору

Запис у пам’яті, що працює як бекдор, лишається неактивним, доки в майбутньому завданні не з’явиться потрібний тригер — наприклад, конкретна фраза, контекст завдання або семантичний збіг. Попередні дослідження демонстрували ширший ризик: один забруднений елемент спостереження може бути збережений і активуватися в майбутній роботі між сесіями та вебсайтами. 214

Повільний дрейф

Повільний дрейф — це менші зміни, які поступово зсувають рекомендації агента або його типові дії. Дослідження компрометації постійної пам’яті показують, що пізніші завдання з лексичною чи семантичною подібністю можуть витягувати отруєні записи та запускати небезпечні шаблони в різних сесіях. 29

Чому одноразове тестування агента може не виявити атаку

Аналіз із Калгарі акцентує на часовій проблемі: деякі атаки в момент ін’єкції складно відрізнити від нормальної поведінки. Шкідливий наслідок відокремлений у часі від початкового запису до пам’яті й може проявитися лише після наступного витягування даних. 14

Отже, ризик не обов’язково зростає лінійно. Він може залишатися прихованим протягом кількох взаємодій, а потім різко зрости, коли релевантне завдання, контекст або тригер підніме отруєний запис достатньо високо в результатах пошуку. Інші дослідження так само описують отруєння пам’яті як двофазний процес: спершу ін’єкція, а потім активація через витягування. 5

Тест на кшталт «чи помилився агент на цьому промпті?» може створити хибне відчуття безпеки. Так само покрокова оцінка, яка скидає контекст, пропускає проміжні сесії або ніколи не перевіряє релевантне майбутнє завдання, може не відтворити умов, необхідних для активації.

Тому доречною одиницею тестування є повна траєкторія:

• недовірений вхідний вміст і рішення записати його до пам’яті;
• проміжні безпечні сесії;
• майбутні запити та семантичні варіанти, що можуть витягнути запис;
• міркування агента після такого витягування;
• будь-яка подальша дія через інструменти або зовнішні системи. 214

Чому постійна пам’ять підвищує ставки для автономних агентів

Безпосереднім наслідком отруєння може бути невдала відповідь. Значно серйозніший ризик виникає, коли агент має повноваження діяти після звернення до пам’яті. Пізніше витягнутий запис може вплинути на лист, робочий процес у браузері, операцію з базою даних або інше завдання, що виконується через інструменти. Дослідження eTAMP зокрема показує, що самих лише захистів на основі дозволів може бути недостатньо проти загрози, занесеної непрямо через середовище, яке агент має право переглядати. 2

Тому пам’ять слід вважати частиною операційної межі безпеки, а не просто функцією для зручності. Система пам’яті, яка приймає недовірені матеріали й потім подає їх як корисний контекст, може перетворити малопомітну подію в минулому на відкладений інцидент. 14

Практичний чекліст для тестування та захисту

Наведені дослідження не встановлюють універсального захисту й не показують, наскільки широко організації вже запровадили зрілі процедури реагування на інциденти. Проте вони дають підстави розглядати постійну пам’ять як чутливу до безпеки систему, що потребує явних контролів.

Тестуйте в часі, а не лише промпти

Застосовуйте змагальні перевірки з відкладеними тригерами, повторними сесіями, проміжними безпечними завданнями, різними формулюваннями для пошуку та реалістичними дозволами інструментів. Перевіряйте, чи здатен агент відновитися після виявлення підозрілого запису в пам’яті. 214

Відстежуйте походження записів у пам’яті

Фіксуйте, звідки надійшов запис, чому його збережено та які умови довіри діяли на момент запису. Дослідження захисту довготривалої пам’яті пропонує журнали записів і рішень про авторизацію із захистом від непомітного редагування, що ілюструє цінність аудитовної історії пам’яті. 31

Відокремлюйте пам’ять від повноважень

Витягнута нотатка не повинна автоматично мати статус перевіреної інструкції або політики. Варто обмежувати дії, які агент може виконувати на основі пам’яті з низьким рівнем довіри або пам’яті, сформованої із зовнішніх джерел; облікові дані та високовпливові дії слід ізолювати.

Перевіряйте і записи, і витягування

Виявлення загроз не може зосереджуватися тільки на вхідних промптах. Командам потрібна видимість того, що потрапляє до пам’яті, що витягується пізніше та які подальші дії відбуваються. Один із запропонованих підходів до виявлення використовує спостережувані переходи від витягування даних до дії, проте його заявлені результати залежать від архітектури й не мають сприйматися як універсальне рішення. 18

Плануйте відкликання та відкат

Процедура реагування має дозволяти знайти підозрілі записи, ізолювати або вилучити їх, за можливості скасувати похідні підсумки та переглянути дії, виконані після витягування потенційно отруєної пам’яті.

Головний висновок

Отруєння пам’яті змінює питання з «чи може агент протистояти шкідливому промпту прямо зараз?» на «чи здатен він безпечно керувати інформацією, яка може вплинути на нього значно пізніше?». Аналіз 2 614 траєкторій, проведений дослідниками з Калгарі, показує, чому відповідь неможливо отримати з однієї взаємодії. Для агентів із пам’яттю перевірка безпеки має охоплювати весь шлях: від недовіреного входу через збереження і відкладене витягування — до реальної дії. 14