ОтветыОпубликовано19 источники
Отравление памяти ИИ-агентов: как атака срабатывает спустя время
Отравление памяти — это отложенная атака на целостность данных: недоверенный контент сохраняется в долговременной памяти ИИ агента и позднее извлекается как будто это надёжный прошлый опыт. В исследовании рассмотрены цепочное отравление, подмена политик, запуск бэкдора и постепенный дрейф — поэтому проверять нужно н...
ОпубликовалОтредактировано с помощью GPT-5.6 TerraИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- Отравление памяти — это отложенная атака на целостность данных: недоверенный контент сохраняется в долговременной памяти ИИ агента и позднее извлекается как будто это надёжный прошлый опыт.
- В исследовании рассмотрены цепочное отравление, подмена политик, запуск бэкдора и постепенный дрейф — поэтому проверять нужно не отдельные запросы, а полную последовательность событий.
- Если агент использует инструменты и действует между сессиями, записи в памяти, их извлечение, разрешения и процедуры восстановления должны входить в периметр безопасности.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: How does “memory poisoning” work as a delayed attack against AI agents with persistent memory—where attackers inject false information that. Article summary: Memory poisoning is a delayed integrity attack: an attacker causes untrusted content—false facts, misleading instructions, or unsafe procedures—to be written into an agent’s persistent memory. The agent may appear normal. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, chart
Долговременная память делает ИИ-агента полезнее: он может сохранять предпочтения пользователя, результаты прошлой работы, процедуры и контекст между задачами. Но у этой возможности есть и обратная сторона. Если в память попадает недоверенный контент, злоумышленнику не обязательно добиваться немедленного сбоя. Достаточно дождаться, когда агент извлечёт отравлённую запись при другой, на вид совершенно обычной задаче. 1
5
Как работает отложенная атака
Отравление памяти — это атака на целостность информации, которую агент позднее воспринимает как часть собственного накопленного знания. Типичная последовательность выглядит так:
- Внедрение. Агент получает вводящий в заблуждение или вредоносный контент через обычный входной канал либо среду, которую ему разрешено просматривать.
- Сохранение. Этот контент записывается в долговременную память рядом с легитимными заметками, фактами и журналом прежних задач.
- Ожидание. Агент продолжает выполнять безобидные поручения, поэтому подозрительная запись может остаться незамеченной.
- Извлечение. Будущий запрос, формулировка или семантически похожий контекст заставляет систему извлечь отравлённую запись.
- Активация. Извлечённый материал влияет на рассуждение агента, его рекомендацию или вызов внешнего инструмента.
1
Главное отличие от обычной prompt-инъекции — время. Успешная вредоносная запись в память способна воздействовать на последующие сессии, даже если в момент первого контакта поведение агента внешне не меняется. 1
30
Причём злоумышленнику не всегда нужен прямой доступ к базе памяти. Исследование веб-агентов описывает межсессионную и межсайтовую атаку: агент в ходе штатной работы просматривает подменённую страницу, загрязняет свою память, а вредоносный эффект проявляется уже при будущей задаче на другом сайте. 2
Что изучили исследователи Университета Калгари
Исследователи, связанные с Университетом Калгари, проанализировали 2 614 смоделированных многошаговых траекторий атак на LLM-агентов с памятью. Вместо простого вопроса «удалась ли атака?» они рассматривали, как компрометация развивается во времени. Были выделены четыре сценария: цепочное отравление, подмена политик, запуск бэкдора и постепенный дрейф. 14
Цепочное отравление
При цепочном отравлении вредная предпосылка закладывается на раннем шаге процесса. Дальнейшие рассуждения могут логично строиться на этой предпосылке, пока серия внешне правдоподобных промежуточных решений не приведёт к небезопасному результату. Отдельно взятый шаг при этом не обязательно выглядит явно вредоносным. 14
Подмена политик
Подмена политик искажает сохранённые правила, согласования, приоритеты или рабочие допущения. Когда последующая задача извлекает эти записи, агент может действовать по подставленному злоумышленником правилу, а не по исходной политике. 14
Запуск бэкдора
Запись в стиле бэкдора остаётся неактивной, пока в будущей задаче не появится подходящий триггер: определённая фраза, контекст или семантическое совпадение. Смежные исследования уже демонстрировали более общий риск: одно загрязнённое наблюдение может сохраниться и активироваться в будущей работе между сессиями и на разных сайтах. 2
14
Постепенный дрейф
Постепенный дрейф — это небольшие изменения, которые со временем сдвигают рекомендации агента или его привычные способы действий. Исследования устойчивой компрометации памяти показывают, что похожие по словам или смыслу будущие задачи могут извлекать отравлённые записи и воспроизводить небезопасные шаблоны в разных сессиях. 29
Почему разовой проверки недостаточно
Анализ Калгари подчёркивает временную природу угрозы: в момент внедрения некоторые атаки трудно отличить от нормального поведения. Вредный эффект отделён от первоначальной записи в память и может проявиться только после последующего извлечения. 14
Поэтому риск не обязан нарастать равномерно. Он может оставаться незаметным на протяжении нескольких взаимодействий, а затем резко проявиться, когда релевантная задача, контекст или триггер поднимет отравлённую запись достаточно высоко в результатах поиска по памяти. Другие работы также описывают отравление памяти как двухфазный процесс: сначала внедрение, затем активация через извлечение. 5
Тест вида «сломался ли агент на этом запросе?» способен создать ложное чувство безопасности. То же относится к пошаговой оценке, если она сбрасывает контекст, пропускает промежуточные сессии или не проверяет будущую задачу, способную активировать запись.
Проверять нужно всю траекторию, включая:
- недоверенный ввод и решение сохранить его в памяти;
- промежуточные безопасные сессии;
- будущие запросы и смысловые варианты формулировок, которые могут вызвать извлечение;
- рассуждение агента после извлечения;
- действия через инструменты и внешние системы.
14
Почему ставка выше у автономных агентов
На первом этапе отравление может привести лишь к неверному ответу. Однако более серьёзный риск возникает, когда агент после обращения к памяти имеет право выполнять действия. Позднее извлечение способно повлиять на письмо, работу в браузере, операцию с базой данных или иную задачу с использованием инструментов. В исследовании eTAMP показано, что одних разрешений может оказаться недостаточно против угрозы, попавшей в систему косвенно из среды, которую агенту разрешено просматривать. 2
В таком случае память становится частью операционной границы безопасности, а не просто удобной функцией. Система, которая принимает недоверенный материал и позднее подаёт его агенту как полезный контекст, способна превратить малозаметное раннее событие в инцидент с отложенным эффектом. 1
4
Практический чек-лист защиты и тестирования
Приведённые исследования не устанавливают универсальной защиты и не позволяют судить о том, насколько широко организации уже внедрили зрелые процедуры реагирования. Но они дают основания относиться к постоянной памяти как к чувствительной с точки зрения безопасности системе, для которой нужны явные контроли.
Проверяйте не только запросы, но и время
Проводите adversarial-тесты с отложенными триггерами, повторными сессиями, безопасными промежуточными задачами, разными формулировками для поиска по памяти и реалистичными разрешениями на использование инструментов. Проверяйте также, способен ли агент восстановиться после обнаружения подозрительной записи. 2
14
Фиксируйте происхождение записей
Нужно сохранять сведения о том, откуда пришла запись, почему она была сохранена и каков был уровень доверия к ней в момент записи. В одной из работ по защите долгосрочной памяти предлагается защищённое от незаметной подмены журналирование записей и решений об авторизации; это иллюстрирует ценность проверяемой истории памяти. 31
Не приравнивайте память к полномочиям
Извлечённая заметка не должна автоматически обладать статусом проверенной инструкции или утверждённой политики. Следует ограничивать действия, которые агент может совершать на основании внешней либо низкодоверенной памяти, а учётные данные и высокорисковые операции — изолировать.
Наблюдайте и за записью, и за извлечением
Нельзя ограничиваться контролем входящих запросов. Команде необходима видимость того, что попадает в память, что извлекается позднее и какие действия следуют за этим. Один из предложенных методов обнаружения опирается на наблюдаемые переходы от извлечения к действию, но его результаты зависят от архитектуры и не должны восприниматься как универсальное решение. 18
Подготовьте отзыв и откат
Процесс реагирования должен позволять находить подозрительные записи, изолировать или удалять их, по возможности аннулировать созданные на их основе сводки и проверять действия, совершённые после извлечения потенциально отравлённой памяти.
Главный вывод
Отравление памяти меняет сам вопрос безопасности. Вместо «сможет ли агент прямо сейчас устоять перед вредоносным запросом?» нужно спрашивать: «сможет ли он безопасно обращаться с информацией, которая повлияет на него существенно позже?» Анализ 2 614 траекторий, проведённый исследователями Калгари, показывает, почему ответа нельзя получить по одному взаимодействию. Для агентов с памятью тестирование должно охватывать весь путь: от недоверенного ввода и сохранения до отложенного извлечения и действия в реальном мире. 14
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Отравление памяти ИИ-агентов: как атака срабатывает спустя время»?
Отравление памяти — это отложенная атака на целостность данных: недоверенный контент сохраняется в долговременной памяти ИИ агента и позднее извлекается как будто это надёжный прошлый опыт.
Какие ключевые моменты необходимо проверить в первую очередь?
Отравление памяти — это отложенная атака на целостность данных: недоверенный контент сохраняется в долговременной памяти ИИ агента и позднее извлекается как будто это надёжный прошлый опыт. В исследовании рассмотрены цепочное отравление, подмена политик, запуск бэкдора и постепенный дрейф — поэтому проверять нужно не отдельные запросы, а полную последовательность событий.
Что мне делать дальше на практике?
Если агент использует инструменты и действует между сессиями, записи в памяти, их извлечение, разрешения и процедуры восстановления должны входить в периметр безопасности.
Источники