RespuestasPublicado19 fuentes
Envenenamiento de memoria: el ataque diferido que puede comprometer a los agentes de IA
El envenenamiento de memoria es un ataque de integridad diferido: contenido no confiable se guarda en la memoria persistente de un agente y puede recuperarse después como si fuera conocimiento previo válido. El análisis de 2.614 trayectorias simuladas estudió el envenenamiento en cadena, la reescritura de políticas,...
Publicado porEditado con GPT-5.6 TerraImágenes generadas con GPT Image 2
Respuesta de investigación
Conclusiones clave
- El envenenamiento de memoria es un ataque de integridad diferido: contenido no confiable se guarda en la memoria persistente de un agente y puede recuperarse después como si fuera conocimiento previo válido.
- El análisis de 2.614 trayectorias simuladas estudió el envenenamiento en cadena, la reescritura de políticas, los disparadores de puerta trasera y la deriva lenta; la seguridad debe evaluarse a lo largo de trayectoria...
- Cuando los agentes usan herramientas o actúan entre sesiones, las escrituras de memoria, las recuperaciones, los permisos y los mecanismos de recuperación deben formar parte del perímetro de seguridad.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How does “memory poisoning” work as a delayed attack against AI agents with persistent memory—where attackers inject false information that. Article summary: Memory poisoning is a delayed integrity attack: an attacker causes untrusted content—false facts, misleading instructions, or unsafe procedures—to be written into an agent’s persistent memory. The agent may appear normal. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, chart
La memoria persistente hace más útiles a los agentes de IA: pueden conservar preferencias, trabajos anteriores, procedimientos y contexto entre tareas. Pero también abre un problema de seguridad específico. Si un contenido no confiable acaba almacenado como recuerdo, un atacante no necesita provocar un fallo inmediato. Puede esperar a que el agente recupere ese registro contaminado durante una tarea posterior, incluso si parece no tener relación con la interacción original. 1
5
Cómo funciona un ataque diferido de envenenamiento de memoria
El envenenamiento de memoria es un ataque contra la integridad de la información que el agente tratará más adelante como parte de su conocimiento acumulado. Su secuencia básica es la siguiente:
- Inyección: el agente encuentra contenido engañoso o adversarial a través de una entrada ordinaria o de un entorno que tiene permiso para leer.
- Persistencia: ese contenido se guarda en la memoria de largo plazo, junto con notas legítimas, datos o registros de tareas anteriores.
- Latencia: el agente sigue realizando trabajo benigno, por lo que la escritura original puede pasar inadvertida.
- Recuperación: una consulta, tarea, expresión o contexto semánticamente similar hace que el sistema recupere el registro contaminado.
- Activación: el contenido recuperado influye en el razonamiento, una recomendación o el uso de una herramienta por parte del agente.
1
La diferencia crucial frente a una inyección de prompt convencional es el tiempo. Una escritura maliciosa que logra persistir puede afectar sesiones posteriores, aunque la interacción inicial no produzca un cambio visible en el comportamiento del agente. 1
30
Además, no siempre hace falta acceder directamente a una base de datos de memoria. Una investigación sobre agentes web describe un ataque entre sesiones y entre sitios: el agente observa una página manipulada durante su operación normal, ese contenido contamina su memoria y se activa más tarde en otra tarea. 2
Qué examinó el análisis vinculado a la Universidad de Calgary
Investigadores asociados con la Universidad de Calgary analizaron 2.614 trayectorias simuladas de ataques de varios pasos en agentes LLM con memoria. En vez de limitarse a preguntar si el ataque tuvo éxito o no, estudiaron cómo evolucionaba el compromiso con el tiempo. El trabajo abordó cuatro patrones: envenenamiento en cadena, reescritura de políticas, activación de puertas traseras y deriva lenta. 14
Envenenamiento en cadena
El envenenamiento en cadena introduce una premisa dañina al comienzo de un proceso de varios pasos. A continuación, el razonamiento posterior puede apoyarse en ella mediante decisiones intermedias que, por separado, parecen plausibles, hasta terminar en un resultado inseguro. Desde el punto de vista de la seguridad, ninguna etapa individual tiene por qué parecer claramente maliciosa cuando se examina de forma aislada. 14
Reescritura de políticas
La reescritura de políticas corrompe reglas, aprobaciones, prioridades o supuestos operativos que el agente recuerda. Si una tarea futura recupera esos registros alterados, el agente puede seguir la política sustituida por el atacante en lugar de la prevista por sus responsables. 14
Activación de puertas traseras
Un registro de memoria con comportamiento de puerta trasera permanece inactivo hasta que una tarea posterior contiene el disparador adecuado, como una frase determinada, un contexto de trabajo concreto o una coincidencia semántica. Investigaciones previas han demostrado el riesgo más amplio de que una sola observación contaminada se almacene y se active en trabajos futuros, entre sesiones y sitios web distintos. 2
14
Deriva lenta
La deriva lenta describe cambios menores que desplazan gradualmente las recomendaciones o los patrones de acción de un agente. La investigación sobre el compromiso de memorias persistentes concluye que tareas posteriores con similitud léxica o semántica pueden hacer aflorar registros contaminados e inducir patrones inseguros entre sesiones. 29
Por qué las pruebas de una sola vez pueden no detectar el ataque
El análisis de Calgary subraya un problema temporal: algunos ataques pueden ser difíciles de distinguir del comportamiento normal en el momento de la inyección. El efecto dañino queda separado de la escritura inicial en memoria y puede aparecer solo cuando se produce una recuperación posterior. 14
Por ello, el riesgo no tiene por qué crecer de manera lineal. Puede permanecer silencioso durante varias interacciones y aumentar cuando una tarea, un contexto o un disparador relevante hace que el recuerdo contaminado quede lo bastante alto en los resultados de recuperación. Otros trabajos describen igualmente el envenenamiento de memoria como un proceso en dos fases: primero la inyección y, más tarde, la activación mediante la recuperación. 5
Una prueba que se limite a preguntar «¿falló el agente ante este prompt?» puede dar una falsa sensación de seguridad. Del mismo modo, una evaluación paso a paso que reinicie el contexto, omita sesiones intermedias o nunca someta al agente a una tarea futura pertinente puede no reproducir las condiciones necesarias para la activación.
La unidad adecuada de prueba es la trayectoria completa:
- la entrada no confiable y la decisión de guardar memoria;
- las sesiones benignas intermedias;
- las consultas futuras y variantes semánticas que pueden recuperar el registro;
- el razonamiento del agente una vez recuperado ese contenido; y
- cualquier acción resultante mediante herramientas o sistemas externos.
14
Por qué la memoria persistente eleva el riesgo en agentes autónomos
El efecto inmediato de una memoria contaminada puede ser una respuesta errónea. La preocupación mayor aparece cuando el agente tiene autorización para actuar después de consultar esa memoria. Una recuperación posterior podría influir en un correo electrónico, un flujo de trabajo en un navegador, una operación en una base de datos u otra tarea mediada por herramientas.
La investigación eTAMP muestra específicamente que las defensas basadas solo en permisos pueden no detener una amenaza introducida indirectamente desde un entorno que el agente está autorizado a inspeccionar. 2
Esto convierte a la memoria en parte del perímetro operativo de seguridad, no en una mera función de comodidad. Un sistema de memoria que admite material no confiable y luego lo presenta como contexto útil puede transformar un evento discreto y poco visible en un incidente diferido. 1
4
Lista práctica para evaluar y reducir el riesgo
Las investigaciones citadas no establecen una defensa universal ni permiten saber hasta qué punto las organizaciones han adoptado prácticas maduras de respuesta a incidentes. Sí respaldan, sin embargo, tratar la memoria persistente como un sistema sensible para la seguridad y protegerla de forma explícita.
Probar a lo largo del tiempo, no solo con prompts
Las evaluaciones adversariales deben incluir disparadores diferidos, sesiones repetidas, tareas benignas entre medias, distintas formulaciones para la recuperación y permisos realistas para el uso de herramientas. También conviene probar si el agente puede recuperarse una vez identificada una escritura de memoria sospechosa. 2
14
Registrar la procedencia de cada escritura
Es importante documentar de dónde proviene cada recuerdo, por qué se almacenó y qué condiciones de confianza existían en el momento de guardarlo. Una propuesta de protección de memoria a largo plazo plantea registros de escrituras y decisiones de autorización que evidencian manipulaciones, lo que ilustra el valor de contar con historiales auditables. 31
Separar memoria y autoridad
Una nota recuperada no debería adquirir automáticamente la autoridad de una instrucción o política verificada. Conviene limitar las acciones que un agente puede ejecutar a partir de recuerdos de baja confianza o procedentes de fuentes externas, además de compartimentar las credenciales y las operaciones de alto impacto.
Inspeccionar tanto las escrituras como las recuperaciones
La detección no puede centrarse únicamente en los prompts entrantes. Los equipos necesitan visibilidad sobre qué entra en la memoria, qué se recupera después y qué acciones se ejecutan a continuación. Una propuesta de detección utiliza transiciones observables entre la recuperación y la acción, aunque sus resultados dependen de la arquitectura y no deben considerarse una solución universal. 18
Preparar revocación y reversión
Un proceso de respuesta debería poder localizar entradas sospechosas, aislarlas o eliminarlas, invalidar resúmenes derivados cuando sea viable y revisar las acciones realizadas después de recuperar memorias posiblemente contaminadas.
La lección central
El envenenamiento de memoria cambia la pregunta: ya no basta con saber si un agente puede resistir un prompt malicioso en este momento. Hay que determinar si puede gestionar con seguridad información que podría influir en su conducta mucho tiempo después.
El análisis de 2.614 trayectorias vinculado a la Universidad de Calgary muestra por qué una única interacción no permite responderlo. En agentes con memoria, las pruebas de seguridad deben seguir todo el recorrido: desde la entrada no confiable y el almacenamiento, hasta la recuperación diferida y la acción en sistemas reales. 14
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
La gente también pregunta
¿Cuál es la respuesta corta a "Envenenamiento de memoria: el ataque diferido que puede comprometer a los agentes de IA"?
El envenenamiento de memoria es un ataque de integridad diferido: contenido no confiable se guarda en la memoria persistente de un agente y puede recuperarse después como si fuera conocimiento previo válido.
¿Cuáles son los puntos clave a validar primero?
El envenenamiento de memoria es un ataque de integridad diferido: contenido no confiable se guarda en la memoria persistente de un agente y puede recuperarse después como si fuera conocimiento previo válido. El análisis de 2.614 trayectorias simuladas estudió el envenenamiento en cadena, la reescritura de políticas, los disparadores de puerta trasera y la deriva lenta; la seguridad debe evaluarse a lo largo de trayectoria...
¿Qué debo hacer a continuación en la práctica?
Cuando los agentes usan herramientas o actúan entre sesiones, las escrituras de memoria, las recuperaciones, los permisos y los mecanismos de recuperación deben formar parte del perímetro de seguridad.
Fuentes