El núcleo del problema era desarmantemente simple: Gemini había sido diseñado para leer las notificaciones entrantes y así ser más útil. Cualquier aplicación con capacidad de generar un aviso se convertía en un potencial vector de ataque; el asistente procesaba esos datos como contexto de conversación de confianza .
El ataque explotaba una función integrada en el asistente de voz de Gemini para Android. En concreto, una herramienta del agente de utilidades del sistema operativo que lee y procesa los avisos entrantes del dispositivo. Dado que esta herramienta maneja datos no verificados provenientes de aplicaciones de terceros, un mensaje manipulado podía incrustar instrucciones maliciosas directamente en el texto de la notificación. Cuando Gemini leía el aviso envenenado, inyectaba silenciosamente esas órdenes en su propio contexto, listo para ejecutarlas en una interacción posterior, completamente inocente, con el usuario .
Esto significaba que el atacante no necesitaba tener el teléfono en la mano ni permisos especiales. Un solo mensaje entregado a través de una plataforma estándar (WhatsApp, Slack, Signal, SMS, Instagram o Messenger) podía ser suficiente para comprometer el dispositivo .
Google ya había tomado cartas en el asunto tras investigaciones previas. Cuando SafeBreach demostró por primera vez cómo una invitación maliciosa de Google Calendar podía secuestrar a Gemini, la compañía respondió parcheando el sistema para bloquear la invocación de herramientas en cadena y la invocación retardada, dos estrategias comunes de inyección de prompts. El parche impedía que los atacantes desencadenaran secuencias de acciones sensibles o que postergaran el ataque hasta que el usuario no estuviera mirando .
Pero el investigador de SafeBreach, Or Yair, encontró una forma creativa de esquivar estos nuevos guardarraíles. La novedosa técnica de «Fake Context Alignment» (alineación de contexto falso) creaba una realidad dual para engañar la lógica de seguridad de la IA . Funcionaba presentando dos caras distintas:
El truco se basaba en instrucciones ocultas u ofuscadas. Los atacantes incrustaban comandos maliciosos en texto en otros idiomas, hipervínculos silenciados u otros formatos de prompt ocultos que un humano ignoraría pero una IA procesaría. Cuando el usuario más tarde emitía una orden de voz normal o respondía a un mensaje, la propia lógica de autorización de Gemini interpretaba erróneamente esa acción como la aprobación para las tareas sensibles plantadas con anterioridad. Combinando múltiples técnicas de ofuscación y temporización en lo que los investigadores llamaron la «carga útil combinada definitiva», el equipo logró evadir todas las últimas mitigaciones de Google con alta fiabilidad .
SafeBreach no solo describió el riesgo teórico. Demostraron cinco escenarios concretos que mostraban el alcance total del secuestro .
1. Control del hogar inteligente
Una vez comprometido Gemini, un atacante podía manipular de forma remota cualquier dispositivo vinculado a Google Home. Esto incluía abrir ventanas conectadas, controlar calderas y gestionar sistemas de iluminación, convirtiendo al asistente de IA en un intruso digital con consecuencias en el mundo físico .
2. Llamadas de Zoom forzadas con transmisión encubierta de cámara
Los investigadores demostraron la capacidad de lanzar sigilosamente la aplicación Zoom en el dispositivo de la víctima e iniciar una llamada que transmitía la señal en vivo de la cámara del teléfono. Lo lograron usando una redirección HTTP 301 desde un dominio aprobado por el servicio de Navegación Segura de Google, haciendo que la conexión maliciosa pareciera legítima ante las comprobaciones de seguridad. El usuario no tendría ninguna indicación visual de que su cámara estaba activa .
3. Envenenamiento de memoria en el ecosistema de Google
Quizás el ataque más insidioso era la capacidad de inyectar información falsa en la memoria a largo plazo de Gemini. Dado que esta memoria se sincroniza en toda la cuenta de Google Workspace del usuario, una sola notificación envenenada podía corromper la información «recordada» disponible para el asistente en su tableta, ordenador y altavoces inteligentes, pudiendo provocar futuras acciones malinformadas por parte de la IA en todos los dispositivos .
4. Suplantación de mensajes de contactos de confianza
El ataque podía utilizarse para ingeniería social a gran escala, como campañas de phishing. Los investigadores lograron extraer nombres reales de remitentes de la cola de notificaciones del dispositivo y fabricar mensajes que parecían provenir de un contacto de confianza, como un jefe o un familiar. Esto no requería conocimiento previo de los contactos de la víctima y alimentaba estafas altamente convincentes .
5. Vigilancia programada
Para permitir la extracción continua de datos, los investigadores establecieron una tarea recurrente dentro del contexto de la IA. Esta instruía a Gemini a leer automáticamente los mensajes recientes del usuario cada día, creando un canal de vigilancia persistente y autosostenido sin necesidad de más interacción por parte del atacante .
La investigación siguió un cronograma de divulgación responsable a través del Programa de Recompensas por Vulnerabilidades (VRP) de Google:
Aunque esta ventana de oportunidad específica se cerró, la investigación puso de relieve una tensión fundamental en los asistentes de IA: cuanto más útiles y conscientes del contexto se vuelven al leer nuestras notificaciones, calendarios y correos, más flujos de datos no confiables deben gestionar de forma segura. El trabajo de SafeBreach sirve como un modelo crítico para reforzar a la próxima generación de agentes de IA contra una amenaza que requiere solo una invitación para escuchar.
Comments
0 comments