Los modelos más vulnerables

Las tasas de éxito de ataque (ASR, por sus siglas en inglés) en escenarios de múltiples turnos para los modelos cerrados oscilaron entre el 7.89% y el 88.30%. En contraste, las tasas para un solo turno en esos mismos modelos iban del 2.19% al 64.91%.

• xAI – Grok 4.1 Fast (modo no razonado) fue el más vulnerable, con una ASR en múltiples turnos del 88.30%.
• Google – Gemini 3 Pro pasó de un 18.10% en un turno a un 73.35% en múltiples turnos, un aumento de 4 veces.
• OpenAI – GPT-5.4 se disparó de un 2.74% en un turno a un 24.68% en múltiples turnos, un incremento de 9 veces.
• Anthropic – Familia Claude (Opus 4.5/4.6, Sonnet 4.5/4.6, Haiku 4.5) se mostró como una de las más robustas en rechazos de un solo turno (2.19%–3.64% de ASR), pero aun así alcanzó entre un 11.16% y un 16.20% de ASR en múltiples turnos.
• Amazon – Nova 2 Lite registró la ASR en múltiples turnos más baja, con un 7.89%, una cifra que Cisco aún califica como un "riesgo residual significativo".

En el estudio previo de modelos de código abierto, la ASR en múltiples turnos llegó hasta el 92.78% contra Mistral Large-2, con tasas de éxito de 2 a 10 veces superiores a las líneas base de un solo turno en los ocho modelos evaluados.

Las cinco familias de estrategias de ataque

Cisco identificó y probó cinco familias de estrategias de ataque de múltiples turnos :

1. Adopción de rol o personaje (Role-Play / Persona Adoption) – El atacante asume un personaje para dirigir gradualmente la conversación hacia contenido prohibido.
2. Ambigüedad contextual o desorientación (Contextual Ambiguity / Misdirection) – La intención dañina se oculta en un contexto aparentemente inofensivo a lo largo de varios mensajes.
3. Reencuadre de rechazo o redirección (Refusal Reframe / Redirection) – El atacante reinterpreta el rechazo del modelo para convertirlo en una nueva solicitud que se acerca sigilosamente al límite de la restricción.
4. Descomposición y reensamblaje de información (Information Decomposition & Reassembly) – Una petición dañina se fragmenta en piezas más pequeñas en varios turnos y luego el modelo la reensambla.
5. Escalada gradual o 'Crescendo' (Crescendo / Incremental Escalation) – Las instrucciones comienzan de forma inocua y escalan gradualmente, desgastando las barreras de seguridad del modelo.

La diferencia en el nivel de exposición entre el modelo más y el menos vulnerable varió significativamente entre estas familias, lo que confirma que la vulnerabilidad no es uniforme según la estrategia utilizada.

Recomendaciones de Cisco para evaluar y desplegar modelos de lenguaje de forma segura

• Rechazar la ASR de un solo turno como indicador único. Las pruebas de un solo mensaje por sí solas clasifican mal a los modelos y ocultan riesgos de cola. Las evaluaciones deben incluir pruebas de ataque adaptativas y de múltiples turnos para reflejar el comportamiento real de un adversario.
• Adoptar la evaluación de múltiples turnos como práctica estándar. Compradores y reguladores deberían preguntar: "¿Cómo se comporta este modelo frente a ataques adaptativos de múltiples turnos?" antes de adquirir o desplegar una solución.
• Implementar barreras de seguridad contextuales y monitoreo en tiempo de ejecución. La seguridad estática del modelo es insuficiente. Las organizaciones necesitan detección en tiempo real de patrones de conversación anómalos y comportamientos que pongan a prueba los límites del sistema.
• Realizar ejercicios de 'red-teaming' con regularidad que simulen explícitamente ataques iterativos y conversacionales largos, no solo intentos de 'jailbreak' de un único mensaje.
• Aplicar entrenamiento adversarial para mejorar la robustez del modelo, enfocándose en mantener la seguridad a lo largo de varios turnos y no solo en la primera instrucción.
• Utilizar defensas en capas: Ninguna barrera de seguridad única es suficiente. Se debe combinar la alineación a nivel de modelo, el filtrado de entradas/salidas, el monitoreo de comportamiento y la supervisión humana.
• Entender la filosofía de alineación del laboratorio. Los modelos de laboratorios que enfatizan públicamente la seguridad (como la familia Gemma de Google) mostraron brechas más estrechas entre pruebas de uno y múltiples turnos, mientras que los modelos enfocados primero en la capacidad (como Llama de Meta o Grok de xAI) mostraron brechas más amplias. Cisco aconseja a las organizaciones tener esto en cuenta al seleccionar un modelo.
• Usar herramientas de evaluación estructuradas como la plataforma de Validación de IA de Cisco (ahora parte del Tablero de Liderazgo en Seguridad de LLM) para generar puntuaciones de riesgo comparables y reproducibles en escenarios de múltiples turnos antes del despliegue.

Los modelos más vulnerables

Las tasas de éxito de ataque (ASR, por sus siglas en inglés) en escenarios de múltiples turnos para los modelos cerrados oscilaron entre el 7.89% y el 88.30%. En contraste, las tasas para un solo turno en esos mismos modelos iban del 2.19% al 64.91%.

• xAI – Grok 4.1 Fast (modo no razonado) fue el más vulnerable, con una ASR en múltiples turnos del 88.30%.
• Google – Gemini 3 Pro pasó de un 18.10% en un turno a un 73.35% en múltiples turnos, un aumento de 4 veces.
• OpenAI – GPT-5.4 se disparó de un 2.74% en un turno a un 24.68% en múltiples turnos, un incremento de 9 veces.
• Anthropic – Familia Claude (Opus 4.5/4.6, Sonnet 4.5/4.6, Haiku 4.5) se mostró como una de las más robustas en rechazos de un solo turno (2.19%–3.64% de ASR), pero aun así alcanzó entre un 11.16% y un 16.20% de ASR en múltiples turnos.
• Amazon – Nova 2 Lite registró la ASR en múltiples turnos más baja, con un 7.89%, una cifra que Cisco aún califica como un "riesgo residual significativo".

En el estudio previo de modelos de código abierto, la ASR en múltiples turnos llegó hasta el 92.78% contra Mistral Large-2, con tasas de éxito de 2 a 10 veces superiores a las líneas base de un solo turno en los ocho modelos evaluados.

Las cinco familias de estrategias de ataque

Cisco identificó y probó cinco familias de estrategias de ataque de múltiples turnos :

1. Adopción de rol o personaje (Role-Play / Persona Adoption) – El atacante asume un personaje para dirigir gradualmente la conversación hacia contenido prohibido.
2. Ambigüedad contextual o desorientación (Contextual Ambiguity / Misdirection) – La intención dañina se oculta en un contexto aparentemente inofensivo a lo largo de varios mensajes.
3. Reencuadre de rechazo o redirección (Refusal Reframe / Redirection) – El atacante reinterpreta el rechazo del modelo para convertirlo en una nueva solicitud que se acerca sigilosamente al límite de la restricción.
4. Descomposición y reensamblaje de información (Information Decomposition & Reassembly) – Una petición dañina se fragmenta en piezas más pequeñas en varios turnos y luego el modelo la reensambla.
5. Escalada gradual o 'Crescendo' (Crescendo / Incremental Escalation) – Las instrucciones comienzan de forma inocua y escalan gradualmente, desgastando las barreras de seguridad del modelo.

La diferencia en el nivel de exposición entre el modelo más y el menos vulnerable varió significativamente entre estas familias, lo que confirma que la vulnerabilidad no es uniforme según la estrategia utilizada.

Recomendaciones de Cisco para evaluar y desplegar modelos de lenguaje de forma segura

• Rechazar la ASR de un solo turno como indicador único. Las pruebas de un solo mensaje por sí solas clasifican mal a los modelos y ocultan riesgos de cola. Las evaluaciones deben incluir pruebas de ataque adaptativas y de múltiples turnos para reflejar el comportamiento real de un adversario.
• Adoptar la evaluación de múltiples turnos como práctica estándar. Compradores y reguladores deberían preguntar: "¿Cómo se comporta este modelo frente a ataques adaptativos de múltiples turnos?" antes de adquirir o desplegar una solución.
• Implementar barreras de seguridad contextuales y monitoreo en tiempo de ejecución. La seguridad estática del modelo es insuficiente. Las organizaciones necesitan detección en tiempo real de patrones de conversación anómalos y comportamientos que pongan a prueba los límites del sistema.
• Realizar ejercicios de 'red-teaming' con regularidad que simulen explícitamente ataques iterativos y conversacionales largos, no solo intentos de 'jailbreak' de un único mensaje.
• Aplicar entrenamiento adversarial para mejorar la robustez del modelo, enfocándose en mantener la seguridad a lo largo de varios turnos y no solo en la primera instrucción.
• Utilizar defensas en capas: Ninguna barrera de seguridad única es suficiente. Se debe combinar la alineación a nivel de modelo, el filtrado de entradas/salidas, el monitoreo de comportamiento y la supervisión humana.
• Entender la filosofía de alineación del laboratorio. Los modelos de laboratorios que enfatizan públicamente la seguridad (como la familia Gemma de Google) mostraron brechas más estrechas entre pruebas de uno y múltiples turnos, mientras que los modelos enfocados primero en la capacidad (como Llama de Meta o Grok de xAI) mostraron brechas más amplias. Cisco aconseja a las organizaciones tener esto en cuenta al seleccionar un modelo.
• Usar herramientas de evaluación estructuradas como la plataforma de Validación de IA de Cisco (ahora parte del Tablero de Liderazgo en Seguridad de LLM) para generar puntuaciones de riesgo comparables y reproducibles en escenarios de múltiples turnos antes del despliegue.