Nenhum modelo de IA de ponta resiste a ataques em múltiplas etapas, aponta Cisco

No estudo anterior com modelos de código aberto, a ASR de múltiplos turnos chegou a impressionantes 92,78% contra o Mistral Large-2, com taxas de sucesso 2 a 10 vezes maiores do que as linhas de base de turno único em todos os oito modelos testados.

As cinco famílias de estratégias de ataque

A Cisco identificou e testou cinco famílias de estratégias de ataque de múltiplos turnos :

1. Role-Play / Adoção de Persona – O atacante adota um personagem ou papel para conduzir a conversa gradualmente em direção a conteúdo proibido.
2. Ambiguidade Contextual / Desorientação – A intenção maliciosa é escondida em um contexto aparentemente benigno ou ambíguo ao longo dos turnos.
3. Reformulação da Recusa / Redirecionamento – O atacante transforma a recusa do modelo em um novo pedido que se aproxima incrementalmente do limite da restrição.
4. Decomposição e Remontagem de Informação – Um pedido prejudicial é quebrado em pedaços menores ao longo de vários turnos e depois remontado pelo próprio modelo.
5. Crescendo / Escalação Incremental – Os comandos começam inofensivos e escalam gradualmente, sessão após sessão, desgastando as barreiras de segurança.

A diferença entre os modelos mais e menos expostos variou significativamente entre essas famílias, confirmando que a vulnerabilidade não é uniforme para cada estratégia.

Recomendações da Cisco para avaliar e implantar LLMs com segurança

A pesquisa deixa claro que as práticas atuais de segurança são insuficientes. Para se proteger, a Cisco recomenda uma mudança de mentalidade e de processos:

• Rejeite a ASR de turno único como métrica de segurança. Os benchmarks de comando único, sozinhos, geram rankings enganosos e escondem riscos significativos. As avaliações devem incluir testes de ataque adaptativo e de múltiplos turnos para refletir o comportamento real de um adversário.
• Adote a avaliação de múltiplos turnos como prática padrão. Compradores e órgãos reguladores devem perguntar: "Como este modelo se comporta contra ataques adaptativos de múltiplos turnos?" antes de qualquer aquisição ou implantação.
• Implante barreiras de proteção sensíveis ao contexto e monitoramento em tempo real. A segurança estática do modelo não é suficiente. As organizações precisam de detecção em tempo real de padrões de conversa anômalos e comportamentos que testam limites.
• Realize exercícios de "red-teaming" regulares que simulem especificamente ataques iterativos de longa duração, e não apenas tentativas de jailbreak de tiro único.
• Aplique treinamento adversário para melhorar a robustez do modelo, com foco em manter a segurança ao longo de vários turnos, e não apenas na primeira interação.
• Use defesas em camadas: Nenhuma barreira de proteção é suficiente sozinha. Combine alinhamento em nível de modelo, filtragem de entrada/saída, monitoramento comportamental e supervisão humana.
• Entenda a filosofia de alinhamento do laboratório de IA. Modelos de laboratórios que enfatizam publicamente a segurança (como a família Gemma do Google) mostraram diferenças menores entre ataques de turno único e múltiplos. Já os modelos que priorizam a capacidade (como o Llama da Meta e o Grok da xAI) mostraram diferenças muito maiores. A Cisco aconselha as organizações a considerarem esse fator na escolha do modelo.
• Use ferramentas de avaliação estruturadas, como a plataforma AI Validation da Cisco (agora parte do LLM Security Leaderboard), para gerar pontuações de risco de múltiplos turnos comparáveis e reproduzíveis antes da implantação.