TamperBench revela fragilidade nas proteções de segurança de modelos de IA de pesos abertos

O estudo TamperBench, apresentado no ACM KDD ’26, concluiu que nenhuma das 21 versões de modelos de linguagem de pesos abertos avaliadas tinha proteções de segurança fortes o bastante para resistir a todas as ameaças de adulteração testadas. Em cada modelo, os pesquisadores conseguiram aumentar de forma significativa a produção de respostas nocivas sem eliminar boa parte da capacidade de raciocínio. 25

O resultado inclui modelos de diferentes famílias, como Llama, Qwen3 e Mistral, com tamanhos entre 600 milhões e 8 bilhões de parâmetros. A conclusão central é que as salvaguardas atuais não devem ser tratadas como uma garantia de segurança quando os pesos do modelo podem ser modificados pelo usuário ou por terceiros.

Quais ataques foram testados?

O benchmark reuniu nove métodos de adulteração no espaço dos pesos e nas representações latentes — isto é, alterações feitas no próprio modelo ou em estruturas internas que influenciam seu comportamento. O conjunto incluiu: 2

• ajustes finos aparentemente benignos;
• ajustes finos explicitamente voltados a comportamentos nocivos;
• ajustes finos de jailbreak com características de envenenamento ou backdoor;
• treinamento multilíngue;
• ataques contra embeddings e representações latentes.

Os ataques de jailbreak por ajuste fino foram, em geral, os mais graves. Entre eles, destacaram-se as variantes de objetivos concorrentes, backdoor e modulação de estilo. Esses métodos foram treinados majoritariamente com dados benignos, mas incluíram uma pequena parcela de dados nocivos, o que ajudou a reduzir a aparência de uma alteração claramente maliciosa. 2

Para comparar os ataques de maneira mais realista, o estudo procurou maximizar as pontuações de respostas nocivas, limitando ao mesmo tempo a queda de desempenho no MMLU-Pro, um benchmark de raciocínio e compreensão, a no máximo 10% em relação ao modelo não adulterado. 2

O que aconteceu com os modelos que tinham defesas adicionais?

As cinco versões com mecanismos de defesa adicionais — incluindo variantes com ReFAT e Circuit Breaking — também se mostraram vulneráveis. Algumas defesas aumentaram a resistência em determinados cenários, mas nenhuma impediu de forma confiável a remoção das salvaguardas em todo o conjunto de ataques. 25

Os dados fornecidos não apresentam os aumentos exatos de nocividade para cada modelo individual. Por isso, não é possível afirmar com segurança valores numéricos específicos para o Llama-3-8B-Instruct ou o Qwen3-8B-Instruct.

Por que isso importa?

Em modelos de pesos abertos, os arquivos necessários para executar o sistema podem ser copiados, ajustados e redistribuídos. Depois da publicação, o desenvolvedor original não consegue necessariamente controlar o ajuste fino nem aplicar as mesmas barreiras de segurança no uso posterior. 2

Os pesquisadores ressaltam que o estudo não é um argumento contra a abertura dos modelos. O acesso público pode favorecer a pesquisa, a auditoria e a responsabilização. O alerta é outro: um modelo não deve ser considerado seguro apenas porque passou por testes comuns de alinhamento antes do lançamento. 5

A remoção das salvaguardas sem perda proporcional de capacidade pode ampliar riscos como desinformação em escala, golpes e phishing sofisticados ou instruções técnicas perigosas. O problema, nesse caso, não ficaria limitado ao esforço manual de uma única pessoa. 5

A equipe defende mais pesquisas sobre resistência a adulterações, avaliações adversariais padronizadas — como o próprio TamperBench — antes da liberação de modelos e processos de análise e contratação de IA baseados em mais evidências. A recomendação ganha peso à medida que governos usam sistemas de IA em áreas como saúde, detecção de fraudes, educação e outros serviços públicos. 25

Também há uma ressalva para modelos comerciais fechados acessados por API: eles podem enfrentar riscos relacionados, mas seus provedores controlam o ajuste fino e a implantação. Isso permite aplicar defesas durante o treinamento ou depois dele que deixam de estar disponíveis quando os pesos são distribuídos livremente. 25