Por que modelos de IA de código aberto preocupam mais do que os de ponta

A ameaça não é necessariamente o modelo mais poderoso

A maior ameaça à cibersegurança pode não ser o sistema de inteligência artificial mais avançado e restrito do mercado. Para Meerah Rajavel, diretora de informação (CIO) da Palo Alto Networks, o risco mais imediato está nos modelos de IA baratos, disponíveis para download e com pesos abertos — os chamados modelos open-weight. 6

A preocupação é que esses sistemas consigam reproduzir, em quatro a seis meses, capacidades ofensivas que hoje estão concentradas em modelos de fronteira oferecidos por empresas como OpenAI e Anthropic. A defasagem curta reduz o tempo de resposta das organizações e amplia o número de pessoas capazes de operar ferramentas sofisticadas.

O que muda quando os pesos são públicos

Um modelo acessado por meio de uma API — uma interface que conecta um aplicativo ao serviço de IA — permanece sob o controle do provedor. A empresa pode registrar solicitações, detectar abusos, impor limites de uso, atualizar mecanismos de segurança e suspender contas.

Com um modelo open-weight executado localmente, esse “plano de controle” praticamente desaparece. As proteções podem ser modificadas ou removidas; o desenvolvedor original não consegue garantir que todos os usuários instalem correções; e a equipe de segurança da empresa pode nem saber que o modelo está sendo usado.

Isso também cria um risco interno: funcionários ou equipes podem baixar e executar modelos sem passar por revisão, governança ou monitoramento corporativo. A queda no custo do aluguel de GPUs — processadores usados para treinar e operar sistemas de IA — torna esse cenário mais acessível.

Ataques mais baratos e escaláveis

A disponibilidade pública não significa que todos os usuários tenham intenção criminosa. O problema é a difusão: mais grupos podem usar modelos capazes para automatizar e ampliar atividades como reconhecimento de alvos, desenvolvimento de exploits, phishing, adaptação de malware e seleção de vítimas. Pesquisas sobre os riscos de modelos open-weight apontam justamente para essa redução das barreiras financeiras e técnicas. 2

Na prática, um atacante não precisa necessariamente construir um sistema de IA do zero nem pagar pelo acesso a um serviço premium. Pode baixar um modelo, ajustá-lo às próprias necessidades e executá-lo em infraestrutura local ou alugada.

Conversas longas podem contornar as barreiras

Outro risco é a manipulação por meio de ataques em várias etapas. Em uma avaliação da Cisco com oito modelos open-weight, ataques adversariais conduzidos ao longo de uma conversa foram de duas a dez vezes mais bem-sucedidos do que ataques de uma única mensagem. As taxas de sucesso registradas variaram de 25,86% a 92,78%.

Isso significa que uma resposta inicial de recusa não garante que o modelo resistirá à interação seguinte. O invasor pode reformular o pedido, dividir a tarefa em partes, criar contexto e aumentar gradualmente a pressão até induzir o sistema a produzir uma resposta proibida ou perigosa.

O risco da cadeia de suprimentos

Empresas que baixam e hospedam seus próprios modelos também precisam confiar no arquivo do modelo, no formato de conversão, nos templates de conversa, no servidor de inferência e em todas as dependências usadas na execução.

A Cloud Security Alliance documentou riscos em implantações autogerenciadas nas quais lógica executável ou templates maliciosos podem ser acionados no momento em que o modelo é carregado. Dependendo do ambiente, isso poderia permitir roubo de credenciais, coleta de variáveis de ambiente ou exfiltração de dados antes mesmo do processamento de um prompt.

Há alegações circulando de que uma única descoberta da CSA teria identificado especificamente Llama, Mistral e Qwen juntos em um caso de envenenamento de pesos. Essa formulação não pôde ser confirmada em uma fonte primária da organização e, portanto, deve ser tratada com cautela. O risco geral de arquivos, servidores e dependências comprometidos, porém, é documentado.

Uma correção importante nos números da Palo Alto Networks

Também é preciso corrigir uma afirmação frequentemente repetida sobre o volume de ataques observado pela Palo Alto Networks. O documento primário disponível da empresa afirma que ela detecta até 8,9 milhões de ataques novos ou nunca vistos por dia e bloqueia até 30,9 bilhões de ataques por dia.

Esses números não correspondem a 250 milhões de novos vetores e 30 bilhões de ataques ao longo de um ano. São estimativas diárias apresentadas pela companhia.

Ainda assim, os dados ajudam a ilustrar o argumento de Rajavel: os defensores já lidam com um ambiente de ataques veloz e variável. Se capacidades ofensivas avançadas forem distribuídas em modelos baratos, modificáveis e difíceis de monitorar, os invasores poderão encurtar ainda mais o ciclo entre testar uma técnica e colocá-la em prática.

O ponto central do alerta

A questão não é afirmar que modelos fechados e hospedados estejam livres de vulnerabilidades. Avaliações posteriores também encontraram problemas de manipulação em sistemas proprietários. O diferencial apontado por Rajavel é o controle operacional: provedores de APIs conseguem observar e restringir o uso com muito mais facilidade do que quando os pesos são baixados e executados fora de sua infraestrutura.

Para as organizações, isso significa que a segurança de IA não pode depender apenas do fornecedor. É necessário controlar quais modelos entram no ambiente corporativo, verificar arquivos e dependências, proteger servidores de inferência, monitorar o uso local e manter mecanismos independentes de detecção e resposta.