Invasão por IA Autônoma na Hugging Face: O Primeiro Ataque de Agentes de IA a uma Grande Infraestrutura de IA

Crucialmente, a Hugging Face não encontrou nenhuma evidência de adulteração em modelos, conjuntos de dados ou Spaces públicos voltados para o usuário, e a cadeia de suprimentos de software (imagens de contêiner e pacotes publicados) permaneceu intacta . A violação foi limitada a um conjunto de conjuntos de dados internos e credenciais de serviço .

Como o Atacante Operou: Explorando Pipelines de Dados

A intrusão começou no pipeline de processamento de dados da Hugging Face . O atacante usou um conjunto de dados malicioso que explorou dois caminhos de execução de código:

• Um carregador de dados de código remoto que permitia a execução arbitrária de código.
• Uma vulnerabilidade de injeção de modelo na configuração do conjunto de dados .

Assim que o atacante conseguiu executar código em um trabalhador de processamento, eles escalaram para acesso a nível de nó, coletaram credenciais da nuvem e do cluster e se moveram lateralmente para vários clusters internos .

Toda a campanha foi orquestrada por uma estrutura de agente autônomo. Embora o LLM específico que alimentava os agentes do atacante permaneça desconhecido, os agentes operaram em um enxame de sandboxes efêmeros com uma estrutura de comando e controle auto-migrante montada em serviços públicos .

O Desafio Incomum: Guardrails de LLM Comerciais Bloquearam os Defensores

Quando a equipe de segurança da Hugging Face começou a analisar o registro de eventos do atacante (mais de 17.000 eventos), eles primeiro recorreram a modelos de fronteira por trás de APIs comerciais. Essas tentativas falharam porque os guardrails de segurança dos provedores bloquearam a análise . Os guardrails não conseguiram distinguir um respondedor de incidentes legítimo submetendo cargas úteis de exploração e artefatos de comando e controle de um atacante real .

A Hugging Face foi forçada a mudar toda a sua análise forense para o GLM 5.2, um modelo de peso aberto rodando em sua própria infraestrutura . Isso teve o benefício adicional de garantir que nenhum dado do atacante ou credenciais referenciadas saíssem de seu ambiente .

"A lição prática para os defensores: tenha um modelo capaz que você possa executar em sua própria infraestrutura, verificado e pronto antes de um incidente, tanto para evitar o bloqueio do guardrail quanto para manter os dados e credenciais do atacante dentro do seu ambiente."

A empresa destacou a assimetria crítica: eles não sabem qual modelo alimentou os agentes do atacante, mas seja um modelo hospedado com jailbreak ou um modelo de peso aberto sem restrições, "o atacante não estava vinculado a nenhuma política de uso, enquanto nosso próprio trabalho forense foi bloqueado pelos guardrails dos modelos hospedados que tentamos primeiro" .

Ações de Resposta Tomadas

A Hugging Face tomou as seguintes ações de resposta, detalhadas em sua divulgação de incidente de segurança :

• Corrigiu a vulnerabilidade raiz: os dois caminhos de execução de código do conjunto de dados usados para o acesso inicial foram fechados.
• Eliminou o ponto de apoio do atacante em todos os clusters afetados e reconstruiu os nós comprometidos.
• Revogou e girou as credenciais e tokens afetados, e iniciou uma rotação preventiva mais ampla de segredos.
• Implementou guardrails adicionais e controles de admissão mais rigorosos em seus clusters.
• Melhorou a detecção e o alerta para que um sinal de alta gravidade notifique um respondedor em minutos, em qualquer dia da semana.
• Contratou especialistas forenses em segurança cibernética externos para investigar e revisar as políticas de segurança.
• Relatou o incidente às autoridades policiais.

A empresa também recomendou que os membros da comunidade girem quaisquer tokens de acesso e revisem a atividade recente da conta como precaução .