A sonda gaussiana detecta modelos de IA ajustados para produzir material de abuso sexual infantil (CSAM) ao analisar como adaptadores LoRA perturbam as ativações neurais internas – sem jamais gerar uma imagem de saída. A técnica resolve um paradoxo legal crítico: nos Estados Unidos, gerar CSAM para testar um modelo...
Resposta de pesquisa

Create a landscape editorial hero image for this Studio Global article: Search & fact-check with cited sources for What is the Gaussian probing technique developed by MIT, Boston University, and Thorn, how does i. Article summary: ## Gaussian Probing Technique. Topic tags: general, government, education, academic, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make it useful as an illustrative visual, not as factual evidence.
Pesquisadores do MIT, da Universidade de Boston e da organização de segurança infantil Thorn desenvolveram uma técnica chamada sonda gaussiana que consegue determinar se um modelo gerador de imagens por IA foi ajustado para produzir material de abuso sexual infantil (CSAM, na sigla em inglês) — sem gerar uma única imagem . O método, apresentado como artigo de destaque no workshop "Trustworthy AI for Good" durante a Conferência Internacional de Aprendizado de Máquina (ICML), representa um avanço na auditoria de segurança de IA para um tipo de conteúdo tão prejudicial que até mesmo testá-lo é ilegal
.
A sonda gaussiana é um método de auditoria não gerativo que detecta se um modelo de IA generativa foi especializado através de fine-tuning para produzir CSAM . A técnica foca especificamente no Low-Rank Adaptation (LoRA), um método de fine-tuning popular e eficiente que permite que usuários especializem um modelo base (como o Stable Diffusion) para uma tarefa específica sem retreinar o modelo inteiro
. Infelizmente, agentes maliciosos exploram os adaptadores LoRA para criar variações de modelos capazes de gerar CSAM de alta qualidade
.
Em vez de perguntar o que o modelo adaptado produz como imagem de saída, a sonda gaussiana investiga como o adaptador altera o perfil de resposta interna do modelo no espaço de estados Gaussianos nativos do processo de difusão .
O método mede como um adaptador LoRA perturba funcionalmente as representações internas do modelo . Especificamente, ele alimenta um conjunto de referência de estados latentes Gaussianos aleatórios através do processo de difusão do modelo e observa como as ativações ocultas mudam
.
O objeto matemático central é um "funcional de sonda" que calcula a representação oculta média ao longo das etapas de difusão para um conjunto de entradas de ruído Gaussiano e, em seguida, agrega essas médias em um vetor de características que caracteriza o efeito do adaptador . Um classificador é então treinado nesses vetores para distinguir adaptadores prejudiciais (especializados em CSAM) dos benignos.
Como o autor principal, Vinith Suriyakumar, estudante de graduação do MIT, explicou: "Antes, não tínhamos como medir isso. Era um enorme ponto cego que algumas pessoas estavam aproveitando" .
Nos testes, o procedimento de sonda gaussiana identificou variações de modelos que haviam sido especializados para gerar CSAM com 100% de precisão . Os pesquisadores descobriram que a sonda gaussiana distingue de forma confiável a especialização benigna da prejudicial, ao contrário dos métodos de base que usam pesos brutos, que podem se basear em artefatos incidentais de treinamento em vez de um sinal de conteúdo significativo
.
A técnica também se mostrou eficaz sob restrições realistas, sugerindo que poderia ser implantada em escala em plataformas como Hugging Face ou Civitai, onde os usuários fazem upload de adaptadores LoRA .
A pesquisa foi uma colaboração entre Vinith Suriyakumar e os professores associados Ashia Wilson e Marzyeh Ghassemi, do MIT, juntamente com pesquisadores da Thorn, incluindo a Dra. Rebecca Portnoff .
A auditoria padrão de segurança de IA depende de um processo direto: dar um prompt prejudicial a um modelo e inspecionar as saídas. Para CSAM, isso é legalmente impossível. É ilegal nos Estados Unidos gerar tal conteúdo, independentemente da intenção .
A sonda gaussiana resolve esse paradoxo avaliando a capacidade do modelo de produzir CSAM com base puramente em suas ativações internas, sem nunca gerar uma imagem de saída. Como o anúncio do MIT observa: "A técnica deles examina como o funcionamento interno de um modelo muda quando ele é ajustado com CSAM — sem precisar ver nenhuma imagem" .
Este método também evita o problema ético de expor pesquisadores de segurança a material traumático, pois não requer que nenhuma imagem de CSAM seja visualizada durante o teste .
A técnica chega em um momento em que a escala do CSAM gerado por IA está explodindo. Estatísticas importantes de fontes autorizadas incluem:
O conteúdo de vídeo realista em movimento gerado por IA tornou-se comum. Em 2025, a IWF identificou 3.443 vídeos de abuso sexual infantil gerados por IA, com 65% categorizados na Categoria A — o material mais grave sob a legislação do Reino Unido .
A sonda gaussiana preenche uma lacuna crítica no kit de ferramentas de segurança de IA. As defesas atuais contra CSAM gerado por IA dependem principalmente de filtragem de entrada, filtragem de saída e triagem de dados de treinamento . No entanto, como a pesquisa mostrou, "reintroduzir um conceito é possível através de fine-tuning mesmo se a filtragem for perfeita", o que significa que os métodos atuais de filtragem oferecem "proteção limitada para modelos de peso fechado e nenhuma proteção para modelos de peso aberto"
.
Ao permitir que as plataformas detectem modelos ajustados prejudiciais antes que sejam amplamente distribuídos, a sonda gaussiana pode permitir que plataformas como Hugging Face e Civitai examinem os adaptadores LoRA enviados sem recorrer à geração de conteúdo ilegal .
Por enquanto, a técnica fornece uma alternativa escalável e não gerativa para avaliar a segurança do modelo em domínios de alto risco onde a geração é legalmente restrita — uma ferramenta que o campo precisava urgentemente, à medida que a crise do CSAM gerado por IA se acelera.
Studio Global AI
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
A sonda gaussiana detecta modelos de IA ajustados para produzir material de abuso sexual infantil (CSAM) ao analisar como adaptadores LoRA perturbam as ativações neurais internas – sem jamais gerar uma imagem de saída.
A sonda gaussiana detecta modelos de IA ajustados para produzir material de abuso sexual infantil (CSAM) ao analisar como adaptadores LoRA perturbam as ativações neurais internas – sem jamais gerar uma imagem de saída. A técnica resolve um paradoxo legal crítico: nos Estados Unidos, gerar CSAM para testar um modelo é, em si, ilegal.
A crise que ela enfrenta está se acelerando: o NCMEC recebeu mais de 1,5 milhão de relatos de CSAM com IA em 2025, um aumento de 22 vezes em relação aos 67.000 de 2024.