Estudo do MIT revela como a influência de imagens de treinamento desaparece em modelos de difusão

Um estudo de Zheng Dai e David Gifford, do Computer Science and Artificial Intelligence Laboratory (CSAIL), do MIT, identificou um fenômeno chamado “decadência da atribuição” (attribution decay) em geradores de imagens baseados em difusão.

A ideia central é contraintuitiva: quando um modelo é treinado com uma quantidade cada vez maior de dados, a influência causal de qualquer imagem individual sobre um resultado específico pode diminuir até ficar pequena demais para ser detectada.

Isso não significa que a imagem nunca tenha sido usada no treinamento, que não esteja armazenada em algum lugar ou que o modelo não possa reproduzir material semelhante em outras condições. O achado diz respeito à influência atribuível de uma unidade de treinamento sobre uma saída específica.

Como o estudo testou a influência das imagens

Em vez de estimar a importância de uma imagem por meio de aproximações convencionais, os pesquisadores construíram um ensemble de modelos de difusão. Cada componente era treinado de forma independente e recebia uma parcela controlada do conjunto de dados.

Esse desenho permitiu criar um contrafactual mais preciso: “como seria o resultado se esta imagem não tivesse participado do treinamento?”. Para isso, os cientistas desativavam todos os componentes que haviam sido expostos àquela imagem, sem precisar treinar novamente um modelo monolítico inteiro.

Os autores também compararam o ensemble com 24 modelos convencionais de difusão treinados com os mesmos dados. Segundo o estudo, os dois tipos apresentaram medidas padrão de qualidade de imagem aproximadamente comparáveis.

Ao todo, foram avaliados 24 ensembles treinados com sete coleções públicas de imagens. Os conjuntos variavam de 256 a mais de 160 mil imagens. Para cada caso, os pesquisadores geravam uma imagem original e um conjunto de versões contrafactuais, cada uma produzida após a omissão de uma unidade candidata do treinamento.

A maior diferença observada entre a imagem original e essas versões foi chamada de “raio contrafactual”. A medida representa o efeito causal máximo da remoção de uma unidade de treinamento sobre aquela saída.

O que a “decadência da atribuição” revelou

À medida que os conjuntos de dados aumentavam, o raio contrafactual diminuía. Em outras palavras, retirar uma única imagem passava a causar pouca ou nenhuma mudança perceptível no resultado gerado.

Em escalas suficientemente grandes, o mesmo padrão podia aparecer em categorias inteiras. Remover todas as imagens de determinado artista ou todas as fotografias que retratavam uma pessoa específica frequentemente não alterava de maneira relevante a amostra produzida pelo modelo.

No sentido contrafactual testado, isso indica não atribuição: se a remoção de uma unidade não modifica a saída, não é possível atribuir a essa unidade a responsabilidade causal por aquele resultado segundo a métrica do estudo.

O que isso pode significar para direitos autorais

O trabalho pode dificultar uma determinada linha de argumentação em processos contra empresas de geradores de imagens, como Midjourney, OpenAI ou Microsoft. Isso vale especialmente para alegações de que uma saída específica foi causada pelas obras de um artista identificado ou pela reprodução de seu estilo.

Se a retirada de todo o acervo de um artista não alterar significativamente o resultado, o autor da ação pode ter dificuldade para demonstrar uma contribuição causal direta e específica daquela coleção para aquela imagem gerada.

Mas o estudo não decide processos nem estabelece uma regra jurídica. Disputas de direitos autorais podem envolver cópia não autorizada durante o treinamento, semelhança substancial entre uma saída e uma obra determinada, acesso às obras, prejuízo ao mercado, termos contratuais e outras questões que não dependem de uma única imagem ter sido individualmente necessária para produzir um resultado.

Limites importantes do estudo

Não é uma prova de que não existe memorização

Uma saída pode não ser atribuível a uma imagem específica nesse teste de remoção e, ainda assim, o modelo pode ter memorizado algum material, reproduzi-lo sob determinados comandos ou condições de amostragem, ou gerar uma imagem substancialmente semelhante a uma obra protegida. O estudo mede a sensibilidade causal à remoção de unidades, não todas as formas possíveis de memorização ou infração.

O resultado não se aplica automaticamente a LLMs

A pesquisa trata especificamente de modelos de difusão, usados para gerar conteúdo audiovisual. A técnica de ensemble e ablação, assim como o resultado empírico sobre o crescimento dos conjuntos de dados, não foi demonstrada por isso em modelos de linguagem de grande escala baseados em transformadores.

A métrica não substitui outras evidências

Tribunais e investigadores técnicos ainda precisariam considerar testes de reprodução com comandos, análises de similaridade e procedência, registros dos dados de treinamento e do sistema, auditorias dos modelos e a legislação aplicável.

A decadência da atribuição mostra que uma explicação causal baseada em uma única fonte pode deixar de funcionar quando o modelo é treinado em grande escala. Ela não demonstra que a cópia não possa ser comprovada por outros tipos de evidência.