Por qué las imágenes generadas por IA son cada vez más difíciles de rastrear hasta sus datos de entrenamiento

Un estudio del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL) identifica un problema para quienes intentan rastrear una imagen generada por IA hasta una fuente concreta: la decadencia de la atribución (attribution decay). A medida que un modelo de difusión se entrena con más imágenes, la influencia causal medible de cualquier ejemplo individual sobre un resultado determinado puede hacerse tan pequeña que eliminarlo apenas cambia la imagen generada.

El hallazgo no significa que el modelo nunca haya visto esa imagen, que no pueda reproducirla o que quede automáticamente libre de riesgos de copyright. Describe un resultado técnico más específico: en una prueba controlada de eliminación, una unidad concreta de entrenamiento puede dejar de ser necesaria para producir un resultado determinado.

Cómo midieron la influencia de los datos de entrenamiento

Los métodos convencionales de análisis de influencia suelen estimar cuánto afectó un ejemplo de entrenamiento al comportamiento de un modelo. Dai y Gifford optaron por crear un conjunto de modelos de difusión (diffusion ensemble) que permite plantear un contrafactual controlado. El sistema está formado por componentes entrenados de manera independiente; cada uno recibe una parte cuidadosamente diseñada de los datos de entrenamiento.

Esta estructura permite formular una pregunta precisa: ¿qué habría generado el modelo si esta imagen no hubiera influido en el entrenamiento? En lugar de volver a entrenar desde cero un modelo grande, los investigadores pueden desactivar los componentes que habían visto la imagen seleccionada y generar un resultado de comparación. Se trata de una ablación —la eliminación controlada de una influencia— y no solo de una aproximación estadística.

El equipo evaluó 24 conjuntos de modelos de difusión utilizando siete colecciones públicas de imágenes. Los datasets iban desde 256 imágenes hasta más de 160.000, lo que permitió observar cómo cambiaba la atribución a medida que aumentaba la cantidad de datos. Los investigadores compararon una generación original con versiones contrafactuales creadas al omitir unidades de entrenamiento candidatas.

La mayor diferencia medida entre el resultado original y esas versiones contrafactuales recibió el nombre de radio contrafactual (counterfactual radius). Esta magnitud sirvió para estimar cuánto podía cambiar el resultado al retirar una unidad concreta de entrenamiento.

Qué significa la «decadencia de la atribución»

El radio contrafactual disminuyó a medida que crecían los datasets. En términos prácticos, eliminar una sola imagen producía cada vez un resultado más difícil de distinguir del original según las mediciones del estudio.

La conclusión resulta contraintuitiva: añadir más datos de entrenamiento puede hacer que una imagen generada sea menos atribuible a un ejemplo individual, incluso cuando ese ejemplo formaba parte del conjunto utilizado. El modelo puede aprender patrones amplios y solapados a partir de muchas fuentes, en lugar de depender de una imagen identificable para producir un resultado concreto.

En escalas suficientemente grandes, el efecto no se limitaba a imágenes individuales. El estudio informó de que retirar todas las imágenes de un artista, o todas las fotografías en las que aparecía una persona determinada, también podía dejar una muestra generada prácticamente sin cambios en la prueba contrafactual utilizada.

Por eso los investigadores hablan de «decadencia» y no simplemente de un fallo de detección. El problema no sería necesariamente que los investigadores carezcan de una herramienta lo bastante potente: la conexión causal entre una fuente y un resultado puede haberse vuelto demasiado difusa para aislarla.

Qué puede implicar para los litigios de copyright

La decadencia de la atribución podría dificultar una teoría concreta en una demanda: demostrar que un resultado controvertido fue causado directamente por las obras de un artista identificado, o por copias de esas obras incluidas en los datos de entrenamiento. Si retirar todo el catálogo de un artista no cambia de forma apreciable el resultado, resulta más difícil sostener que ese catálogo era individualmente necesario para generar esa imagen bajo esta prueba causal.

Esto puede ser relevante en disputas sobre generadores comerciales de imágenes y acusaciones de que los modelos copian el estilo de determinados artistas. El entrenamiento a gran escala debilita una explicación sencilla en la que un resultado reconocible se considera el producto directo de una obra o de un artista claramente identificables. Por ese motivo, el estudio podría complicar algunos casos de propiedad intelectual relacionados con sistemas de generación de imágenes.

Pero la investigación no determina si una empresa infringió el copyright ni crea por sí sola una defensa jurídica. Los litigios pueden plantear cuestiones diferentes: si se copiaron obras protegidas durante el entrenamiento, si un resultado es sustancialmente similar a una obra protegida, qué podía reproducir el sistema con determinados prompts, qué perjuicio se produjo o qué obligaciones contractuales eran aplicables. Que una obra «no sea atribuible» en el sentido técnico del estudio no equivale legalmente a que «no haya sido copiada».

Por qué el estudio no demuestra que no haya memorización

El experimento mide la sensibilidad del resultado a la retirada de unidades de entrenamiento. No analiza todas las formas en que un modelo podría conservar o reproducir información.

Un modelo puede mostrar una dependencia mínima de cualquier imagen individual en esta prueba de eliminación y, aun así, reproducir una obra concreta con ciertos prompts o condiciones de muestreo. Del mismo modo, un resultado puede parecerse a una obra protegida aunque no se demuestre que una sola imagen de entrenamiento era causalmente necesaria para producirlo.

En otras palabras, estas afirmaciones no son equivalentes:

• «Esta imagen influyó en este resultado»: la prueba de eliminación detecta un cambio medible cuando se retira su influencia.
• «El modelo vio o retuvo esta imagen»: el modelo estuvo expuesto a ella o pudo memorizar algunos de sus aspectos.
• «El resultado copia una obra protegida»: una conclusión técnica y jurídica que requiere pruebas adicionales.

La decadencia de la atribución aborda directamente la primera pregunta. No resuelve la segunda ni la tercera.

El resultado todavía no se extiende a los grandes modelos de lenguaje

El estudio se centra en modelos generativos de difusión para imágenes y medios audiovisuales relacionados. Su arquitectura de conjunto y el patrón observado al aumentar la escala no deben generalizarse automáticamente a los grandes modelos de lenguaje basados en transformadores.

Los modelos de lenguaje tienen arquitecturas, procedimientos de entrenamiento, representaciones en forma de tokens y comportamientos de salida diferentes. El trabajo puede sugerir una línea experimental útil para futuras investigaciones sobre atribución, pero no demuestra que la misma forma de decadencia ocurra en los LLM.

Qué pruebas seguirían siendo necesarias

Cuando la pregunta es si un sistema de IA copió una obra, la decadencia de la atribución es solo una pieza de la evidencia. Los tribunales y los investigadores técnicos aún tendrían que examinar, entre otros aspectos:

• si el sistema puede reproducir una obra específica mediante prompts controlados;
• la similitud visual entre el resultado y la obra presuntamente copiada;
• la procedencia, el acceso y los registros relacionados con los datos de entrenamiento;
• las auditorías del modelo y la documentación del sistema;
• si el resultado refleja un estilo general o una expresión protegida identificable; y
• las normas jurídicas aplicables al litigio concreto.

La lección central del estudio es más precisa —y más útil— que afirmar que la IA «olvida» sus fuentes. Cuando los datasets de difusión crecen, la contribución causal de cada ejemplo individual puede volverse demasiado difusa para detectarla en un resultado concreto. Eso dificulta atribuir el origen, pero no hace imposible demostrar la memorización, la reproducción o una posible infracción mediante otras pruebas.