Une méthode pour tester un véritable scénario « sans cette image »

Pour mesurer l’effet d’une image d’entraînement, les chercheurs n’ont pas utilisé une simple estimation statistique. Ils ont construit un ensemble de modèles de diffusion : plusieurs composants étaient entraînés séparément, chacun sur une portion contrôlée du jeu de données.

Cette architecture leur a permis de créer un contrefactuel précis : que produirait le système si une image donnée n’avait jamais fait partie de l’entraînement ? Au lieu de réentraîner à chaque fois un modèle unique et monolithique, ils ont désactivé tous les composants qui avaient vu l’image concernée.

Les chercheurs ont comparé cette approche à 24 modèles de diffusion classiques entraînés sur les mêmes données. Les deux types de modèles ont obtenu des résultats globalement comparables selon les mesures habituelles de qualité d’image.

Au total, l’équipe a étudié 24 ensembles de modèles entraînés sur sept collections publiques d’images, dont la taille variait de 256 à plus de 160 000 images. Pour chaque production, elle a généré un « univers contrefactuel » : une série de versions obtenues en retirant successivement chaque unité candidate du processus d’entraînement.

La différence maximale entre l’image originale et ces versions a servi à définir le rayon contrefactuel, c’est-à-dire une mesure de l’effet causal maximal d’une unité retirée.

Ce que révèle l’effacement de l’attribution

Lorsque les jeux de données deviennent plus importants, le rayon contrefactuel diminue. Retirer une seule image a alors de moins en moins de chances de modifier de façon perceptible la production finale.

À des échelles suffisamment grandes, le phénomène peut s’étendre à des groupes entiers. Le retrait de toutes les images d’un artiste, ou de toutes les photographies représentant une personne donnée, pouvait parfois laisser l’image générée pratiquement inchangée.

Dans le cadre de cette étude, cela signifie qu’aucune de ces unités ne peut être considérée comme la cause identifiable de cette production selon la mesure employée. Il s’agit donc d’une absence d’attribution dans un scénario contrefactuel précis, et non d’une preuve générale d’absence de copie.

Une conséquence possible pour les litiges sur le droit d’auteur

Le résultat pourrait compliquer certains arguments avancés contre des entreprises de génération d’images comme Midjourney, OpenAI ou Microsoft. Si une action repose sur l’idée qu’une production donnée est directement causée par les œuvres d’un artiste — ou par la reproduction de son style — il peut être difficile de démontrer cette contribution spécifique lorsque le retrait de l’ensemble du corpus de l’artiste ne change pratiquement pas l’image produite.

Mais l’étude ne tranche aucun litige et ne crée pas de règle juridique. Les tribunaux peuvent examiner d’autres questions : la copie non autorisée pendant l’entraînement, la ressemblance substantielle entre une production et une œuvre précise, l’accès aux œuvres, le préjudice commercial, les conditions contractuelles ou encore les documents techniques conservés par l’entreprise.

Les limites à garder en tête

• Ce n’est pas une preuve d’absence de mémorisation. Une image peut ne pas être attribuable à une seule donnée selon ce test, alors que le modèle a mémorisé certains éléments, qu’il peut les reproduire avec certaines instructions ou certains paramètres, ou qu’il génère une production très ressemblante à une œuvre protégée. L’étude mesure la sensibilité causale au retrait d’unités d’entraînement ; elle ne couvre pas toutes les formes de mémorisation ou de contrefaçon.
• Ce n’est pas encore un résultat sur les grands modèles de langage. Les travaux portent sur les modèles de diffusion, utilisés notamment pour générer des images. La méthode d’ensemble et le phénomène observé n’ont pas, du seul fait de cette étude, été démontrés pour les grands modèles de langage fondés sur des transformeurs.
• Cette approche ne remplace pas les autres éléments de preuve. Une enquête technique ou judiciaire pourrait toujours s’appuyer sur des tests de reproduction à partir d’instructions, l’analyse de la ressemblance et de la provenance, les données et journaux d’entraînement, des audits de modèles ainsi que l’analyse juridique applicable.

L’effacement de l’attribution indique donc qu’à grande échelle, une explication reposant sur une source unique peut devenir difficile à établir. Il ne montre pas que toute preuve de copie est impossible.

Une méthode pour tester un véritable scénario « sans cette image »

Pour mesurer l’effet d’une image d’entraînement, les chercheurs n’ont pas utilisé une simple estimation statistique. Ils ont construit un ensemble de modèles de diffusion : plusieurs composants étaient entraînés séparément, chacun sur une portion contrôlée du jeu de données.

Cette architecture leur a permis de créer un contrefactuel précis : que produirait le système si une image donnée n’avait jamais fait partie de l’entraînement ? Au lieu de réentraîner à chaque fois un modèle unique et monolithique, ils ont désactivé tous les composants qui avaient vu l’image concernée.

Les chercheurs ont comparé cette approche à 24 modèles de diffusion classiques entraînés sur les mêmes données. Les deux types de modèles ont obtenu des résultats globalement comparables selon les mesures habituelles de qualité d’image.

Au total, l’équipe a étudié 24 ensembles de modèles entraînés sur sept collections publiques d’images, dont la taille variait de 256 à plus de 160 000 images. Pour chaque production, elle a généré un « univers contrefactuel » : une série de versions obtenues en retirant successivement chaque unité candidate du processus d’entraînement.

La différence maximale entre l’image originale et ces versions a servi à définir le rayon contrefactuel, c’est-à-dire une mesure de l’effet causal maximal d’une unité retirée.

Ce que révèle l’effacement de l’attribution

Lorsque les jeux de données deviennent plus importants, le rayon contrefactuel diminue. Retirer une seule image a alors de moins en moins de chances de modifier de façon perceptible la production finale.

À des échelles suffisamment grandes, le phénomène peut s’étendre à des groupes entiers. Le retrait de toutes les images d’un artiste, ou de toutes les photographies représentant une personne donnée, pouvait parfois laisser l’image générée pratiquement inchangée.

Dans le cadre de cette étude, cela signifie qu’aucune de ces unités ne peut être considérée comme la cause identifiable de cette production selon la mesure employée. Il s’agit donc d’une absence d’attribution dans un scénario contrefactuel précis, et non d’une preuve générale d’absence de copie.

Une conséquence possible pour les litiges sur le droit d’auteur

Le résultat pourrait compliquer certains arguments avancés contre des entreprises de génération d’images comme Midjourney, OpenAI ou Microsoft. Si une action repose sur l’idée qu’une production donnée est directement causée par les œuvres d’un artiste — ou par la reproduction de son style — il peut être difficile de démontrer cette contribution spécifique lorsque le retrait de l’ensemble du corpus de l’artiste ne change pratiquement pas l’image produite.

Mais l’étude ne tranche aucun litige et ne crée pas de règle juridique. Les tribunaux peuvent examiner d’autres questions : la copie non autorisée pendant l’entraînement, la ressemblance substantielle entre une production et une œuvre précise, l’accès aux œuvres, le préjudice commercial, les conditions contractuelles ou encore les documents techniques conservés par l’entreprise.

Les limites à garder en tête

• Ce n’est pas une preuve d’absence de mémorisation. Une image peut ne pas être attribuable à une seule donnée selon ce test, alors que le modèle a mémorisé certains éléments, qu’il peut les reproduire avec certaines instructions ou certains paramètres, ou qu’il génère une production très ressemblante à une œuvre protégée. L’étude mesure la sensibilité causale au retrait d’unités d’entraînement ; elle ne couvre pas toutes les formes de mémorisation ou de contrefaçon.
• Ce n’est pas encore un résultat sur les grands modèles de langage. Les travaux portent sur les modèles de diffusion, utilisés notamment pour générer des images. La méthode d’ensemble et le phénomène observé n’ont pas, du seul fait de cette étude, été démontrés pour les grands modèles de langage fondés sur des transformeurs.
• Cette approche ne remplace pas les autres éléments de preuve. Une enquête technique ou judiciaire pourrait toujours s’appuyer sur des tests de reproduction à partir d’instructions, l’analyse de la ressemblance et de la provenance, les données et journaux d’entraînement, des audits de modèles ainsi que l’analyse juridique applicable.

L’effacement de l’attribution indique donc qu’à grande échelle, une explication reposant sur une source unique peut devenir difficile à établir. Il ne montre pas que toute preuve de copie est impossible.