De onderzoekers vergeleken hun ensemble bovendien met 24 conventionele diffusionmodellen die op dezelfde data waren getraind. Volgens de studie leverden die systemen ruwweg vergelijkbare resultaten op bij gangbare maatstaven voor beeldkwaliteit.

In totaal onderzochten ze 24 ensembles, getraind op zeven openbare beeldcollecties. De datasets varieerden van 256 afbeeldingen tot meer dan 160.000 afbeeldingen. Voor elke gegenereerde afbeelding bekeken ze wat er veranderde wanneer afzonderlijke trainingsitems werden weggelaten. Het grootste verschil met de oorspronkelijke uitvoer noemden ze de ‘counterfactual radius’: een maat voor het maximale causale effect van één verwijderd trainingsonderdeel.

Wat ‘attributieverval’ laat zien

De counterfactual radius werd kleiner naarmate de datasets groter werden. Het verwijderen van één afbeelding maakte dus steeds minder verschil voor de gegenereerde uitvoer. Op voldoende grote schaal kon hetzelfde zelfs gelden voor een volledige categorie, zoals alle werken van één kunstenaar of alle foto’s waarop een bepaalde persoon staat. Ook het weglaten van zo’n volledige groep veranderde de gegenereerde afbeelding soms nauwelijks.

Binnen de meetmethode van het onderzoek betekent dat dat de betreffende trainingsunit niet als de directe oorzaak van die uitvoer kan worden aangewezen. Het is een resultaat over toerekenbare invloed, niet over de volledige vraag wat een model tijdens het trainen heeft geleerd of onthouden.

Wat betekent dit voor auteursrecht?

De bevinding kan een specifieke juridische redenering bemoeilijken in zaken tegen bedrijven achter beeldgeneratoren, zoals Midjourney, OpenAI of Microsoft. Als een eiser moet aantonen dat een bepaalde uitvoer rechtstreeks is veroorzaakt door het werk van één kunstenaar — of door de volledige verzameling werken van die kunstenaar — kan het lastiger worden om dat causale verband technisch hard te maken wanneer het weglaten van die werken de uitvoer nauwelijks verandert.

De studie beslist daarmee geen auteursrechtelijke zaken en introduceert geen nieuwe juridische regel. Rechtszaken kunnen ook draaien om ongeoorloofd kopiëren tijdens het trainen, substantiële gelijkenis tussen een specifieke uitvoer en een beschermd werk, toegang tot de werken, marktschade, contractuele afspraken en andere omstandigheden.

Belangrijke beperkingen

• Geen bewijs dat er niets wordt gememoriseerd: een afbeelding kan volgens deze verwijderingstest niet aan één trainingsitem worden toegeschreven, terwijl het model toch materiaal heeft gememoriseerd of dat materiaal onder bepaalde prompts en instellingen kan reproduceren. De studie onderzoekt gevoeligheid voor het verwijderen van trainingsunits, niet iedere vorm van memorisatie of inbreuk.
• Geen resultaat over taalmodellen: het onderzoek gaat over diffusionmodellen voor onder meer beeldgeneratie. De ensemble- en ablatietechniek en de gevonden schaaltrend zijn daarmee niet automatisch aangetoond voor transformer-gebaseerde large language models (LLM’s).
• Geen vervanging voor ander bewijs: technische onderzoekers en rechters zouden nog steeds kunnen kijken naar reproductietests met specifieke prompts, gelijkenis- en herkomstanalyses, trainingsdata, systeemlogboeken, modelaudits en de toepasselijke wetgeving.

De bredere boodschap is daarom genuanceerd: naarmate AI-modellen grotere datasets gebruiken, kan het steeds moeilijker worden om één bron als noodzakelijke oorzaak van één specifieke uitvoer aan te wijzen. Dat betekent niet dat aantoonbaar kopiëren onmogelijk is, maar wel dat één enkel causaal verband mogelijk niet volstaat.

De onderzoekers vergeleken hun ensemble bovendien met 24 conventionele diffusionmodellen die op dezelfde data waren getraind. Volgens de studie leverden die systemen ruwweg vergelijkbare resultaten op bij gangbare maatstaven voor beeldkwaliteit.

In totaal onderzochten ze 24 ensembles, getraind op zeven openbare beeldcollecties. De datasets varieerden van 256 afbeeldingen tot meer dan 160.000 afbeeldingen. Voor elke gegenereerde afbeelding bekeken ze wat er veranderde wanneer afzonderlijke trainingsitems werden weggelaten. Het grootste verschil met de oorspronkelijke uitvoer noemden ze de ‘counterfactual radius’: een maat voor het maximale causale effect van één verwijderd trainingsonderdeel.

Wat ‘attributieverval’ laat zien

De counterfactual radius werd kleiner naarmate de datasets groter werden. Het verwijderen van één afbeelding maakte dus steeds minder verschil voor de gegenereerde uitvoer. Op voldoende grote schaal kon hetzelfde zelfs gelden voor een volledige categorie, zoals alle werken van één kunstenaar of alle foto’s waarop een bepaalde persoon staat. Ook het weglaten van zo’n volledige groep veranderde de gegenereerde afbeelding soms nauwelijks.

Binnen de meetmethode van het onderzoek betekent dat dat de betreffende trainingsunit niet als de directe oorzaak van die uitvoer kan worden aangewezen. Het is een resultaat over toerekenbare invloed, niet over de volledige vraag wat een model tijdens het trainen heeft geleerd of onthouden.

Wat betekent dit voor auteursrecht?

De bevinding kan een specifieke juridische redenering bemoeilijken in zaken tegen bedrijven achter beeldgeneratoren, zoals Midjourney, OpenAI of Microsoft. Als een eiser moet aantonen dat een bepaalde uitvoer rechtstreeks is veroorzaakt door het werk van één kunstenaar — of door de volledige verzameling werken van die kunstenaar — kan het lastiger worden om dat causale verband technisch hard te maken wanneer het weglaten van die werken de uitvoer nauwelijks verandert.

De studie beslist daarmee geen auteursrechtelijke zaken en introduceert geen nieuwe juridische regel. Rechtszaken kunnen ook draaien om ongeoorloofd kopiëren tijdens het trainen, substantiële gelijkenis tussen een specifieke uitvoer en een beschermd werk, toegang tot de werken, marktschade, contractuele afspraken en andere omstandigheden.

Belangrijke beperkingen

• Geen bewijs dat er niets wordt gememoriseerd: een afbeelding kan volgens deze verwijderingstest niet aan één trainingsitem worden toegeschreven, terwijl het model toch materiaal heeft gememoriseerd of dat materiaal onder bepaalde prompts en instellingen kan reproduceren. De studie onderzoekt gevoeligheid voor het verwijderen van trainingsunits, niet iedere vorm van memorisatie of inbreuk.
• Geen resultaat over taalmodellen: het onderzoek gaat over diffusionmodellen voor onder meer beeldgeneratie. De ensemble- en ablatietechniek en de gevonden schaaltrend zijn daarmee niet automatisch aangetoond voor transformer-gebaseerde large language models (LLM’s).
• Geen vervanging voor ander bewijs: technische onderzoekers en rechters zouden nog steeds kunnen kijken naar reproductietests met specifieke prompts, gelijkenis- en herkomstanalyses, trainingsdata, systeemlogboeken, modelaudits en de toepasselijke wetgeving.

De bredere boodschap is daarom genuanceerd: naarmate AI-modellen grotere datasets gebruiken, kan het steeds moeilijker worden om één bron als noodzakelijke oorzaak van één specifieke uitvoer aan te wijzen. Dat betekent niet dat aantoonbaar kopiëren onmogelijk is, maar wel dat één enkel causaal verband mogelijk niet volstaat.