Waarom grote beeldmodellen de weg naar hun trainingsdata kwijtraken

Een studie van het Computer Science and Artificial Intelligence Laboratory (CSAIL) van MIT beschrijft een probleem voor iedereen die een door AI gegenereerde afbeelding wil terugleiden naar een specifieke bron: attribution decay, oftewel het vervagen van toeschrijving. Naarmate een diffusionmodel met meer afbeeldingen wordt getraind, kan de meetbare causale invloed van één trainingsvoorbeeld op een bepaalde uitvoer zo klein worden dat het verwijderen ervan nauwelijks verschil maakt.

Dat betekent niet dat een model de afbeelding nooit heeft gezien, haar niet kan reproduceren of automatisch geen auteursrechtelijk risico vormt. De studie beschrijft een beperkter technisch resultaat: bij een gecontroleerde verwijderingstest kan blijken dat een specifiek trainingsonderdeel niet langer noodzakelijk is om een bepaalde uitvoer te genereren.

Zo testten de onderzoekers de invloed van trainingsdata

Traditionele methoden voor invloedanalyse proberen doorgaans te schatten hoe een trainingsvoorbeeld een model heeft beïnvloed. Dai en Gifford ontwikkelden in plaats daarvan een diffusion ensemble waarmee een gecontroleerd contrafeitelijk scenario mogelijk wordt. Zo’n ensemble bestaat uit onafhankelijk getrainde modelonderdelen. Elk onderdeel krijgt een zorgvuldig samengesteld deel van de trainingsdata te zien.

Daardoor kunnen onderzoekers een precieze vraag stellen: Wat zou het model genereren als deze afbeelding geen invloed op de training had gehad? In plaats van één groot model volledig opnieuw te trainen, schakelen ze de onderdelen uit die de geselecteerde afbeelding hadden gezien. Vervolgens maken ze een vergelijkende uitvoer. Het gaat dus om een ablatie van de invloed van de afbeelding, niet alleen om een indirecte schatting.

Het team onderzocht 24 diffusion ensembles aan de hand van zeven openbare beeldcollecties. De datasets varieerden van 256 afbeeldingen tot meer dan 160.000 afbeeldingen. Zo konden de onderzoekers nagaan hoe de toeschrijfbaarheid veranderde naarmate de hoeveelheid trainingsdata toenam. Ze vergeleken een oorspronkelijke generatie met contrafeitelijke versies waarin kandidaat-trainingsonderdelen waren weggelaten.

Het grootste gemeten verschil tussen de oorspronkelijke uitvoer en de contrafeitelijke uitvoer noemden de onderzoekers de counterfactual radius. Die maatstaf geeft aan hoeveel één weggelaten trainingsonderdeel het resultaat kon veranderen.

Wat betekent ‘attribution decay’?

De counterfactual radius nam af naarmate de trainingsdatasets groter werden. In de praktijk betekende dit dat het verwijderen van één afbeelding steeds vaker resulteerde in een afbeelding die volgens de metingen nauwelijks van het origineel te onderscheiden was.

De uitkomst is enigszins contra-intuïtief: meer trainingsdata kunnen ervoor zorgen dat een gegenereerde afbeelding minder goed aan één afzonderlijk voorbeeld kan worden toegeschreven, zelfs als dat voorbeeld onderdeel was van de trainingsset. Het model leert mogelijk brede, overlappende patronen uit veel bronnen, in plaats van voor een specifieke uitvoer op één herkenbare afbeelding te leunen.

Bij voldoende grote datasets ging het effect verder dan afzonderlijke afbeeldingen. Volgens de studie kon ook het verwijderen van alle afbeeldingen van een bepaalde kunstenaar, of van alle foto’s waarop een specifieke persoon te zien was, in de geteste contrafeitelijke situatie een gegenereerde afbeelding vrijwel onveranderd laten.

Daarom spreken de onderzoekers van vervaging en niet simpelweg van een mislukte detectie. Het probleem is mogelijk niet alleen dat onderzoekers nog geen krachtig genoeg hulpmiddel hebben om een bron op te sporen. De causale verbinding tussen één bron en één uitvoer kan zelf zo verspreid raken dat ze niet meer te isoleren is.

Wat kan dit betekenen voor rechtszaken over AI en auteursrecht?

Attribution decay kan één specifieke theorie in een auteursrechtzaak moeilijker te bewijzen maken: dat een betwiste uitvoer rechtstreeks werd veroorzaakt door het werk van een genoemde kunstenaar, of door kopieën daarvan, in de trainingsdata. Als het verwijderen van het volledige oeuvre van een kunstenaar de uitvoer niet wezenlijk verandert, wordt het lastiger om met deze causale test te stellen dat dat oeuvre voor die specifieke afbeelding individueel noodzakelijk was.

Dat kan relevant zijn voor geschillen rond commerciële beeldgeneratoren en claims dat modellen de stijl van kunstenaars kopiëren. Grootschalige training verzwakt een eenvoudig verhaal waarin een herkenbare uitvoer wordt gezien als het directe product van één identificeerbaar werk of één kunstenaar. De studie kan intellectuele-eigendomszaken rond generatieve beeldsystemen daardoor ingewikkelder maken.

Het onderzoek bepaalt echter niet of een bedrijf inbreuk heeft gemaakt op auteursrecht en vormt op zichzelf geen juridische verdediging. Auteursrechtelijke geschillen kunnen ook draaien om de vraag of beschermde werken tijdens de training zijn gekopieerd, of een uitvoer in grote mate overeenkomt met een beschermd werk, wat het systeem onder bepaalde prompts kan reproduceren en welke schade of contractuele verplichtingen van toepassing zijn. De technische conclusie ‘niet aan één bron toe te schrijven’ mag niet worden gelijkgesteld aan de juridische conclusie ‘niet gekopieerd’.

Waarom dit geen bewijs is dat modellen niets onthouden

Het experiment test hoe gevoelig een model is voor het verwijderen van trainingsonderdelen. Het onderzoekt niet alle manieren waarop een model informatie kan bewaren of reproduceren.

Een model kan in de verwijderingstest van het ensemble weinig afhankelijkheid van één afbeelding laten zien en toch onder bepaalde prompts of steekproefinstellingen een specifiek werk reproduceren. Ook kan een uitvoer sterk lijken op een beschermd werk zonder dat één afzonderlijke trainingsafbeelding aantoonbaar noodzakelijk was voor die uitvoer.

De volgende beweringen zijn dus niet hetzelfde:

• Deze afbeelding beïnvloedde deze uitvoer: de verwijderingstest toont een meetbare verandering wanneer de invloed van de afbeelding wordt weggehaald.
• Het model heeft de afbeelding gezien of onthouden: het model is eraan blootgesteld of kan aspecten ervan hebben gememoriseerd.
• De uitvoer kopieert een beschermd werk: een juridische en technische conclusie waarvoor aanvullend bewijs nodig is.

Attribution decay gaat rechtstreeks over de eerste vraag. Het beantwoordt de tweede en derde vraag niet.

De uitkomst geldt nog niet voor grote taalmodellen

De studie gaat over diffusionmodellen voor het genereren van afbeeldingen en aanverwante audiovisuele media. De architectuur van het ensemble en het waargenomen schaalpatroon mogen niet automatisch worden doorgetrokken naar grote taalmodellen, of LLM’s.

Taalmodellen hebben andere architecturen, trainingsprocedures, tokenrepresentaties en uitvoerpatronen. De studie kan wel een interessante experimentele richting bieden voor toekomstig onderzoek naar toeschrijving, maar laat niet zien dat dezelfde vorm van attribution decay ook bij LLM’s optreedt.

Welk bewijs onderzoekers nog steeds nodig hebben

Wanneer de vraag is of een AI-systeem een werk heeft gekopieerd, is attribution decay slechts één onderdeel van het bewijs. Rechtbanken en technische onderzoekers zullen bijvoorbeeld ook moeten kijken naar:

• de vraag of het systeem een specifiek werk onder gecontroleerde prompts kan reproduceren;
• de visuele overeenkomst tussen de uitvoer en het werk waarvan beweerd wordt dat het is gekopieerd;
• de herkomst, toegankelijkheid en administratie van de trainingsdata;
• resultaten van modelaudits en technische documentatie;
• de vraag of de uitvoer een algemene stijl weerspiegelt of herkenbare, beschermde expressie bevat; en
• de juridische normen die voor het specifieke geschil gelden.

De belangrijkste les van de studie is beperkter — en juist daardoor bruikbaarder — dan de bewering dat AI zijn bronnen ‘vergeet’. Naarmate diffusiondatasets groter worden, kan de causale bijdrage van afzonderlijke trainingsvoorbeelden in een specifieke uitvoer te verspreid raken om nog te meten. Dat maakt bronvermelding moeilijker, maar maakt bewijs van memorisatie, reproductie of auteursrechtinbreuk niet onmogelijk.