Hvad fandt MIT-forskerne om »attributionsforfald« i AI-billedgeneratorer?

Zheng Dai og David Gifford fra MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL) identificerede et fænomen, de kalder »attributionsforfald«. Jo mere data en diffusionsbaseret billedgenerator trænes på, desto mindre bliver det enkelte træningseksempels kausale betydning for et bestemt genereret billede. Til sidst kan påvirkningen blive så lille, at den ikke længere kan registreres.

Det er vigtigt at skelne mellem manglende attribution og manglende brug af data. Studiet viser ikke, at et træningsbillede aldrig blev brugt, ikke findes i modellens læring, eller ikke under bestemte prompts og samplingforhold kan genskabes. Resultatet handler specifikt om, hvorvidt et bestemt træningselement kan siges at have forårsaget et bestemt output under forskernes målemetode.

Sådan testede forskerne effekten

I stedet for at forsøge at beregne et billedes indflydelse med traditionelle tilnærmelser byggede forskerne et diffusionsensemble. Det bestod af uafhængigt trænede modelkomponenter, som hver især fik en kontrolleret del af træningsdataene.

Det gjorde det muligt at undersøge et præcist kontrafaktisk spørgsmål: »Hvordan ville dette billede være blevet genereret, hvis et bestemt træningsbillede ikke havde været med?« I stedet for at genoptræne én stor, samlet model deaktiverede forskerne alle de komponenter, der havde set det pågældende billede.

Forskerne sammenlignede også ensemblet med 24 konventionelle diffusionsmodeller, der var trænet på de samme data. Modellerne havde omtrent sammenlignelig billedkvalitet efter almindelige standardmål.

I alt arbejdede de med 24 ensembler trænet på syv offentlige billedsamlinger. Datasættene spændte fra 256 til over 160.000 billeder. For hvert output skabte forskerne et »kontrafaktisk univers«: en række versioner, hvor ét muligt træningselement ad gangen var fjernet. Den største forskel mellem det oprindelige output og versionerne uden det pågældende element blev kaldt den kontrafaktiske radius – et mål for den maksimale kausale effekt af ét træningselement.

Hvad betyder »attributionsforfald«?

Når datasættene blev større, faldt den kontrafaktiske radius. At fjerne ét enkelt billede gjorde altså i stigende grad ingen eller kun meget lille forskel for det genererede output.

Ved tilstrækkeligt store datasæt gjaldt det ikke kun for ét bestemt billede. Forskerne fandt også, at man i nogle tilfælde kunne fjerne alle billeder fra en bestemt kunstner eller alle fotografier af en bestemt person uden at ændre det genererede billede mærkbart.

Det er et resultat om ikke-attribution i den kontrafaktiske betydning, forskerne testede. Hvis et output ikke ændrer sig, når et bestemt træningselement fjernes, kan elementet ikke tildeles kausalt ansvar for outputtet efter denne definition.

Hvad kan det betyde for ophavsret?

Resultatet kan gøre én bestemt type argumentation vanskeligere i ophavsretssager mod billedmodelvirksomheder som Midjourney, OpenAI eller Microsoft. Det gælder især sager, hvor en rettighedshaver skal vise, at et konkret output blev forårsaget af en navngiven kunstners værker eller af kopier af kunstnerens stil. Hvis en hel kunstners værkproduktion kan fjernes uden en mærkbar ændring af outputtet, kan det være svært at bevise et direkte, output-specifikt kausalt bidrag.

Studiet afgør dog ikke sådanne sager og opstiller ingen juridisk regel. Ophavsretlige tvister kan også handle om uautoriseret kopiering under træningen, væsentlig lighed mellem et bestemt output og et beskyttet værk, adgang til materialet, markedsskade, aftalevilkår og andre forhold. De spørgsmål kan ikke afgøres alene ved at undersøge, om ét træningsbillede var nødvendigt for ét bestemt output.

Tre vigtige begrænsninger

• Det er ikke et bevis på, at modeller ikke memorerer materiale. Et output kan være uden påviselig attribution til ét bestemt træningselement, samtidig med at modellen har memoreret materiale, kan genskabe det ved bestemte prompts eller samplingforhold eller producerer et output, der minder væsentligt om et beskyttet værk. Studiet måler følsomheden over for at fjerne træningsenheder – ikke alle former for memorering eller krænkelse.
• Resultatet gælder ikke automatisk for store sprogmodeller. Undersøgelsen handler om diffusionsmodeller, som blandt andet bruges til billedgenerering. Forskerne har dermed ikke demonstreret, at samme ensemble- og ablationsteknik eller samme skaleringseffekt gælder for transformerbaserede store sprogmodeller.
• Metoden erstatter ikke anden dokumentation. Domstole og tekniske undersøgelser vil stadig kunne have brug for reproduktionstest med prompts, analyser af lighed og oprindelse, oplysninger om træningsdata og systemlogfiler, modelrevisioner samt en konkret juridisk vurdering. Attributionsforfald viser, at en enkel fortælling om én kildes direkte årsagssammenhæng kan bryde sammen i stor skala. Det viser ikke, at kopiering aldrig kan bevises med andre former for evidens.