Når AI mister sporet til treningsdataene

En studie fra MITs Computer Science and Artificial Intelligence Laboratory (CSAIL) peker på et problem for alle som forsøker å spore et AI-generert bilde tilbake til en bestemt kilde: «attribution decay», eller svekket attribusjon. Når en diffusjonsmodell trenes på stadig flere bilder, kan den målbare årsakspåvirkningen fra ett enkelt treningsbilde på et bestemt resultat bli så liten at det knapt gjør noen forskjell å fjerne bildet.

Det betyr ikke at modellen aldri har sett bildet, at den ikke kan gjengi det, eller at den dermed er uten opphavsrettslig risiko. Funnet er mer avgrenset: I en kontrollert test der påvirkningen fra et bestemt treningsbidrag fjernes, kan dette bidraget slutte å være nødvendig for å produsere et bestemt resultat.

Slik testet forskerne påvirkningen fra treningsdata

Vanlige metoder for påvirkningsanalyse forsøker som regel å anslå hvordan et treningsbilde har påvirket modellen. Zheng Dai og David Gifford utviklet i stedet et diffusion ensemble – et ensemble av uavhengig trente modelldeler. Hver del ble eksponert for en nøye planlagt del av treningsdataene.

Denne strukturen gjør det mulig å stille et presist kontrafaktisk spørsmål: Hva ville modellen ha generert dersom dette bildet ikke hadde påvirket treningen? I stedet for å trene én stor modell på nytt kunne forskerne slå av de delene som hadde sett det utvalgte bildet, og deretter lage et sammenligningsresultat. Det er en kontrollert fjerning av bildets påvirkning, ikke bare et omtrentlig estimat.

Teamet undersøkte 24 diffusjonsensembler på tvers av sju offentlige bildesamlinger. Datasettene inneholdt fra 256 bilder til mer enn 160 000 bilder, slik at forskerne kunne se hvordan attribusjonen endret seg når mengden treningsdata økte. De sammenlignet et originalt resultat med kontrafaktiske versjoner der utvalgte treningsbidrag var utelatt.

Den største målte forskjellen mellom originalresultatet og de kontrafaktiske resultatene kalte forskerne «counterfactual radius». Målet beskriver hvor mye ett utelatt treningsbidrag kunne endre resultatet.

Hva betyr «attribution decay»?

Den kontrafaktiske radien ble mindre etter hvert som datasettene vokste. I praksis betydde det at det å fjerne ett bilde stadig oftere ga et resultat som var vanskelig å skille fra originalen med studiens målemetode.

Konklusjonen er intuitiv på én måte, men overraskende på en annen: Mer treningsdata kan gjøre et generert bilde mindre knyttet til ett bestemt eksempel – selv om eksempelet faktisk var med i treningssettet. Modellen kan lære brede, overlappende mønstre fra mange kilder i stedet for å være avhengig av ett identifiserbart bilde for et bestemt resultat.

Ved tilstrekkelig stor skala gjaldt effekten også mer enn enkeltbilder. Studien rapporterte at det å fjerne alle bildene til en bestemt kunstner, eller alle fotografiene som viste en bestemt person, også kunne la et generert resultat være tilnærmet uendret i den kontrollerte testen.

Derfor beskriver forskerne fenomenet som en svekkelse – ikke bare som et tilfelle der sporingsverktøyene ikke er gode nok. Problemet kan være at årsakssammenhengen mellom én kilde og ett resultat i seg selv blir for spredt til å isoleres.

Kan dette påvirke søksmål om AI og opphavsrett?

Attribusjonssvekkelsen kan gjøre én bestemt teori i en opphavsrettssak vanskeligere å bevise: at et omstridt resultat direkte ble forårsaket av verkene til en navngitt kunstner, eller av kopier av disse verkene, i treningsdataene. Hvis det ikke gir noen vesentlig endring å fjerne hele kunstnerens produksjon, blir det vanskeligere å argumentere for at denne samlingen var individuelt nødvendig for akkurat det aktuelle bildet i en slik årsakstest.

Dette kan få betydning i konflikter om kommersielle bildegeneratorer og påstander om at modeller kopierer kunstneres uttrykk eller stil. Storskala trening svekker den enkle fortellingen om at et gjenkjennelig resultat er det direkte produktet av ett bestemt verk eller én bestemt kunstner. Studien kan derfor gjøre immaterialrettslige saker mot selskaper som utvikler generative bildesystemer, mer kompliserte.

Men forskningen avgjør ikke om et selskap har krenket opphavsretten, og den utgjør ikke et juridisk forsvar i seg selv. Opphavsrettssaker kan også handle om hvorvidt beskyttede verk ble kopiert under treningen, om et resultat er vesentlig likt et beskyttet verk, hva systemet kan gjengi med bestemte instrukser, og hvilke skader eller kontraktsforpliktelser som gjelder.

Den tekniske betydningen av «kan ikke attribueres» må derfor ikke forveksles med den juridiske betydningen av «er ikke kopiert».

Studien viser ikke at modellene ikke memoriserer

Eksperimentet tester hvor følsomt et resultat er for at bestemte treningsbidrag fjernes. Det undersøker ikke alle måter en modell kan beholde eller gjengi informasjon på.

En modell kan vise liten avhengighet av ett bestemt bilde i slettingstesten og likevel gjengi et bestemt verk ved enkelte instruksjoner eller under bestemte uttrekksbetingelser. Et resultat kan også ligne på et beskyttet verk uten at ett enkelt treningsbilde kan bevises å være årsaksmessig nødvendig for resultatet.

Følgende påstander er altså ikke det samme:

• «Dette bildet påvirket resultatet»: Slettingstesten viser en målbar endring når bildets påvirkning fjernes.
• «Modellen så eller beholdt bildet»: Modellen ble eksponert for bildet, eller kan ha memorert deler av det.
• «Resultatet kopierer et beskyttet verk»: En juridisk og teknisk konklusjon som krever ytterligere bevis.

Attribusjonssvekkelsen svarer direkte på det første spørsmålet. Den avgjør ikke det andre eller det tredje.

Gjelder ikke nødvendigvis store språkmodeller

Studien handler om diffusjonsbaserte generative modeller for bilder og beslektede audiovisuelle medier. Modellarkitekturen og utviklingen forskerne observerte, kan ikke automatisk overføres til transformerbaserte store språkmodeller, ofte kalt LLM-er.

Språkmodeller har andre arkitekturer, treningsprosesser, tokenrepresentasjoner og former for resultatgenerering. Studien kan peke mot en interessant metode for fremtidig forskning på attribusjon, men den viser ikke at den samme typen attribusjonssvekkelse forekommer i LLM-er.

Hvilke andre bevis må fortsatt undersøkes?

Når spørsmålet er om et AI-system har kopiert et verk, er attribusjonssvekkelse bare én del av bildet. Domstoler og tekniske granskere må fortsatt kunne vurdere blant annet:

• om systemet kan gjengi et bestemt verk med kontrollerte instrukser;
• visuell likhet mellom resultatet og verket som hevdes kopiert;
• opphav, tilgang og dokumentasjon knyttet til treningsdataene;
• resultater fra modellrevisjoner og systemdokumentasjon;
• om resultatet gjenspeiler en bred stil eller et identifiserbart, beskyttet uttrykk; og
• hvilke juridiske standarder som gjelder i den konkrete saken.

Studiens viktigste poeng er derfor snevrere – og mer nyttig – enn påstanden om at AI «glemmer» kildene sine. Når diffusjonsdatasettene vokser, kan enkeltbilders årsaksmessige bidrag til et bestemt resultat bli så spredt at det ikke lenger lar seg påvise. Det gjør kildeattribusjon vanskeligere, men det gjør ikke memorering, gjengivelse eller opphavsrettslig analyse umulig.