MIT-studie: AI-bilder blir svårare att spåra när modellerna växer

En studie från MIT:s Computer Science and Artificial Intelligence Laboratory (CSAIL), genomförd av Zheng Dai och David Gifford, pekar på ett problem som blir tydligare när bildmodeller baserade på diffusion skalas upp: det kan bli allt svårare att visa att en viss träningsbild orsakade ett visst genererat resultat. Forskarna kallar fenomenet attribution decay, eller försvagad attribuering.

Resultatet är relevant för diskussionen om AI-konst och upphovsrätt, men bör inte övertolkas. Studien handlar om kausal koppling mellan träningsdata och enskilda resultat i diffusionsmodeller. Den avgör inte om företag hade rätt att samla in upphovsrättsskyddade verk, om en genererad bild är väsentligen lik ett skyddat verk eller om en modell kan memorera och återge material.

Vad innebär ”attribution decay”?

Grundmönstret är enkelt: ju större bilddatamängd en diffusionsmodell tränas på, desto mindre blir den mätbara påverkan från varje enskilt tränings exempel på en viss genererad bild. När modellen och datamängden nått tillräcklig storlek kan ett resultat i praktiken förbli oförändrat även om bilden tas bort från träningen.

Forskarna testade även mer omfattande borttagningar: samtliga verk av en viss konstnär och alla fotografier av en viss person. Resultaten tyder på att sådana borttagningar också kan ge liten eller ingen mätbar förändring i genererade resultat när modellen och datamängden är tillräckligt stora. Experimenten omfattade 24 diffusionsensembler och datamängder från 256 till fler än 160 000 bilder.

Det betyder inte att bilden saknade betydelse för modellens träning som helhet. Det betyder att dess individuella kausala bidrag till ett visst resultat, enligt studiens borttagningstest, kan vara för litet för att upptäckas.

Så fungerade ”diffusion ensemble”

Det är svårt att testa frågan direkt. Den traditionella metoden skulle vara att träna om en modell efter att en källbild tagits bort och sedan jämföra det nya resultatet med originalet. Att upprepa processen för enskilda bilder, konstnärer eller personer skulle bli dyrt, och ungefärliga metoder riskerar att missa följdeffekter av träningsdatan.

Dai och Gifford utvecklade därför en diffusion ensemble: flera mindre diffusionskomponenter som tränas på olika, delvis överlappande delar av datamängden. För att testa en källas påverkan kunde forskarna stänga av de komponenter som hade sett källan och därefter skapa ett kontrafaktiskt resultat – alltså vad modellen skulle ha genererat utan den källan – utan att träna om hela systemet.

Forskarna jämförde metoden med 24 konventionella diffusionsmodeller som tränats på samma data. Enligt standardmått hade modellerna överlag jämförbar kvalitet på resultaten.

Metoden gav ett exakt borttagningstest inom den aktuella arkitekturen: om resultatet förblev oförändrat efter att alla komponenter som exponerats för en källa stängts av, fanns det inget mätbart stöd för att just den källan hade orsakat resultatet.

Vad betyder det för upphovsrättstvister?

Attribution decay kan göra en viss typ av argument svårare att driva: påståendet att en specifik AI-genererad bild orsakades av eller kopierades från en viss kärandes bild, eller från en hel konstnärlig produktion. Om ett exakt kontrafaktiskt test visar att resultatet inte förändras när materialet tas bort, ger testet begränsat stöd för att tillskriva resultatet till just den källan.

Det kan bli relevant i tvister om bildtjänster och modellutvecklare, där företag som Midjourney, OpenAI och Microsoft kan nämnas. Studien avgör dock inte något företags juridiska ansvar. Den visar framför allt hur svårt det kan vara att etablera ett kausalt samband mellan enskilda träningsdata och enskilda resultat.

Flera andra frågor är fortfarande öppna:

• Hur samlades träningsdatan in? Studien avgör inte om det var lagligt att samla in eller använda ett upphovsrättsskyddat verk för träning.
• Är resultatet väsentligen likt ett skyddat verk? Visuell likhet kan vara relevant även när det är svårt att koppla bilden kausalt till en enskild träningsfil.
• Har systemet memorerat eller återgett ett exempel? En modell kan i vissa situationer återge träningsmaterial. Det är en annan fråga än att bevisa att varje resultat kan tillskrivas en viss källa.
• Har systemet ställts in för att efterlikna en konstnär? Riktade promptar, finjustering eller annat modellbeteende kan ge bevis som inte fångas av ett borttagningstest för en enda bild.

Den praktiska följden kan bli att domstolar och utredare behöver ett bredare bevisunderlag: dokumentation av hur data samlades in, information om bilders ursprung, direkta likhetsanalyser, tester med riktade promptar, analyser av modellens beteende och sakkunnigutlåtanden. Det är en slutsats som följer av studiens resultat om att en-till-en-kopplingen mellan träningsbild och utdata blir osäker i stor skala – inte en ny juridisk regel.

Ingen frisedel för AI-utvecklare

Attribution decay ska inte tolkas som att diffusionsmodeller aldrig kopierar. Studien visar att den mätbara påverkan från en enskild källa kan bli försumbar när träningsdatamängderna växer. Modeller kan fortfarande memorera eller återge tränings exempel i vissa situationer.

Studien har dessutom ett tydligt avgränsat område: den undersöker bildgeneratorer baserade på diffusion. Resultaten kan därför inte automatiskt överföras till språkmodeller eller andra typer av generativa arkitekturer.

Den mest försiktiga tolkningen är följaktligen att stora diffusionssystem kan göra det svårare att tillskriva en specifik bild till en enskild träningskälla – även när datamängden faktiskt innehåller en viss bild eller en konstnärs verk. Det kan försvaga en väg för att bevisa ansvar för ett enskilt resultat, samtidigt som de bredare frågorna om träningsmetoder, kopiering, imitation och immaterialrätt förblir olösta.