Vad visar MIT-studien om ”attributionsförfall” i AI-bildgeneratorer?
Forskarna Zheng Dai och David Gifford fann ett fenomen de kallar ”attributionsförfall”: ju mer data en diffusionsmodell tränas på, desto mindre kan en enskild bild påverka ett visst resultat. Resultatet handlar om mätbar, kausal påverkan på ett utdata – inte om att träningsbilder aldrig användes, lagrades eller kan...
Forskarna Zheng Dai och David Gifford fann ett fenomen de kallar ”attributionsförfall”: ju mer data en diffusionsmodell tränas på, desto mindre kan en enskild bild påverka ett visst resultat.
Resultatet handlar om mätbar, kausal påverkan på ett utdata – inte om att träningsbilder aldrig användes, lagrades eller kan återskapas.
Med en ensemble av separat tränade modellkomponenter kunde forskarna testa det exakta motscenariot: hur resultatet hade sett ut om en viss träningsbild inte hade funnits med.
I större datamängder kunde borttagandet av en enskild bild, en konstnärs hela bildsamling eller fotografier av en viss person ge mycket liten märkbar skillnad i den genererade bilden.
What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusionAI-generated editorial hero image for What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion. Article summary: Dai and Gifford found “attribution decay”: as a diffusion image generator is trained on more data, the causal effect of any one training item on a particular generated image can shrink until it is too small to detect.. Topic tags: general web, ai safety, openai, chatgpt, llm. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wit
openai.com
En studie från MIT:s Computer Science and Artificial Intelligence Laboratory (CSAIL), publicerad i Nature Communications, beskriver ett fenomen som forskarna Zheng Dai och David Gifford kallar ”attributionsförfall” (attribution decay).
Kärnan är att en enskild träningsbild kan få allt mindre kausal betydelse för en viss AI-genererad bild när modellen tränas på större datamängder. Till slut kan påverkan bli så liten att den inte längre går att upptäcka.
Det betyder dock inte att bilden aldrig användes under träningen, att modellen inte kan ha lagrat information från den eller att den inte kan återskapa liknande material under andra förhållanden.
Så testade forskarna påverkan
I stället för att uppskatta varje bilds betydelse med traditionella approximationer byggde forskarna en särskild diffusionsensemble. Den bestod av separat tränade modellkomponenter, där varje komponent fick se en kontrollerad del av träningsmaterialet.
Det gjorde det möjligt att skapa ett exakt motscenario: Hur hade bilden sett ut om den här träningsbilden inte hade ingått? Forskarna stängde då av alla modellkomponenter som hade exponerats för den aktuella bilden, i stället för att träna om en enda stor modell från början.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Vad visar MIT-studien om ”attributionsförfall” i AI-bildgeneratorer?"?
Forskarna Zheng Dai och David Gifford fann ett fenomen de kallar ”attributionsförfall”: ju mer data en diffusionsmodell tränas på, desto mindre kan en enskild bild påverka ett visst resultat.
What are the key points to validate first?
Forskarna Zheng Dai och David Gifford fann ett fenomen de kallar ”attributionsförfall”: ju mer data en diffusionsmodell tränas på, desto mindre kan en enskild bild påverka ett visst resultat. Resultatet handlar om mätbar, kausal påverkan på ett utdata – inte om att träningsbilder aldrig användes, lagrades eller kan återskapas.
What should I do next in practice?
Med en ensemble av separat tränade modellkomponenter kunde forskarna testa det exakta motscenariot: hur resultatet hade sett ut om en viss träningsbild inte hade funnits med.
Vad visar MIT-studien om ”attributionsförfall” i AI-bildgeneratorer?
Forskarna Zheng Dai och David Gifford fann ett fenomen de kallar ”attributionsförfall”: ju mer data en diffusionsmodell tränas på, desto mindre kan en enskild bild påverka ett visst resultat. Resultatet handlar om mätbar, kausal påverkan på ett utdata – inte om att träningsbilder aldrig användes, lagrades eller kan...
Forskarna Zheng Dai och David Gifford fann ett fenomen de kallar ”attributionsförfall”: ju mer data en diffusionsmodell tränas på, desto mindre kan en enskild bild påverka ett visst resultat.
Resultatet handlar om mätbar, kausal påverkan på ett utdata – inte om att träningsbilder aldrig användes, lagrades eller kan återskapas.
Med en ensemble av separat tränade modellkomponenter kunde forskarna testa det exakta motscenariot: hur resultatet hade sett ut om en viss träningsbild inte hade funnits med.
I större datamängder kunde borttagandet av en enskild bild, en konstnärs hela bildsamling eller fotografier av en viss person ge mycket liten märkbar skillnad i den genererade bilden.
What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusionAI-generated editorial hero image for What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion. Article summary: Dai and Gifford found “attribution decay”: as a diffusion image generator is trained on more data, the causal effect of any one training item on a particular generated image can shrink until it is too small to detect.. Topic tags: general web, ai safety, openai, chatgpt, llm. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wit
openai.com
En studie från MIT:s Computer Science and Artificial Intelligence Laboratory (CSAIL), publicerad i Nature Communications, beskriver ett fenomen som forskarna Zheng Dai och David Gifford kallar ”attributionsförfall” (attribution decay).
Kärnan är att en enskild träningsbild kan få allt mindre kausal betydelse för en viss AI-genererad bild när modellen tränas på större datamängder. Till slut kan påverkan bli så liten att den inte längre går att upptäcka.
Det betyder dock inte att bilden aldrig användes under träningen, att modellen inte kan ha lagrat information från den eller att den inte kan återskapa liknande material under andra förhållanden.
Så testade forskarna påverkan
I stället för att uppskatta varje bilds betydelse med traditionella approximationer byggde forskarna en särskild diffusionsensemble. Den bestod av separat tränade modellkomponenter, där varje komponent fick se en kontrollerad del av träningsmaterialet.
Det gjorde det möjligt att skapa ett exakt motscenario: Hur hade bilden sett ut om den här träningsbilden inte hade ingått? Forskarna stängde då av alla modellkomponenter som hade exponerats för den aktuella bilden, i stället för att träna om en enda stor modell från början.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Vad visar MIT-studien om ”attributionsförfall” i AI-bildgeneratorer?"?
Forskarna Zheng Dai och David Gifford fann ett fenomen de kallar ”attributionsförfall”: ju mer data en diffusionsmodell tränas på, desto mindre kan en enskild bild påverka ett visst resultat.
What are the key points to validate first?
Forskarna Zheng Dai och David Gifford fann ett fenomen de kallar ”attributionsförfall”: ju mer data en diffusionsmodell tränas på, desto mindre kan en enskild bild påverka ett visst resultat. Resultatet handlar om mätbar, kausal påverkan på ett utdata – inte om att träningsbilder aldrig användes, lagrades eller kan återskapas.
What should I do next in practice?
Med en ensemble av separat tränade modellkomponenter kunde forskarna testa det exakta motscenariot: hur resultatet hade sett ut om en viss träningsbild inte hade funnits med.
De jämförde också ensemblen med 24 konventionella diffusionsmodeller som tränats på samma material. Enligt studien hade modellerna ungefär jämförbar bildkvalitet enligt vanliga mått.
Totalt undersöktes 24 ensembler tränade på sju offentliga bildsamlingar. Datamängderna sträckte sig från 256 bilder till mer än 160 000. För varje genererad bild tog forskarna fram ett slags ”kontrafaktiskt universum”: versioner av resultatet där varje möjlig träningsenhet hade tagits bort en i taget.
Den största skillnaden mellan originalbilden och någon av dessa alternativa versioner kallades kontrafaktisk radie. Måttet beskriver den maximala kausala effekt som ett borttaget träningsobjekt hade på resultatet.
Effekten minskar när datamängden växer
Forskarna såg att den kontrafaktiska radien sjönk när datamängderna blev större. Att ta bort en enda bild gjorde alltså allt oftare liten eller ingen märkbar skillnad för det genererade resultatet.
Vid tillräckligt stora datamängder kunde samma sak gälla större grupper. Att ta bort en viss konstnärs hela bildproduktion, eller alla fotografier som föreställde en viss person, behövde inte heller förändra den genererade bilden på ett tydligt sätt.
I den mening som studien mäter innebär det att materialet inte kan tillskrivas ett visst utdata. Om resultatet förblir oförändrat när en träningsenhet tas bort, kan den inte ges kausalt ansvar för just det resultatet enligt forskarnas mått.
Vad kan det betyda för upphovsrätten?
Resultatet kan göra en viss typ av argumentation svårare i rättstvister mot bildmodellföretag, exempelvis när en kärande vill hävda att ett specifikt resultat orsakades av en namngiven konstnärs verk eller av kopior av konstnärens stil. Om en konstnärs hela bildkorpus tas bort utan att resultatet förändras kan det bli svårt att bevisa ett direkt, specifikt orsakssamband mellan materialet och just den bilden.
Studien avgör däremot inte sådana tvister och skapar ingen juridisk regel. Upphovsrättsmål kan också handla om otillåten kopiering under träningen, väsentlig likhet mellan ett visst resultat och ett skyddat verk, tillgång till materialet, marknadsskada, avtalsvillkor och andra frågor.
Viktiga begränsningar
Det är inte ett bevis på att modeller inte memorerar material. En bild kan sakna mätbar påverkan enligt borttagningstestet, samtidigt som modellen ändå har memorerat information, kan återskapa materialet med vissa uppmaningar eller samplingförhållanden eller genererar något som är väsentligt likt ett skyddat verk. Studien mäter känsligheten för att ta bort träningsenheter – inte alla former av memorering eller intrång.
Resultatet gäller inte automatiskt stora språkmodeller. Studien handlar specifikt om diffusionsmodeller, som används för att skapa bilder och annat audiovisuellt innehåll. Att metoden fungerar där innebär inte att samma empiriska skalningseffekt har visats för transformerbaserade stora språkmodeller.
Attributionsförfall ersätter inte annan bevisning. Domstolar och tekniska utredare skulle fortfarande kunna behöva analysera reproduktion efter specifika uppmaningar, likhet och proveniens, träningsdata, systemloggar, modellrevisioner och tillämplig lagstiftning.
Studien säger alltså inte att kopiering aldrig kan bevisas. Den visar snarare att en enkel förklaring där ett specifikt verk ensamt orsakar ett visst AI-resultat kan bli svårare att belägga när modellen tränas på mycket stora datamängder.
news.mit.edu
Artificial intelligence | Massachusetts Institute of Technology
De jämförde också ensemblen med 24 konventionella diffusionsmodeller som tränats på samma material. Enligt studien hade modellerna ungefär jämförbar bildkvalitet enligt vanliga mått.
Totalt undersöktes 24 ensembler tränade på sju offentliga bildsamlingar. Datamängderna sträckte sig från 256 bilder till mer än 160 000. För varje genererad bild tog forskarna fram ett slags ”kontrafaktiskt universum”: versioner av resultatet där varje möjlig träningsenhet hade tagits bort en i taget.
Den största skillnaden mellan originalbilden och någon av dessa alternativa versioner kallades kontrafaktisk radie. Måttet beskriver den maximala kausala effekt som ett borttaget träningsobjekt hade på resultatet.
Effekten minskar när datamängden växer
Forskarna såg att den kontrafaktiska radien sjönk när datamängderna blev större. Att ta bort en enda bild gjorde alltså allt oftare liten eller ingen märkbar skillnad för det genererade resultatet.
Vid tillräckligt stora datamängder kunde samma sak gälla större grupper. Att ta bort en viss konstnärs hela bildproduktion, eller alla fotografier som föreställde en viss person, behövde inte heller förändra den genererade bilden på ett tydligt sätt.
I den mening som studien mäter innebär det att materialet inte kan tillskrivas ett visst utdata. Om resultatet förblir oförändrat när en träningsenhet tas bort, kan den inte ges kausalt ansvar för just det resultatet enligt forskarnas mått.
Vad kan det betyda för upphovsrätten?
Resultatet kan göra en viss typ av argumentation svårare i rättstvister mot bildmodellföretag, exempelvis när en kärande vill hävda att ett specifikt resultat orsakades av en namngiven konstnärs verk eller av kopior av konstnärens stil. Om en konstnärs hela bildkorpus tas bort utan att resultatet förändras kan det bli svårt att bevisa ett direkt, specifikt orsakssamband mellan materialet och just den bilden.
Studien avgör däremot inte sådana tvister och skapar ingen juridisk regel. Upphovsrättsmål kan också handla om otillåten kopiering under träningen, väsentlig likhet mellan ett visst resultat och ett skyddat verk, tillgång till materialet, marknadsskada, avtalsvillkor och andra frågor.
Viktiga begränsningar
Det är inte ett bevis på att modeller inte memorerar material. En bild kan sakna mätbar påverkan enligt borttagningstestet, samtidigt som modellen ändå har memorerat information, kan återskapa materialet med vissa uppmaningar eller samplingförhållanden eller genererar något som är väsentligt likt ett skyddat verk. Studien mäter känsligheten för att ta bort träningsenheter – inte alla former av memorering eller intrång.
Resultatet gäller inte automatiskt stora språkmodeller. Studien handlar specifikt om diffusionsmodeller, som används för att skapa bilder och annat audiovisuellt innehåll. Att metoden fungerar där innebär inte att samma empiriska skalningseffekt har visats för transformerbaserade stora språkmodeller.
Attributionsförfall ersätter inte annan bevisning. Domstolar och tekniska utredare skulle fortfarande kunna behöva analysera reproduktion efter specifika uppmaningar, likhet och proveniens, träningsdata, systemloggar, modellrevisioner och tillämplig lagstiftning.
Studien säger alltså inte att kopiering aldrig kan bevisas. Den visar snarare att en enkel förklaring där ett specifikt verk ensamt orsakar ett visst AI-resultat kan bli svårare att belägga när modellen tränas på mycket stora datamängder.
news.mit.edu
Artificial intelligence | Massachusetts Institute of Technology