Hvad fandt MIT-forskerne om »attributionsforfald« i AI-billedgeneratorer?
Zheng Dai og David Gifford fandt »attributionsforfald«: Når en diffusionsmodel trænes på mere data, kan ét bestemt træningsbilledes kausale betydning for et output blive så lille, at den ikke længere kan måles. Resultatet betyder ikke, at træningsbillederne aldrig blev brugt, lagret eller kan genskabes under andre f...
Zheng Dai og David Gifford fandt »attributionsforfald«: Når en diffusionsmodel trænes på mere data, kan ét bestemt træningsbilledes kausale betydning for et output blive så lille, at den ikke længere kan måles.
Resultatet betyder ikke, at træningsbillederne aldrig blev brugt, lagret eller kan genskabes under andre forhold.
Forskerne byggede et ensemble af diffusionsmodeller, hvor hver delmodel kun så en kontrolleret del af træningsdatasættet.
Ved at deaktivere alle delmodeller, der havde set et bestemt billede, kunne de teste et præcist kontrafaktisk spørgsmål: Hvordan ville outputtet se ud, hvis billedet ikke havde været med i træningen?
What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusionAI-generated editorial hero image for What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion. Article summary: Dai and Gifford found “attribution decay”: as a diffusion image generator is trained on more data, the causal effect of any one training item on a particular generated image can shrink until it is too small to detect.. Topic tags: general web, ai safety, openai, chatgpt, llm. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wit
openai.com
Zheng Dai og David Gifford fra MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL) identificerede et fænomen, de kalder »attributionsforfald«. Jo mere data en diffusionsbaseret billedgenerator trænes på, desto mindre bliver det enkelte træningseksempels kausale betydning for et bestemt genereret billede. Til sidst kan påvirkningen blive så lille, at den ikke længere kan registreres.
Det er vigtigt at skelne mellem manglende attribution og manglende brug af data. Studiet viser ikke, at et træningsbillede aldrig blev brugt, ikke findes i modellens læring, eller ikke under bestemte prompts og samplingforhold kan genskabes. Resultatet handler specifikt om, hvorvidt et bestemt træningselement kan siges at have forårsaget et bestemt output under forskernes målemetode.
Sådan testede forskerne effekten
I stedet for at forsøge at beregne et billedes indflydelse med traditionelle tilnærmelser byggede forskerne et diffusionsensemble. Det bestod af uafhængigt trænede modelkomponenter, som hver især fik en kontrolleret del af træningsdataene.
Det gjorde det muligt at undersøge et præcist kontrafaktisk spørgsmål: »Hvordan ville dette billede være blevet genereret, hvis et bestemt træningsbillede ikke havde været med?« I stedet for at genoptræne én stor, samlet model deaktiverede forskerne alle de komponenter, der havde set det pågældende billede.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Hvad fandt MIT-forskerne om »attributionsforfald« i AI-billedgeneratorer?"?
Zheng Dai og David Gifford fandt »attributionsforfald«: Når en diffusionsmodel trænes på mere data, kan ét bestemt træningsbilledes kausale betydning for et output blive så lille, at den ikke længere kan måles.
What are the key points to validate first?
Zheng Dai og David Gifford fandt »attributionsforfald«: Når en diffusionsmodel trænes på mere data, kan ét bestemt træningsbilledes kausale betydning for et output blive så lille, at den ikke længere kan måles. Resultatet betyder ikke, at træningsbillederne aldrig blev brugt, lagret eller kan genskabes under andre forhold.
What should I do next in practice?
Forskerne byggede et ensemble af diffusionsmodeller, hvor hver delmodel kun så en kontrolleret del af træningsdatasættet.
Hvad fandt MIT-forskerne om »attributionsforfald« i AI-billedgeneratorer?
Zheng Dai og David Gifford fandt »attributionsforfald«: Når en diffusionsmodel trænes på mere data, kan ét bestemt træningsbilledes kausale betydning for et output blive så lille, at den ikke længere kan måles. Resultatet betyder ikke, at træningsbillederne aldrig blev brugt, lagret eller kan genskabes under andre f...
Zheng Dai og David Gifford fandt »attributionsforfald«: Når en diffusionsmodel trænes på mere data, kan ét bestemt træningsbilledes kausale betydning for et output blive så lille, at den ikke længere kan måles.
Resultatet betyder ikke, at træningsbillederne aldrig blev brugt, lagret eller kan genskabes under andre forhold.
Forskerne byggede et ensemble af diffusionsmodeller, hvor hver delmodel kun så en kontrolleret del af træningsdatasættet.
Ved at deaktivere alle delmodeller, der havde set et bestemt billede, kunne de teste et præcist kontrafaktisk spørgsmål: Hvordan ville outputtet se ud, hvis billedet ikke havde været med i træningen?
What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusionAI-generated editorial hero image for What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion. Article summary: Dai and Gifford found “attribution decay”: as a diffusion image generator is trained on more data, the causal effect of any one training item on a particular generated image can shrink until it is too small to detect.. Topic tags: general web, ai safety, openai, chatgpt, llm. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wit
openai.com
Zheng Dai og David Gifford fra MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL) identificerede et fænomen, de kalder »attributionsforfald«. Jo mere data en diffusionsbaseret billedgenerator trænes på, desto mindre bliver det enkelte træningseksempels kausale betydning for et bestemt genereret billede. Til sidst kan påvirkningen blive så lille, at den ikke længere kan registreres.
Det er vigtigt at skelne mellem manglende attribution og manglende brug af data. Studiet viser ikke, at et træningsbillede aldrig blev brugt, ikke findes i modellens læring, eller ikke under bestemte prompts og samplingforhold kan genskabes. Resultatet handler specifikt om, hvorvidt et bestemt træningselement kan siges at have forårsaget et bestemt output under forskernes målemetode.
Sådan testede forskerne effekten
I stedet for at forsøge at beregne et billedes indflydelse med traditionelle tilnærmelser byggede forskerne et diffusionsensemble. Det bestod af uafhængigt trænede modelkomponenter, som hver især fik en kontrolleret del af træningsdataene.
Det gjorde det muligt at undersøge et præcist kontrafaktisk spørgsmål: »Hvordan ville dette billede være blevet genereret, hvis et bestemt træningsbillede ikke havde været med?« I stedet for at genoptræne én stor, samlet model deaktiverede forskerne alle de komponenter, der havde set det pågældende billede.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Hvad fandt MIT-forskerne om »attributionsforfald« i AI-billedgeneratorer?"?
Zheng Dai og David Gifford fandt »attributionsforfald«: Når en diffusionsmodel trænes på mere data, kan ét bestemt træningsbilledes kausale betydning for et output blive så lille, at den ikke længere kan måles.
What are the key points to validate first?
Zheng Dai og David Gifford fandt »attributionsforfald«: Når en diffusionsmodel trænes på mere data, kan ét bestemt træningsbilledes kausale betydning for et output blive så lille, at den ikke længere kan måles. Resultatet betyder ikke, at træningsbillederne aldrig blev brugt, lagret eller kan genskabes under andre forhold.
What should I do next in practice?
Forskerne byggede et ensemble af diffusionsmodeller, hvor hver delmodel kun så en kontrolleret del af træningsdatasættet.
Forskerne sammenlignede også ensemblet med 24 konventionelle diffusionsmodeller, der var trænet på de samme data. Modellerne havde omtrent sammenlignelig billedkvalitet efter almindelige standardmål.
I alt arbejdede de med 24 ensembler trænet på syv offentlige billedsamlinger. Datasættene spændte fra 256 til over 160.000 billeder. For hvert output skabte forskerne et »kontrafaktisk univers«: en række versioner, hvor ét muligt træningselement ad gangen var fjernet. Den største forskel mellem det oprindelige output og versionerne uden det pågældende element blev kaldt den kontrafaktiske radius – et mål for den maksimale kausale effekt af ét træningselement.
Hvad betyder »attributionsforfald«?
Når datasættene blev større, faldt den kontrafaktiske radius. At fjerne ét enkelt billede gjorde altså i stigende grad ingen eller kun meget lille forskel for det genererede output.
Ved tilstrækkeligt store datasæt gjaldt det ikke kun for ét bestemt billede. Forskerne fandt også, at man i nogle tilfælde kunne fjerne alle billeder fra en bestemt kunstner eller alle fotografier af en bestemt person uden at ændre det genererede billede mærkbart.
Det er et resultat om ikke-attribution i den kontrafaktiske betydning, forskerne testede. Hvis et output ikke ændrer sig, når et bestemt træningselement fjernes, kan elementet ikke tildeles kausalt ansvar for outputtet efter denne definition.
Hvad kan det betyde for ophavsret?
Resultatet kan gøre én bestemt type argumentation vanskeligere i ophavsretssager mod billedmodelvirksomheder som Midjourney, OpenAI eller Microsoft. Det gælder især sager, hvor en rettighedshaver skal vise, at et konkret output blev forårsaget af en navngiven kunstners værker eller af kopier af kunstnerens stil. Hvis en hel kunstners værkproduktion kan fjernes uden en mærkbar ændring af outputtet, kan det være svært at bevise et direkte, output-specifikt kausalt bidrag.
Studiet afgør dog ikke sådanne sager og opstiller ingen juridisk regel. Ophavsretlige tvister kan også handle om uautoriseret kopiering under træningen, væsentlig lighed mellem et bestemt output og et beskyttet værk, adgang til materialet, markedsskade, aftalevilkår og andre forhold. De spørgsmål kan ikke afgøres alene ved at undersøge, om ét træningsbillede var nødvendigt for ét bestemt output.
Tre vigtige begrænsninger
Det er ikke et bevis på, at modeller ikke memorerer materiale. Et output kan være uden påviselig attribution til ét bestemt træningselement, samtidig med at modellen har memoreret materiale, kan genskabe det ved bestemte prompts eller samplingforhold eller producerer et output, der minder væsentligt om et beskyttet værk. Studiet måler følsomheden over for at fjerne træningsenheder – ikke alle former for memorering eller krænkelse.
Resultatet gælder ikke automatisk for store sprogmodeller. Undersøgelsen handler om diffusionsmodeller, som blandt andet bruges til billedgenerering. Forskerne har dermed ikke demonstreret, at samme ensemble- og ablationsteknik eller samme skaleringseffekt gælder for transformerbaserede store sprogmodeller.
Metoden erstatter ikke anden dokumentation. Domstole og tekniske undersøgelser vil stadig kunne have brug for reproduktionstest med prompts, analyser af lighed og oprindelse, oplysninger om træningsdata og systemlogfiler, modelrevisioner samt en konkret juridisk vurdering. Attributionsforfald viser, at en enkel fortælling om én kildes direkte årsagssammenhæng kan bryde sammen i stor skala. Det viser ikke, at kopiering aldrig kan bevises med andre former for evidens.
news.mit.edu
Artificial intelligence | Massachusetts Institute of Technology
Forskerne sammenlignede også ensemblet med 24 konventionelle diffusionsmodeller, der var trænet på de samme data. Modellerne havde omtrent sammenlignelig billedkvalitet efter almindelige standardmål.
I alt arbejdede de med 24 ensembler trænet på syv offentlige billedsamlinger. Datasættene spændte fra 256 til over 160.000 billeder. For hvert output skabte forskerne et »kontrafaktisk univers«: en række versioner, hvor ét muligt træningselement ad gangen var fjernet. Den største forskel mellem det oprindelige output og versionerne uden det pågældende element blev kaldt den kontrafaktiske radius – et mål for den maksimale kausale effekt af ét træningselement.
Hvad betyder »attributionsforfald«?
Når datasættene blev større, faldt den kontrafaktiske radius. At fjerne ét enkelt billede gjorde altså i stigende grad ingen eller kun meget lille forskel for det genererede output.
Ved tilstrækkeligt store datasæt gjaldt det ikke kun for ét bestemt billede. Forskerne fandt også, at man i nogle tilfælde kunne fjerne alle billeder fra en bestemt kunstner eller alle fotografier af en bestemt person uden at ændre det genererede billede mærkbart.
Det er et resultat om ikke-attribution i den kontrafaktiske betydning, forskerne testede. Hvis et output ikke ændrer sig, når et bestemt træningselement fjernes, kan elementet ikke tildeles kausalt ansvar for outputtet efter denne definition.
Hvad kan det betyde for ophavsret?
Resultatet kan gøre én bestemt type argumentation vanskeligere i ophavsretssager mod billedmodelvirksomheder som Midjourney, OpenAI eller Microsoft. Det gælder især sager, hvor en rettighedshaver skal vise, at et konkret output blev forårsaget af en navngiven kunstners værker eller af kopier af kunstnerens stil. Hvis en hel kunstners værkproduktion kan fjernes uden en mærkbar ændring af outputtet, kan det være svært at bevise et direkte, output-specifikt kausalt bidrag.
Studiet afgør dog ikke sådanne sager og opstiller ingen juridisk regel. Ophavsretlige tvister kan også handle om uautoriseret kopiering under træningen, væsentlig lighed mellem et bestemt output og et beskyttet værk, adgang til materialet, markedsskade, aftalevilkår og andre forhold. De spørgsmål kan ikke afgøres alene ved at undersøge, om ét træningsbillede var nødvendigt for ét bestemt output.
Tre vigtige begrænsninger
Det er ikke et bevis på, at modeller ikke memorerer materiale. Et output kan være uden påviselig attribution til ét bestemt træningselement, samtidig med at modellen har memoreret materiale, kan genskabe det ved bestemte prompts eller samplingforhold eller producerer et output, der minder væsentligt om et beskyttet værk. Studiet måler følsomheden over for at fjerne træningsenheder – ikke alle former for memorering eller krænkelse.
Resultatet gælder ikke automatisk for store sprogmodeller. Undersøgelsen handler om diffusionsmodeller, som blandt andet bruges til billedgenerering. Forskerne har dermed ikke demonstreret, at samme ensemble- og ablationsteknik eller samme skaleringseffekt gælder for transformerbaserede store sprogmodeller.
Metoden erstatter ikke anden dokumentation. Domstole og tekniske undersøgelser vil stadig kunne have brug for reproduktionstest med prompts, analyser af lighed og oprindelse, oplysninger om træningsdata og systemlogfiler, modelrevisioner samt en konkret juridisk vurdering. Attributionsforfald viser, at en enkel fortælling om én kildes direkte årsagssammenhæng kan bryde sammen i stor skala. Det viser ikke, at kopiering aldrig kan bevises med andre former for evidens.
news.mit.edu
Artificial intelligence | Massachusetts Institute of Technology