Quando l’AI dimentica l’origine: lo studio del MIT sull’«attribution decay»
Lo studio di Zheng Dai e David Gifford identifica un fenomeno chiamato «attribution decay»: più cresce il dataset, meno una singola immagine tende a influenzare causalmente una specifica immagine generata. Il risultato riguarda l’influenza attribuibile su un’uscita, non dimostra che le immagini di addestramento non...
Lo studio di Zheng Dai e David Gifford identifica un fenomeno chiamato «attribution decay»: più cresce il dataset, meno una singola immagine tende a influenzare causalmente una specifica immagine generata.
Il risultato riguarda l’influenza attribuibile su un’uscita, non dimostra che le immagini di addestramento non siano mai state usate, memorizzate o riprodotte.
I ricercatori hanno creato un ensemble di modelli a diffusione, ciascuno addestrato su una porzione controllata dei dati, per simulare con precisione cosa sarebbe successo senza una determinata immagine.
L’esperimento ha confrontato l’ensemble con 24 modelli convenzionali e ha analizzato 24 ensemble addestrati su sette raccolte pubbliche, con dataset da 256 a oltre 160.000 immagini.
What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusionAI-generated editorial hero image for What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion. Article summary: Dai and Gifford found “attribution decay”: as a diffusion image generator is trained on more data, the causal effect of any one training item on a particular generated image can shrink until it is too small to detect.. Topic tags: general web, ai safety, openai, chatgpt, llm. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wit
openai.com
La scoperta: l’influenza di una singola immagine può dissolversi
Zheng Dai e David Gifford, ricercatori del MIT Computer Science and Artificial Intelligence Laboratory (CSAIL), hanno individuato un fenomeno che chiamano «attribution decay», o decadimento dell’attribuzione. Nei generatori di immagini basati sulla diffusione, quando il modello viene addestrato su quantità crescenti di dati, l’effetto causale di ogni singolo elemento del training set su una specifica immagine generata può ridursi fino a diventare troppo piccolo per essere rilevato.
Il punto è importante: i ricercatori non sostengono che l’immagine non sia mai stata usata dal modello. Il loro risultato indica piuttosto che, in quel test controfattuale, non è possibile attribuirle una responsabilità causale apprezzabile per quell’output.
Come hanno testato l’effetto della rimozione
Stimare l’influenza di un’immagine con le tecniche convenzionali può essere difficile, soprattutto per modelli di grandi dimensioni. Per questo il gruppo ha costruito un ensemble di modelli a diffusione: componenti addestrati separatamente, ciascuno esposto a una porzione controllata del dataset.
Per rispondere alla domanda «che cosa sarebbe successo se questa immagine non fosse stata inclusa nell’addestramento?», i ricercatori hanno disattivato tutti i componenti che avevano visto quell’elemento. In questo modo hanno ottenuto un controfattuale esatto senza dover riaddestrare ogni volta un unico modello monolitico.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Quando l’AI dimentica l’origine: lo studio del MIT sull’«attribution decay»"?
Lo studio di Zheng Dai e David Gifford identifica un fenomeno chiamato «attribution decay»: più cresce il dataset, meno una singola immagine tende a influenzare causalmente una specifica immagine generata.
What are the key points to validate first?
Lo studio di Zheng Dai e David Gifford identifica un fenomeno chiamato «attribution decay»: più cresce il dataset, meno una singola immagine tende a influenzare causalmente una specifica immagine generata. Il risultato riguarda l’influenza attribuibile su un’uscita, non dimostra che le immagini di addestramento non siano mai state usate, memorizzate o riprodotte.
What should I do next in practice?
I ricercatori hanno creato un ensemble di modelli a diffusione, ciascuno addestrato su una porzione controllata dei dati, per simulare con precisione cosa sarebbe successo senza una determinata immagine.
Quando l’AI dimentica l’origine: lo studio del MIT sull’«attribution decay»
Lo studio di Zheng Dai e David Gifford identifica un fenomeno chiamato «attribution decay»: più cresce il dataset, meno una singola immagine tende a influenzare causalmente una specifica immagine generata. Il risultato riguarda l’influenza attribuibile su un’uscita, non dimostra che le immagini di addestramento non...
Lo studio di Zheng Dai e David Gifford identifica un fenomeno chiamato «attribution decay»: più cresce il dataset, meno una singola immagine tende a influenzare causalmente una specifica immagine generata.
Il risultato riguarda l’influenza attribuibile su un’uscita, non dimostra che le immagini di addestramento non siano mai state usate, memorizzate o riprodotte.
I ricercatori hanno creato un ensemble di modelli a diffusione, ciascuno addestrato su una porzione controllata dei dati, per simulare con precisione cosa sarebbe successo senza una determinata immagine.
L’esperimento ha confrontato l’ensemble con 24 modelli convenzionali e ha analizzato 24 ensemble addestrati su sette raccolte pubbliche, con dataset da 256 a oltre 160.000 immagini.
What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusionAI-generated editorial hero image for What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion. Article summary: Dai and Gifford found “attribution decay”: as a diffusion image generator is trained on more data, the causal effect of any one training item on a particular generated image can shrink until it is too small to detect.. Topic tags: general web, ai safety, openai, chatgpt, llm. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wit
openai.com
La scoperta: l’influenza di una singola immagine può dissolversi
Zheng Dai e David Gifford, ricercatori del MIT Computer Science and Artificial Intelligence Laboratory (CSAIL), hanno individuato un fenomeno che chiamano «attribution decay», o decadimento dell’attribuzione. Nei generatori di immagini basati sulla diffusione, quando il modello viene addestrato su quantità crescenti di dati, l’effetto causale di ogni singolo elemento del training set su una specifica immagine generata può ridursi fino a diventare troppo piccolo per essere rilevato.
Il punto è importante: i ricercatori non sostengono che l’immagine non sia mai stata usata dal modello. Il loro risultato indica piuttosto che, in quel test controfattuale, non è possibile attribuirle una responsabilità causale apprezzabile per quell’output.
Come hanno testato l’effetto della rimozione
Stimare l’influenza di un’immagine con le tecniche convenzionali può essere difficile, soprattutto per modelli di grandi dimensioni. Per questo il gruppo ha costruito un ensemble di modelli a diffusione: componenti addestrati separatamente, ciascuno esposto a una porzione controllata del dataset.
Per rispondere alla domanda «che cosa sarebbe successo se questa immagine non fosse stata inclusa nell’addestramento?», i ricercatori hanno disattivato tutti i componenti che avevano visto quell’elemento. In questo modo hanno ottenuto un controfattuale esatto senza dover riaddestrare ogni volta un unico modello monolitico.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Quando l’AI dimentica l’origine: lo studio del MIT sull’«attribution decay»"?
Lo studio di Zheng Dai e David Gifford identifica un fenomeno chiamato «attribution decay»: più cresce il dataset, meno una singola immagine tende a influenzare causalmente una specifica immagine generata.
What are the key points to validate first?
Lo studio di Zheng Dai e David Gifford identifica un fenomeno chiamato «attribution decay»: più cresce il dataset, meno una singola immagine tende a influenzare causalmente una specifica immagine generata. Il risultato riguarda l’influenza attribuibile su un’uscita, non dimostra che le immagini di addestramento non siano mai state usate, memorizzate o riprodotte.
What should I do next in practice?
I ricercatori hanno creato un ensemble di modelli a diffusione, ciascuno addestrato su una porzione controllata dei dati, per simulare con precisione cosa sarebbe successo senza una determinata immagine.
Il metodo è stato confrontato con 24 modelli convenzionali a diffusione addestrati sugli stessi dati: le prestazioni sulle normali metriche di qualità delle immagini sono risultate sostanzialmente comparabili.
Nel complesso, il team ha studiato 24 ensemble costruiti con sette raccolte pubbliche di immagini, con dataset che andavano da 256 a oltre 160.000 immagini. Per ogni caso ha generato un’immagine originale e un’intera «universo controfattuale»: versioni ottenute omettendo, una alla volta, le diverse unità candidate del training set. La massima differenza rispetto all’immagine iniziale è stata definita raggio controfattuale, una misura dell’effetto causale massimo prodotto dalla rimozione di una singola unità.
Che cosa significa «attribution decay»
Con l’aumentare delle dimensioni del dataset, il raggio controfattuale diminuiva. In altre parole, eliminare una sola immagine tendeva a produrre differenze sempre più piccole, fino a non generare alcun cambiamento apprezzabile nell’output.
A scale sufficientemente grandi, lo stesso fenomeno poteva riguardare non soltanto una singola immagine, ma intere categorie: per esempio tutte le opere di un artista o tutte le fotografie che ritraggono una certa persona. Anche rimuovere l’intero gruppo poteva lasciare l’immagine generata sostanzialmente invariata.
Nel linguaggio dello studio, si tratta di una non-attribuzione nel senso controfattuale testato. Se la rimozione di una determinata unità non modifica l’output, a quella unità non può essere assegnata la responsabilità causale di quell’output secondo la misura adottata dai ricercatori.
Le possibili conseguenze per il copyright
Il risultato potrebbe rendere più difficile sostenere, in alcune controversie, una teoria dell’infrazione basata sull’idea che un’uscita specifica sia stata causata direttamente dalle opere di un artista identificato o dalla copia del suo stile. Se anche l’intero corpus dell’artista può essere rimosso senza alterare in modo significativo l’output, dimostrare un contributo causale diretto e specifico diventa più complesso.
Questo, però, non decide le cause legali e non introduce una regola sul copyright. Una controversia può riguardare anche la copia non autorizzata durante l’addestramento, la sostanziale somiglianza tra un’immagine generata e un’opera protetta, l’accesso ai materiali, il danno al mercato, i termini contrattuali o altri elementi che non dipendono dal fatto che una singola immagine fosse indispensabile per una specifica generazione.
I limiti da tenere presenti
Non significa che il modello non memorizzi: un’immagine può risultare non attribuibile a un singolo elemento secondo questo test di rimozione, mentre il modello può comunque aver memorizzato del materiale, riprodurlo con determinati prompt o condizioni di campionamento, oppure generare un risultato sostanzialmente simile a un’opera protetta. Lo studio misura la sensibilità causale alla rimozione di unità, non ogni forma di memorizzazione o di possibile violazione.
Non è una conclusione sui grandi modelli linguistici: la ricerca riguarda specificamente i modelli a diffusione, usati per generare contenuti audiovisivi. Il metodo dell’ensemble e il risultato empirico sulla scala dei dati non sono stati dimostrati, per questo solo fatto, nei modelli linguistici di grandi dimensioni basati su Transformer.
Non sostituisce le altre prove: analisi legali e tecniche dovrebbero comunque considerare test di riproduzione basati sui prompt, confronto della somiglianza, analisi della provenienza, documentazione sui dati e sui sistemi di addestramento e verifiche del modello. L’attribution decay suggerisce che una spiegazione causale riconducibile a un’unica fonte può indebolirsi con la scala; non dimostra che la copia non possa essere provata attraverso altri elementi.
news.mit.edu
Artificial intelligence | Massachusetts Institute of Technology
Il metodo è stato confrontato con 24 modelli convenzionali a diffusione addestrati sugli stessi dati: le prestazioni sulle normali metriche di qualità delle immagini sono risultate sostanzialmente comparabili.
Nel complesso, il team ha studiato 24 ensemble costruiti con sette raccolte pubbliche di immagini, con dataset che andavano da 256 a oltre 160.000 immagini. Per ogni caso ha generato un’immagine originale e un’intera «universo controfattuale»: versioni ottenute omettendo, una alla volta, le diverse unità candidate del training set. La massima differenza rispetto all’immagine iniziale è stata definita raggio controfattuale, una misura dell’effetto causale massimo prodotto dalla rimozione di una singola unità.
Che cosa significa «attribution decay»
Con l’aumentare delle dimensioni del dataset, il raggio controfattuale diminuiva. In altre parole, eliminare una sola immagine tendeva a produrre differenze sempre più piccole, fino a non generare alcun cambiamento apprezzabile nell’output.
A scale sufficientemente grandi, lo stesso fenomeno poteva riguardare non soltanto una singola immagine, ma intere categorie: per esempio tutte le opere di un artista o tutte le fotografie che ritraggono una certa persona. Anche rimuovere l’intero gruppo poteva lasciare l’immagine generata sostanzialmente invariata.
Nel linguaggio dello studio, si tratta di una non-attribuzione nel senso controfattuale testato. Se la rimozione di una determinata unità non modifica l’output, a quella unità non può essere assegnata la responsabilità causale di quell’output secondo la misura adottata dai ricercatori.
Le possibili conseguenze per il copyright
Il risultato potrebbe rendere più difficile sostenere, in alcune controversie, una teoria dell’infrazione basata sull’idea che un’uscita specifica sia stata causata direttamente dalle opere di un artista identificato o dalla copia del suo stile. Se anche l’intero corpus dell’artista può essere rimosso senza alterare in modo significativo l’output, dimostrare un contributo causale diretto e specifico diventa più complesso.
Questo, però, non decide le cause legali e non introduce una regola sul copyright. Una controversia può riguardare anche la copia non autorizzata durante l’addestramento, la sostanziale somiglianza tra un’immagine generata e un’opera protetta, l’accesso ai materiali, il danno al mercato, i termini contrattuali o altri elementi che non dipendono dal fatto che una singola immagine fosse indispensabile per una specifica generazione.
I limiti da tenere presenti
Non significa che il modello non memorizzi: un’immagine può risultare non attribuibile a un singolo elemento secondo questo test di rimozione, mentre il modello può comunque aver memorizzato del materiale, riprodurlo con determinati prompt o condizioni di campionamento, oppure generare un risultato sostanzialmente simile a un’opera protetta. Lo studio misura la sensibilità causale alla rimozione di unità, non ogni forma di memorizzazione o di possibile violazione.
Non è una conclusione sui grandi modelli linguistici: la ricerca riguarda specificamente i modelli a diffusione, usati per generare contenuti audiovisivi. Il metodo dell’ensemble e il risultato empirico sulla scala dei dati non sono stati dimostrati, per questo solo fatto, nei modelli linguistici di grandi dimensioni basati su Transformer.
Non sostituisce le altre prove: analisi legali e tecniche dovrebbero comunque considerare test di riproduzione basati sui prompt, confronto della somiglianza, analisi della provenienza, documentazione sui dati e sui sistemi di addestramento e verifiche del modello. L’attribution decay suggerisce che una spiegazione causale riconducibile a un’unica fonte può indebolirsi con la scala; non dimostra che la copia non possa essere provata attraverso altri elementi.
news.mit.edu
Artificial intelligence | Massachusetts Institute of Technology
news.mit.eduWhen AI art has no author: Study finds generated images often can't ...
pmc.ncbi.nlm.nih.govAuthorship Attribution in the Era of LLMs: Problems ... - PMC