Дослідження MIT: зі зростанням датасету дедалі важче визначити, яке зображення вплинуло на результат ШІ
Дослідники виявили «згасання атрибуції»: що більше даних використовує дифузійний генератор, то меншим стає причинний вплив окремого навчального зображення на конкретний результат. Для перевірки вони створили ансамбль незалежно навчених компонентів, кожен із яких бачив лише контрольовану частину датасету.
ОпублікувавЗображення створено за допомогою GPT Image 1.5
Дослідники виявили «згасання атрибуції»: що більше даних використовує дифузійний генератор, то меншим стає причинний вплив окремого навчального зображення на конкретний результат.
Для перевірки вони створили ансамбль незалежно навчених компонентів, кожен із яких бачив лише контрольовану частину датасету.
Видалення всіх компонентів, які бачили певне зображення, дало точний контрфактичний тест: що змінилося б, якби цього прикладу не було в навчанні.
Експеримент охопив 24 ансамблі, сім публічних наборів даних і датасети від 256 до понад 160 000 зображень.
What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusionAI-generated editorial hero image for What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion. Article summary: Dai and Gifford found “attribution decay”: as a diffusion image generator is trained on more data, the causal effect of any one training item on a particular generated image can shrink until it is too small to detect.. Topic tags: general web, ai safety, openai, chatgpt, llm. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wit
openai.com
Коротко: зв’язок між даними та результатом може «розчинятися»
Зухід Дай і Девід Ґіффорд із Лабораторії комп’ютерних наук та штучного інтелекту MIT (CSAIL) описали явище, яке назвали згасанням атрибуції (attribution decay). Їхній висновок: коли дифузійний генератор зображень навчають на дедалі більшій кількості даних, причинний вплив будь-якого окремого прикладу на конкретне згенероване зображення може зменшитися настільки, що його вже неможливо надійно виміряти.
Важливо правильно трактувати цей результат. Йдеться про те, чи можна приписати конкретному навчальному прикладу причинний вплив на певний результат. Це не означає, що зображення не використовувалися під час навчання, не зберігалися в параметрах моделі або не могли відтворюватися за певних умов.
Як дослідники перевіряли вплив окремих зображень
Зазвичай, щоб оцінити внесок одного прикладу в роботу великої моделі, використовують наближені статистичні методи. Дай і Ґіффорд натомість побудували ансамбль дифузійних моделей: його незалежно навчені компоненти отримували контрольовані частини навчального набору.
Це дало змогу створювати точний контрфактичний сценарій — фактично відповісти на запитання: «Що сталося б, якби цього зображення не було в навчальних даних?» Для цього дослідники вимикали всі компоненти, які бачили відповідний приклад, замість того щоб щоразу заново навчати єдину монолітну модель.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Дослідження MIT: зі зростанням датасету дедалі важче визначити, яке зображення вплинуло на результат ШІ"?
Дослідники виявили «згасання атрибуції»: що більше даних використовує дифузійний генератор, то меншим стає причинний вплив окремого навчального зображення на конкретний результат.
What are the key points to validate first?
Дослідники виявили «згасання атрибуції»: що більше даних використовує дифузійний генератор, то меншим стає причинний вплив окремого навчального зображення на конкретний результат. Для перевірки вони створили ансамбль незалежно навчених компонентів, кожен із яких бачив лише контрольовану частину датасету.
What should I do next in practice?
Видалення всіх компонентів, які бачили певне зображення, дало точний контрфактичний тест: що змінилося б, якби цього прикладу не було в навчанні.
Дослідження MIT: зі зростанням датасету дедалі важче визначити, яке зображення вплинуло на результат ШІ
Дослідники виявили «згасання атрибуції»: що більше даних використовує дифузійний генератор, то меншим стає причинний вплив окремого навчального зображення на конкретний результат. Для перевірки вони створили ансамбль незалежно навчених компонентів, кожен із яких бачив лише контрольовану частину датасету.
ОпублікувавЗображення створено за допомогою GPT Image 1.5
Дослідники виявили «згасання атрибуції»: що більше даних використовує дифузійний генератор, то меншим стає причинний вплив окремого навчального зображення на конкретний результат.
Для перевірки вони створили ансамбль незалежно навчених компонентів, кожен із яких бачив лише контрольовану частину датасету.
Видалення всіх компонентів, які бачили певне зображення, дало точний контрфактичний тест: що змінилося б, якби цього прикладу не було в навчанні.
Експеримент охопив 24 ансамблі, сім публічних наборів даних і датасети від 256 до понад 160 000 зображень.
What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusionAI-generated editorial hero image for What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion. Article summary: Dai and Gifford found “attribution decay”: as a diffusion image generator is trained on more data, the causal effect of any one training item on a particular generated image can shrink until it is too small to detect.. Topic tags: general web, ai safety, openai, chatgpt, llm. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wit
openai.com
Коротко: зв’язок між даними та результатом може «розчинятися»
Зухід Дай і Девід Ґіффорд із Лабораторії комп’ютерних наук та штучного інтелекту MIT (CSAIL) описали явище, яке назвали згасанням атрибуції (attribution decay). Їхній висновок: коли дифузійний генератор зображень навчають на дедалі більшій кількості даних, причинний вплив будь-якого окремого прикладу на конкретне згенероване зображення може зменшитися настільки, що його вже неможливо надійно виміряти.
Важливо правильно трактувати цей результат. Йдеться про те, чи можна приписати конкретному навчальному прикладу причинний вплив на певний результат. Це не означає, що зображення не використовувалися під час навчання, не зберігалися в параметрах моделі або не могли відтворюватися за певних умов.
Як дослідники перевіряли вплив окремих зображень
Зазвичай, щоб оцінити внесок одного прикладу в роботу великої моделі, використовують наближені статистичні методи. Дай і Ґіффорд натомість побудували ансамбль дифузійних моделей: його незалежно навчені компоненти отримували контрольовані частини навчального набору.
Це дало змогу створювати точний контрфактичний сценарій — фактично відповісти на запитання: «Що сталося б, якби цього зображення не було в навчальних даних?» Для цього дослідники вимикали всі компоненти, які бачили відповідний приклад, замість того щоб щоразу заново навчати єдину монолітну модель.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Дослідження MIT: зі зростанням датасету дедалі важче визначити, яке зображення вплинуло на результат ШІ"?
Дослідники виявили «згасання атрибуції»: що більше даних використовує дифузійний генератор, то меншим стає причинний вплив окремого навчального зображення на конкретний результат.
What are the key points to validate first?
Дослідники виявили «згасання атрибуції»: що більше даних використовує дифузійний генератор, то меншим стає причинний вплив окремого навчального зображення на конкретний результат. Для перевірки вони створили ансамбль незалежно навчених компонентів, кожен із яких бачив лише контрольовану частину датасету.
What should I do next in practice?
Видалення всіх компонентів, які бачили певне зображення, дало точний контрфактичний тест: що змінилося б, якби цього прикладу не було в навчанні.
Команді також потрібно було перевірити, чи не погіршила така архітектура якість генерації. Ансамбль порівняли з 24 звичайними дифузійними моделями, навченими на тих самих даних; за стандартними показниками якості зображень результати були приблизно співставними.
Загалом дослідники протестували 24 ансамблі на семи публічних наборах зображень. Розмір датасетів коливався від 256 до понад 160 000 зображень. Для кожного результату вони створювали своєрідний «контрфактичний всесвіт» — версії цього результату після вилучення кожної потенційно важливої навчальної одиниці.
Максимальну відмінність між початковим результатом і версіями після вилучення назвали контрфактичним радіусом. Він слугував мірою найбільшого причинного ефекту, який мав один вилучений приклад.
Що показало «згасання атрибуції»
У міру збільшення датасету контрфактичний радіус зменшувався. Іншими словами, вилучення одного зображення дедалі рідше спричиняло помітну зміну конкретного результату.
За достатньо великого масштабу те саме могло стосуватися не лише одного зображення. Дослідники повідомили, що вилучення всіх робіт певного художника або всіх фотографій із конкретною людиною також часто не давало відчутної зміни згенерованого зразка.
У межах запропонованої методики це означає: якщо після вилучення певної навчальної одиниці результат не змінюється, їй не можна приписати причинну відповідальність за цей результат.
Чому це важливо для суперечок про авторське право
Такий результат може ускладнити одну з можливих теорій позову проти компаній, що створюють генератори зображень, зокрема Midjourney, OpenAI чи Microsoft. Якщо позивач стверджує, що конкретний результат був спричинений роботами названого художника або копіюванням його стилю, йому може бути складніше довести прямий причинний внесок, коли вилучення всього корпусу цього автора практично не змінює результат.
Однак дослідження не вирішує авторсько-правових спорів і не встановлює юридичного правила. У таких справах можуть мати значення:
несанкціоноване копіювання під час навчання моделі;
істотна схожість конкретного результату з захищеним твором;
доступ моделі до відповідних матеріалів;
шкода ринку або конкуренція з автором;
умови договорів та інші обставини.
Усі ці питання ширші за перевірку того, чи був один конкретний файл необхідним для створення одного зображення.
Чого дослідження не доводить
Це не доказ відсутності запам’ятовування. Результат може не мати атрибутованого причинного зв’язку з жодним окремим навчальним зображенням за цим тестом, але модель водночас могла запам’ятати певний матеріал, відтворювати його за конкретних запитів або налаштувань генерації чи створювати результат, істотно схожий на захищений твір. Стаття перевіряє чутливість результату до вилучення навчальних одиниць, а не всі форми запам’ятовування чи можливого порушення прав.
Це не результат про великі мовні моделі. Робота стосується дифузійних моделей, які генерують зображення та інші медіаматеріали. Тому запропонований ансамблевий підхід і виявлена закономірність масштабування ще не були автоматично доведені для трансформерних великих мовних моделей.
Це не заміна іншим доказам. Для технічного й юридичного аналізу все одно можуть знадобитися тести відтворення за конкретними запитами, аналіз схожості та походження матеріалів, записи про навчальні дані й роботу системи, аудит моделі та оцінка за чинним законодавством.
Отже, «згасання атрибуції» показує, що на великому масштабі може не спрацювати проста історія про єдине джерело: «саме цей файл спричинив саме цей результат». Але це не означає, що копіювання або порушення авторського права неможливо довести іншими доказами.
news.mit.edu
Artificial intelligence | Massachusetts Institute of Technology
Команді також потрібно було перевірити, чи не погіршила така архітектура якість генерації. Ансамбль порівняли з 24 звичайними дифузійними моделями, навченими на тих самих даних; за стандартними показниками якості зображень результати були приблизно співставними.
Загалом дослідники протестували 24 ансамблі на семи публічних наборах зображень. Розмір датасетів коливався від 256 до понад 160 000 зображень. Для кожного результату вони створювали своєрідний «контрфактичний всесвіт» — версії цього результату після вилучення кожної потенційно важливої навчальної одиниці.
Максимальну відмінність між початковим результатом і версіями після вилучення назвали контрфактичним радіусом. Він слугував мірою найбільшого причинного ефекту, який мав один вилучений приклад.
Що показало «згасання атрибуції»
У міру збільшення датасету контрфактичний радіус зменшувався. Іншими словами, вилучення одного зображення дедалі рідше спричиняло помітну зміну конкретного результату.
За достатньо великого масштабу те саме могло стосуватися не лише одного зображення. Дослідники повідомили, що вилучення всіх робіт певного художника або всіх фотографій із конкретною людиною також часто не давало відчутної зміни згенерованого зразка.
У межах запропонованої методики це означає: якщо після вилучення певної навчальної одиниці результат не змінюється, їй не можна приписати причинну відповідальність за цей результат.
Чому це важливо для суперечок про авторське право
Такий результат може ускладнити одну з можливих теорій позову проти компаній, що створюють генератори зображень, зокрема Midjourney, OpenAI чи Microsoft. Якщо позивач стверджує, що конкретний результат був спричинений роботами названого художника або копіюванням його стилю, йому може бути складніше довести прямий причинний внесок, коли вилучення всього корпусу цього автора практично не змінює результат.
Однак дослідження не вирішує авторсько-правових спорів і не встановлює юридичного правила. У таких справах можуть мати значення:
несанкціоноване копіювання під час навчання моделі;
істотна схожість конкретного результату з захищеним твором;
доступ моделі до відповідних матеріалів;
шкода ринку або конкуренція з автором;
умови договорів та інші обставини.
Усі ці питання ширші за перевірку того, чи був один конкретний файл необхідним для створення одного зображення.
Чого дослідження не доводить
Це не доказ відсутності запам’ятовування. Результат може не мати атрибутованого причинного зв’язку з жодним окремим навчальним зображенням за цим тестом, але модель водночас могла запам’ятати певний матеріал, відтворювати його за конкретних запитів або налаштувань генерації чи створювати результат, істотно схожий на захищений твір. Стаття перевіряє чутливість результату до вилучення навчальних одиниць, а не всі форми запам’ятовування чи можливого порушення прав.
Це не результат про великі мовні моделі. Робота стосується дифузійних моделей, які генерують зображення та інші медіаматеріали. Тому запропонований ансамблевий підхід і виявлена закономірність масштабування ще не були автоматично доведені для трансформерних великих мовних моделей.
Це не заміна іншим доказам. Для технічного й юридичного аналізу все одно можуть знадобитися тести відтворення за конкретними запитами, аналіз схожості та походження матеріалів, записи про навчальні дані й роботу системи, аудит моделі та оцінка за чинним законодавством.
Отже, «згасання атрибуції» показує, що на великому масштабі може не спрацювати проста історія про єдине джерело: «саме цей файл спричинив саме цей результат». Але це не означає, що копіювання або порушення авторського права неможливо довести іншими доказами.
news.mit.edu
Artificial intelligence | Massachusetts Institute of Technology