«Затухание атрибуции»: почему связь изображения ИИ с отдельными данными обучения исчезает
Исследователи обнаружили «затухание атрибуции»: чем больше данных получает диффузионная модель, тем меньше причинное влияние одного обучающего изображения на конкретный результат. Для проверки они создали ансамбль диффузионных моделей, каждая часть которого обучалась на контролируемом фрагменте набора данных.
ОпубликовалИзображения созданы с помощью GPT Image 1.5
Исследователи обнаружили «затухание атрибуции»: чем больше данных получает диффузионная модель, тем меньше причинное влияние одного обучающего изображения на конкретный результат.
Для проверки они создали ансамбль диффузионных моделей, каждая часть которого обучалась на контролируемом фрагменте набора данных.
Чтобы смоделировать сценарий «что было бы, если бы этого изображения не было в обучении», учёные отключали все компоненты, видевшие соответствующий пример, вместо повторного обучения единой модели.
В 24 ансамблях на семи общедоступных наборах изображений — от 256 до более чем 160 000 файлов — удаление одного изображения всё реже заметно меняло результат.
What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusionAI-generated editorial hero image for What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion.
Промпт ИИ
Create a landscape editorial hero image for this Studio Global article: What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion. Article summary: Dai and Gifford found “attribution decay”: as a diffusion image generator is trained on more data, the causal effect of any one training item on a particular generated image can shrink until it is too small to detect.. Topic tags: general web, ai safety, openai, chatgpt, llm. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wit
openai.com
Исследование Чжэна Дая и Дэвида Гиффорда из лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL), опубликованное в Nature Communications, описывает явление, которое авторы называют «затуханием атрибуции» (attribution decay).
Суть результата в том, что при увеличении обучающего набора причинное влияние отдельного изображения на конкретный результат генерации может уменьшаться настолько, что его становится невозможно обнаружить. Речь идёт именно о влиянии, которое можно приписать определённому примеру, а не о доказательстве того, что изображение никогда не использовалось, не сохранялось моделью или не может быть воспроизведено при других условиях.
Как исследователи проверяли влияние данных
Обычно, чтобы оценить вклад отдельного изображения в работу большой модели, приходится использовать приближённые методы. Дай и Гиффорд предложили другой подход — ансамбль диффузионных моделей.
Вместо одной монолитной модели они независимо обучили несколько компонентов, каждому из которых достался контролируемый фрагмент исходного набора данных. Благодаря этому учёные могли построить точный контрфактический сценарий: «каким был бы результат, если бы конкретного изображения не было в обучении?» Для этого они отключали все компоненты, которые видели данный пример, и затем снова генерировали изображение — без необходимости заново обучать всю модель.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Каков краткий ответ на вопрос ««Затухание атрибуции»: почему связь изображения ИИ с отдельными данными обучения исчезает»?
Исследователи обнаружили «затухание атрибуции»: чем больше данных получает диффузионная модель, тем меньше причинное влияние одного обучающего изображения на конкретный результат.
Какие ключевые моменты необходимо проверить в первую очередь?
Исследователи обнаружили «затухание атрибуции»: чем больше данных получает диффузионная модель, тем меньше причинное влияние одного обучающего изображения на конкретный результат. Для проверки они создали ансамбль диффузионных моделей, каждая часть которого обучалась на контролируемом фрагменте набора данных.
Что мне делать дальше на практике?
Чтобы смоделировать сценарий «что было бы, если бы этого изображения не было в обучении», учёные отключали все компоненты, видевшие соответствующий пример, вместо повторного обучения единой модели.
«Затухание атрибуции»: почему связь изображения ИИ с отдельными данными обучения исчезает
Исследователи обнаружили «затухание атрибуции»: чем больше данных получает диффузионная модель, тем меньше причинное влияние одного обучающего изображения на конкретный результат. Для проверки они создали ансамбль диффузионных моделей, каждая часть которого обучалась на контролируемом фрагменте набора данных.
ОпубликовалИзображения созданы с помощью GPT Image 1.5
Исследователи обнаружили «затухание атрибуции»: чем больше данных получает диффузионная модель, тем меньше причинное влияние одного обучающего изображения на конкретный результат.
Для проверки они создали ансамбль диффузионных моделей, каждая часть которого обучалась на контролируемом фрагменте набора данных.
Чтобы смоделировать сценарий «что было бы, если бы этого изображения не было в обучении», учёные отключали все компоненты, видевшие соответствующий пример, вместо повторного обучения единой модели.
В 24 ансамблях на семи общедоступных наборах изображений — от 256 до более чем 160 000 файлов — удаление одного изображения всё реже заметно меняло результат.
What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusionAI-generated editorial hero image for What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion.
Промпт ИИ
Create a landscape editorial hero image for this Studio Global article: What did Zheng Dai and David Gifford’s MIT CSAIL study, published in Nature Communications, discover about “attribution decay” in diffusion. Article summary: Dai and Gifford found “attribution decay”: as a diffusion image generator is trained on more data, the causal effect of any one training item on a particular generated image can shrink until it is too small to detect.. Topic tags: general web, ai safety, openai, chatgpt, llm. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wit
openai.com
Исследование Чжэна Дая и Дэвида Гиффорда из лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL), опубликованное в Nature Communications, описывает явление, которое авторы называют «затуханием атрибуции» (attribution decay).
Суть результата в том, что при увеличении обучающего набора причинное влияние отдельного изображения на конкретный результат генерации может уменьшаться настолько, что его становится невозможно обнаружить. Речь идёт именно о влиянии, которое можно приписать определённому примеру, а не о доказательстве того, что изображение никогда не использовалось, не сохранялось моделью или не может быть воспроизведено при других условиях.
Как исследователи проверяли влияние данных
Обычно, чтобы оценить вклад отдельного изображения в работу большой модели, приходится использовать приближённые методы. Дай и Гиффорд предложили другой подход — ансамбль диффузионных моделей.
Вместо одной монолитной модели они независимо обучили несколько компонентов, каждому из которых достался контролируемый фрагмент исходного набора данных. Благодаря этому учёные могли построить точный контрфактический сценарий: «каким был бы результат, если бы конкретного изображения не было в обучении?» Для этого они отключали все компоненты, которые видели данный пример, и затем снова генерировали изображение — без необходимости заново обучать всю модель.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Каков краткий ответ на вопрос ««Затухание атрибуции»: почему связь изображения ИИ с отдельными данными обучения исчезает»?
Исследователи обнаружили «затухание атрибуции»: чем больше данных получает диффузионная модель, тем меньше причинное влияние одного обучающего изображения на конкретный результат.
Какие ключевые моменты необходимо проверить в первую очередь?
Исследователи обнаружили «затухание атрибуции»: чем больше данных получает диффузионная модель, тем меньше причинное влияние одного обучающего изображения на конкретный результат. Для проверки они создали ансамбль диффузионных моделей, каждая часть которого обучалась на контролируемом фрагменте набора данных.
Что мне делать дальше на практике?
Чтобы смоделировать сценарий «что было бы, если бы этого изображения не было в обучении», учёные отключали все компоненты, видевшие соответствующий пример, вместо повторного обучения единой модели.
Исследователи также сопоставили ансамбль с 24 обычными диффузионными моделями, обученными на тех же данных. По стандартным показателям качества изображений результаты оказались примерно сопоставимыми.
Всего они изучили 24 ансамбля, обученных на семи общедоступных наборах изображений. Размер наборов варьировался от 256 до более чем 160 000 изображений. Для каждого результата учёные создавали своего рода «контрфактическую вселенную» — набор версий, полученных после последовательного исключения каждого кандидата из обучения.
Максимальное изменение результата после удаления одной обучающей единицы исследователи назвали контрфактическим радиусом. Этот показатель отражает наибольший причинный эффект такого исключения.
Что показало «затухание атрибуции»
По мере роста набора данных контрфактический радиус уменьшался. Иными словами, удаление одного изображения всё чаще почти не влияло на сгенерированный результат.
При достаточно больших масштабах тот же эффект наблюдался не только для отдельной фотографии. Удаление всех изображений одного художника или всех фотографий с конкретным человеком также нередко не приводило к заметным изменениям в новом образце.
Это означает, что в рамках использованного теста нельзя уверенно приписать такой результат одному конкретному источнику: если удаление обучающей единицы не меняет изображение, то она не считается его непосредственной причиной по принятой в исследовании метрике.
Почему это важно для споров об авторских правах
Результат может осложнить одну из потенциальных теорий в делах против компаний, разрабатывающих генераторы изображений, включая Midjourney, OpenAI или Microsoft. Если истец утверждает, что конкретный результат был вызван работами определённого художника или копированием его стиля, ему может быть трудно доказать прямой причинный вклад именно этого автора — особенно если удаление всего его корпуса практически не меняет результат.
Однако исследование не выносит юридического решения и не устанавливает новое правило для судов. Споры об авторских правах могут касаться не только необходимости конкретного изображения для одного результата, но и несанкционированного копирования при обучении, существенного сходства между работой и результатом, доступа к произведению, ущерба рынку, условий договоров и других обстоятельств.
Чего исследование не доказывает
Это не доказательство отсутствия запоминания. Результат может быть неатрибутируемым одному обучающему изображению, даже если модель что-то запомнила, способна воспроизвести материал при определённом запросе или режиме генерации либо выдаёт изображение, существенно похожее на защищённую работу. Статья проверяет чувствительность результата к удалению обучающих единиц, а не все формы запоминания или нарушения прав.
Это не вывод о больших языковых моделях. Исследование посвящено диффузионным моделям, которые применяются для генерации визуального и другого медиаконтента. Из его результатов не следует, что тот же эффект уже доказан для трансформерных больших языковых моделей.
Это не замена другим видам доказательств. Для технической и юридической оценки по-прежнему могут потребоваться тесты воспроизведения по запросу, анализ сходства и происхождения контента, записи об обучающих данных и работе системы, аудит модели и правовой анализ.
Таким образом, «затухание атрибуции» показывает пределы истории вида «этот конкретный результат вызван этим конкретным изображением» в больших обучающих наборах. Но оно само по себе не доказывает, что копирование невозможно установить с помощью других данных.
news.mit.edu
Artificial intelligence | Massachusetts Institute of Technology
Исследователи также сопоставили ансамбль с 24 обычными диффузионными моделями, обученными на тех же данных. По стандартным показателям качества изображений результаты оказались примерно сопоставимыми.
Всего они изучили 24 ансамбля, обученных на семи общедоступных наборах изображений. Размер наборов варьировался от 256 до более чем 160 000 изображений. Для каждого результата учёные создавали своего рода «контрфактическую вселенную» — набор версий, полученных после последовательного исключения каждого кандидата из обучения.
Максимальное изменение результата после удаления одной обучающей единицы исследователи назвали контрфактическим радиусом. Этот показатель отражает наибольший причинный эффект такого исключения.
Что показало «затухание атрибуции»
По мере роста набора данных контрфактический радиус уменьшался. Иными словами, удаление одного изображения всё чаще почти не влияло на сгенерированный результат.
При достаточно больших масштабах тот же эффект наблюдался не только для отдельной фотографии. Удаление всех изображений одного художника или всех фотографий с конкретным человеком также нередко не приводило к заметным изменениям в новом образце.
Это означает, что в рамках использованного теста нельзя уверенно приписать такой результат одному конкретному источнику: если удаление обучающей единицы не меняет изображение, то она не считается его непосредственной причиной по принятой в исследовании метрике.
Почему это важно для споров об авторских правах
Результат может осложнить одну из потенциальных теорий в делах против компаний, разрабатывающих генераторы изображений, включая Midjourney, OpenAI или Microsoft. Если истец утверждает, что конкретный результат был вызван работами определённого художника или копированием его стиля, ему может быть трудно доказать прямой причинный вклад именно этого автора — особенно если удаление всего его корпуса практически не меняет результат.
Однако исследование не выносит юридического решения и не устанавливает новое правило для судов. Споры об авторских правах могут касаться не только необходимости конкретного изображения для одного результата, но и несанкционированного копирования при обучении, существенного сходства между работой и результатом, доступа к произведению, ущерба рынку, условий договоров и других обстоятельств.
Чего исследование не доказывает
Это не доказательство отсутствия запоминания. Результат может быть неатрибутируемым одному обучающему изображению, даже если модель что-то запомнила, способна воспроизвести материал при определённом запросе или режиме генерации либо выдаёт изображение, существенно похожее на защищённую работу. Статья проверяет чувствительность результата к удалению обучающих единиц, а не все формы запоминания или нарушения прав.
Это не вывод о больших языковых моделях. Исследование посвящено диффузионным моделям, которые применяются для генерации визуального и другого медиаконтента. Из его результатов не следует, что тот же эффект уже доказан для трансформерных больших языковых моделей.
Это не замена другим видам доказательств. Для технической и юридической оценки по-прежнему могут потребоваться тесты воспроизведения по запросу, анализ сходства и происхождения контента, записи об обучающих данных и работе системы, аудит модели и правовой анализ.
Таким образом, «затухание атрибуции» показывает пределы истории вида «этот конкретный результат вызван этим конкретным изображением» в больших обучающих наборах. Но оно само по себе не доказывает, что копирование невозможно установить с помощью других данных.
news.mit.edu
Artificial intelligence | Massachusetts Institute of Technology