«Затухание атрибуции»: почему связь изображения ИИ с отдельными данными обучения исчезает

Исследование Чжэна Дая и Дэвида Гиффорда из лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL), опубликованное в Nature Communications, описывает явление, которое авторы называют «затуханием атрибуции» (attribution decay).

Суть результата в том, что при увеличении обучающего набора причинное влияние отдельного изображения на конкретный результат генерации может уменьшаться настолько, что его становится невозможно обнаружить. Речь идёт именно о влиянии, которое можно приписать определённому примеру, а не о доказательстве того, что изображение никогда не использовалось, не сохранялось моделью или не может быть воспроизведено при других условиях.

Как исследователи проверяли влияние данных

Обычно, чтобы оценить вклад отдельного изображения в работу большой модели, приходится использовать приближённые методы. Дай и Гиффорд предложили другой подход — ансамбль диффузионных моделей.

Вместо одной монолитной модели они независимо обучили несколько компонентов, каждому из которых достался контролируемый фрагмент исходного набора данных. Благодаря этому учёные могли построить точный контрфактический сценарий: «каким был бы результат, если бы конкретного изображения не было в обучении?» Для этого они отключали все компоненты, которые видели данный пример, и затем снова генерировали изображение — без необходимости заново обучать всю модель.

Исследователи также сопоставили ансамбль с 24 обычными диффузионными моделями, обученными на тех же данных. По стандартным показателям качества изображений результаты оказались примерно сопоставимыми.

Всего они изучили 24 ансамбля, обученных на семи общедоступных наборах изображений. Размер наборов варьировался от 256 до более чем 160 000 изображений. Для каждого результата учёные создавали своего рода «контрфактическую вселенную» — набор версий, полученных после последовательного исключения каждого кандидата из обучения.

Максимальное изменение результата после удаления одной обучающей единицы исследователи назвали контрфактическим радиусом. Этот показатель отражает наибольший причинный эффект такого исключения.

Что показало «затухание атрибуции»

По мере роста набора данных контрфактический радиус уменьшался. Иными словами, удаление одного изображения всё чаще почти не влияло на сгенерированный результат.

При достаточно больших масштабах тот же эффект наблюдался не только для отдельной фотографии. Удаление всех изображений одного художника или всех фотографий с конкретным человеком также нередко не приводило к заметным изменениям в новом образце.

Это означает, что в рамках использованного теста нельзя уверенно приписать такой результат одному конкретному источнику: если удаление обучающей единицы не меняет изображение, то она не считается его непосредственной причиной по принятой в исследовании метрике.

Почему это важно для споров об авторских правах

Результат может осложнить одну из потенциальных теорий в делах против компаний, разрабатывающих генераторы изображений, включая Midjourney, OpenAI или Microsoft. Если истец утверждает, что конкретный результат был вызван работами определённого художника или копированием его стиля, ему может быть трудно доказать прямой причинный вклад именно этого автора — особенно если удаление всего его корпуса практически не меняет результат.

Однако исследование не выносит юридического решения и не устанавливает новое правило для судов. Споры об авторских правах могут касаться не только необходимости конкретного изображения для одного результата, но и несанкционированного копирования при обучении, существенного сходства между работой и результатом, доступа к произведению, ущерба рынку, условий договоров и других обстоятельств.

Чего исследование не доказывает

• Это не доказательство отсутствия запоминания. Результат может быть неатрибутируемым одному обучающему изображению, даже если модель что-то запомнила, способна воспроизвести материал при определённом запросе или режиме генерации либо выдаёт изображение, существенно похожее на защищённую работу. Статья проверяет чувствительность результата к удалению обучающих единиц, а не все формы запоминания или нарушения прав.
• Это не вывод о больших языковых моделях. Исследование посвящено диффузионным моделям, которые применяются для генерации визуального и другого медиаконтента. Из его результатов не следует, что тот же эффект уже доказан для трансформерных больших языковых моделей.
• Это не замена другим видам доказательств. Для технической и юридической оценки по-прежнему могут потребоваться тесты воспроизведения по запросу, анализ сходства и происхождения контента, записи об обучающих данных и работе системы, аудит модели и правовой анализ.

Таким образом, «затухание атрибуции» показывает пределы истории вида «этот конкретный результат вызван этим конкретным изображением» в больших обучающих наборах. Но оно само по себе не доказывает, что копирование невозможно установить с помощью других данных.