Исследование MIT: большие AI-модели теряют связь с конкретными источниками изображений

Учёные из Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL) описали проблему, которая может серьёзно осложнить попытки проследить происхождение изображения, созданного AI. Они назвали её attribution decay — «затуханием атрибуции».

Суть явления в том, что по мере увеличения обучающего набора причинное влияние отдельного изображения на конкретный результат становится всё слабее. В какой-то момент удаление этого изображения почти не меняет то, что генерирует модель.

Это не означает, что модель никогда не видела исходную работу, не могла сохранить отдельные её особенности или полностью избавлена от риска нарушения авторских прав. Речь идёт о более узком техническом выводе: в контролируемом тесте конкретный пример из обучающих данных может оказаться ненужным для получения конкретного результата.

Как исследователи проверяли влияние обучающих изображений

Обычные методы анализа влияния пытаются оценить, насколько отдельный пример повлиял на модель. Вместо этого Zheng Dai и David Gifford разработали diffusion ensemble — ансамбль диффузионных моделей, компоненты которого обучаются на специально сформированных частях общего датасета.

Такая конструкция позволяет задать точный контрфактический вопрос: что сгенерировала бы модель, если бы это изображение не влияло на её обучение? Чтобы получить ответ, исследователям не нужно заново обучать одну огромную модель. Они могут отключить те компоненты ансамбля, которые видели выбранное изображение, а затем сравнить новый результат с исходным. Это именно абляция влияния изображения, а не приблизительная оценка.

Команда изучила 24 диффузионных ансамбля на семи открытых коллекциях изображений. Размер наборов данных варьировался от 256 до более чем 160 000 изображений. Для каждого кандидата исследователи сравнивали исходную генерацию с контрфактическими вариантами, полученными после удаления его влияния.

Максимальную разницу между исходным результатом и такими вариантами учёные назвали контрфактическим радиусом. Этот показатель отражал, насколько сильно исключение одного обучающего элемента могло изменить результат.

Что такое «затухание атрибуции»

По мере роста обучающих датасетов контрфактический радиус уменьшался. Иными словами, удаление одного изображения всё чаще давало результат, который в рамках измерений было трудно отличить от исходного.

Вывод выглядит парадоксально: дополнительные данные могут сделать изображение менее привязанным к какому-либо одному источнику, даже если этот источник действительно входил в обучающий набор. Модель усваивает общие и пересекающиеся закономерности множества примеров, а не обязательно опирается на одну конкретную картинку при создании результата.

При достаточно большом масштабе эффект распространялся не только на отдельные изображения. По данным исследования, удаление всех работ определённого художника или всех фотографий с изображением конкретного человека также могло практически не менять сгенерированный результат в проверяемом контрфактическом сценарии.

Поэтому исследователи говорят именно о затухании, а не просто о недостатках инструментов поиска. Возможно, проблема не в том, что аналитикам не хватает более мощного метода трассировки: причинная связь между одним источником и одним результатом сама становится слишком распределённой, чтобы её можно было изолировать.

Что это может значить для исков об авторских правах

Attribution decay способен осложнить одну из конкретных теорий в делах о нарушении авторских прав: утверждение, что спорное изображение было напрямую вызвано работами названного художника или их копиями в обучающих данных.

Если удаление всего корпуса работ художника не приводит к заметным изменениям результата, истцу будет труднее доказать, что именно этот корпус был индивидуально необходим для создания конкретного изображения в рамках такого причинного теста. Это может ослабить простую схему, в которой узнаваемый результат рассматривается как прямой продукт одной определённой работы или одного художника.

Однако исследование не устанавливает, нарушила ли какая-либо компания авторские права, и само по себе не создаёт юридической защиты для разработчиков. В подобных спорах могут рассматриваться разные вопросы:

• копировались ли защищённые произведения во время обучения;
• является ли результат существенно схожим с конкретной защищённой работой;
• что система способна воспроизвести при определённых запросах;
• какой вред был причинён;
• действуют ли договорные обязательства или другие правовые нормы.

Техническое «изображение нельзя атрибутировать одному источнику» не равнозначно юридическому «изображение не было скопировано».

Почему это не доказывает отсутствие запоминания

Эксперимент проверяет чувствительность результата к удалению отдельных обучающих элементов. Он не охватывает все способы, которыми модель может сохранять или воспроизводить информацию.

Модель может почти не зависеть от одной картинки в тесте на удаление и при этом воспроизводить конкретную работу при определённых запросах или параметрах генерации. Результат также может быть похож на защищённое произведение, даже если ни один отдельный обучающий пример не оказался причинно необходимым для его создания.

Важно различать три утверждения:

• «Это изображение повлияло на результат» — тест на удаление показывает измеримое изменение после устранения его влияния.
• «Модель видела или сохранила это изображение» — модель была с ним знакома во время обучения или могла запомнить отдельные его особенности.
• «Результат копирует защищённую работу» — технический и юридический вывод, для которого нужны дополнительные доказательства.

Исследование напрямую касается только первого вопроса. На второй и третий оно не даёт окончательного ответа.

Результат пока нельзя автоматически переносить на большие языковые модели

Работа посвящена диффузионным генераторам изображений и связанным с ними аудиовизуальным системам. Архитектуру ансамбля и обнаруженную закономерность масштабирования нельзя автоматически распространять на трансформерные большие языковые модели.

У языковых моделей другие архитектура, процедуры обучения, представление данных в виде токенов и характер генерации. Исследование может подсказать направление для будущих экспериментов с атрибуцией, но не доказывает, что такой же тип затухания наблюдается в LLM.

Какие данные всё равно понадобятся судам и экспертам

Attribution decay — лишь один из источников доказательств в вопросе о возможном копировании. Техническим специалистам и судам по-прежнему могут понадобиться:

• проверка воспроизведения конкретной работы при контролируемых запросах;
• анализ визуального сходства результата и предположительно скопированного произведения;
• данные о происхождении обучающего набора, доступе к нему и соответствующих документах;
• результаты аудита модели и техническая документация системы;
• оценка того, отражает ли результат общий стиль или узнаваемые элементы охраняемого авторским правом выражения;
• применение правовых критериев, действующих в конкретном споре.

Главный вывод исследования точнее, чем популярная формулировка о том, что AI «забывает» источники. При росте диффузионных датасетов вклад отдельных обучающих примеров в конкретный результат может стать слишком распределённым и слабым для обнаружения. Это усложняет атрибуцию, но не делает невозможными доказательство запоминания, анализ воспроизведения или рассмотрение дела об авторских правах.