Исследование MIT: изображения ИИ становятся всё менее отслеживаемыми

Это не означает, что изображение вовсе не участвовало в общем процессе обучения. Речь о другом: в отношении конкретного результата и в рамках проведённого теста его индивидуальный причинный вклад мог оказаться слишком малым, чтобы его обнаружить.

Как работал «диффузионный ансамбль»

Напрямую проверить такой вопрос непросто. Обычный подход потребовал бы заново обучить модель после удаления исходного изображения, а затем сравнить новый результат с первоначальным. Если повторять процедуру для отдельных изображений, художников или людей, вычислительные затраты быстро становятся огромными. Кроме того, приближённые методы не всегда позволяют удалить все последующие эффекты, связанные с конкретными данными.

Дай и Гиффорд предложили архитектуру диффузионного ансамбля — совокупность нескольких небольших компонентов, обученных на разных, частично пересекающихся поднаборах данных. Чтобы проверить влияние исходного изображения, учёные отключали те компоненты, которые видели его во время обучения, и получали контрфактический результат — то есть проверяли, что модель выдала бы без этого источника, не переобучая всю систему.

Исследователи сравнили этот подход с 24 обычными диффузионными моделями, обученными на тех же данных. По стандартным метрикам качество результатов оказалось в целом сопоставимым.

В рамках предложенной архитектуры такой тест удаления был точным: если после отключения всех компонентов, знакомых с исходным материалом, результат не менялся, эксперимент не давал измеримых оснований считать, что именно этот источник вызвал генерацию.

Что это меняет для исков об авторском праве

«Затухание атрибуции» может осложнить конкретный тип претензий: утверждение, что определённое изображение было создано под влиянием одной работы истца или всего корпуса произведений конкретного художника. Если удаление этого материала в точном контрфактическом тесте не меняет результат, такой тест почти не помогает связать генерацию с удалённым источником.

Подобный вопрос может возникнуть в спорах вокруг сервисов генерации изображений и разработчиков моделей, включая Midjourney, OpenAI и Microsoft. Но само исследование не устанавливает юридическую ответственность какой-либо компании. Оно показывает, насколько сложно доказать причинную связь между отдельными обучающими данными и отдельным результатом.

Остаются открытыми несколько самостоятельных вопросов:

• Как были получены данные для обучения? Исследование не определяет, было ли законным собирать или использовать защищённое произведение.
• Есть ли существенное сходство с охраняемым произведением? Визуальное сходство может иметь значение, даже если связать результат с одним конкретным файлом практически невозможно.
• Запомнила ли модель исходный материал и воспроизвела ли его? В некоторых условиях модели способны выдавать копии обучающих примеров, и это не то же самое, что доказательство связи каждого результата с одним источником.
• Была ли система настроена на имитацию конкретного художника? Целевые запросы, дообучение или иные особенности поведения модели могут дать дополнительные доказательства, которые не отражаются в тесте удаления одного изображения.

Практический вывод может состоять в том, что судам и экспертам потребуется более широкий набор доказательств: документы о получении данных, сведения о происхождении материалов, анализ прямого сходства, тестирование модели на целевых запросах, данные о её поведении и экспертные заключения. Это следует из вывода исследования о ненадёжности схемы «одно изображение — один результат» при большом масштабе, но не является новой юридической нормой.

Почему это не «индульгенция» для разработчиков ИИ

«Затухание атрибуции» не доказывает, что диффузионные модели никогда не копируют. Результат исследования состоит в том, что при росте обучающего набора измеримое влияние отдельного источника может стать ничтожным. В некоторых условиях модели по-прежнему способны запоминать и воспроизводить обучающие примеры.

Есть и ограничение по области применения: работа посвящена генераторам изображений на основе диффузии. Её результаты нельзя автоматически переносить на языковые модели или другие архитектуры генеративного ИИ.

Самая точная интерпретация выглядит так: крупные диффузионные системы могут сделать атрибуцию результата конкретному изображению или художнику значительно труднее, даже если соответствующая работа была в обучающем наборе. Это ослабляет один из способов доказать ответственность за отдельную генерацию, но не закрывает более широкие вопросы о сборе данных, копировании, имитации и защите интеллектуальной собственности.