Дослідники MIT виявили «згасання атрибуції» у генераторах зображень

Дослідження команди MIT CSAIL показало явище, яке автори назвали «згасанням атрибуції» (attribution decay). Коли дифузійний генератор навчають на дедалі більшій кількості зображень, причинний вплив окремого навчального прикладу на конкретний результат може стати настільки малим, що його вже неможливо виявити. За точного тесту з вилученням джерела цей вплив іноді зникає повністю.

Це важливий висновок для дискусій про те, чи можна пов’язати результат роботи генератора з конкретним художником, фотографією або зображенням. Водночас він не є ані доказом законності навчання моделей на матеріалах, захищених авторським правом, ані підтвердженням того, що моделі ніколи не копіюють.

Як працював експеримент

Замість математично оцінювати внесок кожного зображення, дослідники створили «дифузійний ансамбль» — багато менших дифузійних компонентів, кожен із яких навчали на окремому фрагменті даних. Щоб отримати точну альтернативну версію моделі без певного джерела, вони вимикали всі компоненти, які бачили це джерело. Такий підхід давав змогу уникнути повторного навчання й приблизних оцінок.

Результати ансамблю порівняли з 24 звичайними дифузійними моделями, навченими на тих самих даних. За стандартними показниками якість їхніх результатів була загалом зіставною.

Дослідники перевіряли, що відбувається після вилучення з навчальних даних:

• одного окремого зображення;
• усіх робіт одного художника;
• усіх фотографій певної людини.

У міру збільшення набору даних вилучення одного з таких джерел часто не спричиняло помітної зміни згенерованого результату. Саме це зменшення вимірюваного впливу окремого джерела автори й назвали «згасанням атрибуції».

Що це може означати для спорів про авторське право

Висновок може ускладнити твердження, що конкретний результат системи, пов’язаної, наприклад, із Midjourney, OpenAI або Microsoft, був спричинений саме зображенням позивача чи всім його творчим доробком. Якщо після точного вилучення цього матеріалу результат не змінюється, такий контрфактичний тест дає мало підстав приписувати результат саме йому.

Але дослідження не вирішує інших юридичних питань, зокрема:

• чи копіювала компанія роботи під час формування навчального набору;
• чи є саме навчання на таких матеріалах порушенням авторського права або добросовісним використанням;
• чи є конкретний результат істотно подібним до захищеної роботи;
• чи налаштовували модель або запит навмисно для імітації певного художника.

Це дослідження про можливість встановити причинний зв’язок між окремим джерелом і конкретним результатом, а не судове рішення щодо законності дій компаній.

Чому це не «індульгенція» для генеративного ШІ

Дифузійні моделі все ще можуть запам’ятовувати або відтворювати навчальні приклади в окремих ситуаціях. «Згасання атрибуції» означає, що зі збільшенням даних вплив окремого джерела часто стає невимірним, а не те, що копіювання ніколи не відбувається.

Крім того, робота стосувалася дифузійних генераторів зображень. Її не можна автоматично поширювати на мовні моделі чи інші архітектури генеративного ШІ.

Тому під час розгляду справ судам, імовірно, знадобляться й інші докази: документи про отримання навчальних даних, прямі докази подібності, поведінка моделі у відповідь на цілеспрямовані запити, інформація про походження матеріалів та висновки експертів. Це випливає з продемонстрованої дослідниками складності встановлення причинності між одним джерелом і одним результатом у великих масштабах.