Загалом дослідники протестували 24 ансамблі на семи публічних наборах зображень. Розмір датасетів коливався від 256 до понад 160 000 зображень. Для кожного результату вони створювали своєрідний «контрфактичний всесвіт» — версії цього результату після вилучення кожної потенційно важливої навчальної одиниці.
Максимальну відмінність між початковим результатом і версіями після вилучення назвали контрфактичним радіусом. Він слугував мірою найбільшого причинного ефекту, який мав один вилучений приклад.
У міру збільшення датасету контрфактичний радіус зменшувався. Іншими словами, вилучення одного зображення дедалі рідше спричиняло помітну зміну конкретного результату.
За достатньо великого масштабу те саме могло стосуватися не лише одного зображення. Дослідники повідомили, що вилучення всіх робіт певного художника або всіх фотографій із конкретною людиною також часто не давало відчутної зміни згенерованого зразка.
У межах запропонованої методики це означає: якщо після вилучення певної навчальної одиниці результат не змінюється, їй не можна приписати причинну відповідальність за цей результат.
Такий результат може ускладнити одну з можливих теорій позову проти компаній, що створюють генератори зображень, зокрема Midjourney, OpenAI чи Microsoft. Якщо позивач стверджує, що конкретний результат був спричинений роботами названого художника або копіюванням його стилю, йому може бути складніше довести прямий причинний внесок, коли вилучення всього корпусу цього автора практично не змінює результат.
Однак дослідження не вирішує авторсько-правових спорів і не встановлює юридичного правила. У таких справах можуть мати значення:
Усі ці питання ширші за перевірку того, чи був один конкретний файл необхідним для створення одного зображення.
Це не доказ відсутності запам’ятовування. Результат може не мати атрибутованого причинного зв’язку з жодним окремим навчальним зображенням за цим тестом, але модель водночас могла запам’ятати певний матеріал, відтворювати його за конкретних запитів або налаштувань генерації чи створювати результат, істотно схожий на захищений твір. Стаття перевіряє чутливість результату до вилучення навчальних одиниць, а не всі форми запам’ятовування чи можливого порушення прав.
Це не результат про великі мовні моделі. Робота стосується дифузійних моделей, які генерують зображення та інші медіаматеріали. Тому запропонований ансамблевий підхід і виявлена закономірність масштабування ще не були автоматично доведені для трансформерних великих мовних моделей.
Це не заміна іншим доказам. Для технічного й юридичного аналізу все одно можуть знадобитися тести відтворення за конкретними запитами, аналіз схожості та походження матеріалів, записи про навчальні дані й роботу системи, аудит моделі та оцінка за чинним законодавством.
Отже, «згасання атрибуції» показує, що на великому масштабі може не спрацювати проста історія про єдине джерело: «саме цей файл спричинив саме цей результат». Але це не означає, що копіювання або порушення авторського права неможливо довести іншими доказами.