Nie oznacza to, że dany obraz nie odegrał żadnej roli w całym procesie uczenia. Oznacza jedynie, że w przypadku konkretnego wyniku i zastosowanego testu usunięcia jego indywidualny wkład przyczynowy mógł być zbyt mały, by go wykryć.
Bezpośrednie sprawdzenie takiej zależności jest trudne. Klasyczna metoda polegałaby na ponownym wytrenowaniu modelu po usunięciu jednego obrazu, a następnie porównaniu nowego wyniku z pierwotnym. Powtarzanie tego dla pojedynczych obrazów, artystów lub osób byłoby kosztowne, a metody przybliżone nie musiałyby usuwać wszystkich dalszych skutków obecności danych w procesie uczenia.
Dai i Gifford zaprojektowali więc diffusion ensemble — zespół wielu mniejszych komponentów dyfuzyjnych trenowanych na różnych, częściowo nakładających się podzbiorach danych. Aby sprawdzić wpływ konkretnego źródła, badacze mogli wyłączyć komponenty, które miały kontakt z tym źródłem, i wygenerować wynik kontrfaktyczny — czyli sprawdzić, co powstałoby, gdyby danego materiału nie było — bez ponownego trenowania całego systemu.
Zespół porównał tę architekturę z 24 konwencjonalnymi modelami dyfuzyjnymi trenowanymi na tych samych danych. Według standardowych miar jakość generowanych obrazów była zasadniczo porównywalna.
W ramach zaproponowanej architektury badacze mogli przeprowadzić dokładny test usunięcia: jeśli po wyłączeniu wszystkich komponentów, które widziały dany materiał, wynik pozostawał bez zmian, eksperyment nie dostarczał mierzalnych dowodów, że to źródło spowodowało powstanie konkretnego obrazu.
„Attribution decay” może utrudnić konkretny rodzaj argumentacji: twierdzenie, że określony obraz wygenerowany przez system został spowodowany przez dzieło jednego powoda albo skopiowany z całego dorobku danego artysty. Jeżeli dokładne usunięcie tego materiału nie zmienia wyniku, taki test kontrfaktyczny daje niewiele podstaw do przypisania właśnie jemu odpowiedzialności za powstanie obrazu.
Tego typu kwestia może pojawić się w sporach dotyczących usług generowania obrazów i twórców modeli, w tym firm takich jak Midjourney, OpenAI czy Microsoft. Samo badanie nie rozstrzyga jednak o odpowiedzialności prawnej żadnej z tych firm. Dostarcza dowodów na to, że ustalenie związku przyczynowego między pojedynczym materiałem treningowym a pojedynczym wynikiem może być bardzo trudne w dużej skali.
Pozostają także odrębne pytania:
W praktyce sądy i osoby prowadzące postępowania mogą potrzebować szerszego materiału dowodowego: dokumentacji pozyskania danych, informacji o pochodzeniu plików, bezpośredniej analizy podobieństwa, testów z ukierunkowanymi promptami, dowodów dotyczących zachowania modelu oraz opinii ekspertów. To wniosek wynikający z trudności przypisywania pojedynczego wyniku jednemu źródłu przy dużej skali, a nie nowa reguła prawna ustanowiona przez badanie.
„Attribution decay” nie powinno być odczytywane jako dowód, że modele dyfuzyjne nigdy nie kopiują. Badanie pokazuje, że przy rosnących zbiorach danych mierzalny wpływ pojedynczego źródła może stać się znikomy. W określonych warunkach modele nadal mogą zapamiętywać i odtwarzać przykłady ze zbioru treningowego.
Zakres badania również jest ograniczony. Analizowano generatory obrazów oparte na dyfuzji, dlatego wyników nie należy automatycznie przenosić na modele językowe ani inne architektury generatywne.
Najostrożniejsza interpretacja brzmi więc następująco: duże systemy dyfuzyjne mogą utrudniać przypisanie konkretnego obrazu do pojedynczego materiału treningowego, nawet jeśli ten obraz lub prace danego artysty znajdowały się w danych. Może to osłabić jedną z dróg dowodzenia odpowiedzialności za konkretny wynik, ale nie zamyka szerszych pytań o praktyki trenowania modeli, kopiowanie, naśladowanie twórców i ochronę własności intelektualnej.