Zamiast opierać się na przybliżonych szacunkach, naukowcy stworzyli tak zwany zespół modeli dyfuzyjnych. Poszczególne, niezależnie trenowane komponenty otrzymywały kontrolowane fragmenty zbioru treningowego. Dzięki temu można było przeprowadzić dokładny eksperyment kontrfaktyczny: sprawdzić, co stałoby się z wygenerowanym obrazem, gdyby określonego obrazu nie było w danych.

Aby to osiągnąć, badacze wyłączali wszystkie komponenty, które miały kontakt z analizowanym obrazem — nie musieli więc ponownie trenować jednego dużego, monolitycznego modelu.

Zespół porównano także z 24 konwencjonalnymi modelami dyfuzyjnymi trenowanymi na tych samych danych. Według badaczy oba podejścia osiągały zbliżone wyniki w standardowych pomiarach jakości obrazów.

Łącznie przeanalizowano 24 zespoły modeli wytrenowane na siedmiu publicznych kolekcjach obrazów. Zbiory liczyły od 256 do ponad 160 tysięcy obrazów. Dla każdego wyniku tworzono jego „kontrfaktyczny wszechświat” — warianty wygenerowane po pominięciu kolejnych kandydatów ze zbioru treningowego.

Największą różnicę między oryginalnym wynikiem a wariantem po usunięciu danego elementu nazwano „promieniem kontrfaktycznym”. Miara ta opisywała maksymalny przyczynowy wpływ pojedynczego elementu na wygenerowany obraz.

Na czym polega „zanik atrybucji”?

Wraz ze wzrostem zbiorów danych promień kontrfaktyczny malał. Usunięcie jednego obrazu coraz częściej nie powodowało zauważalnej zmiany w wyniku generatora. Innymi słowy, konkretny obraz mógł znajdować się w danych treningowych, ale jego indywidualny wkład w określony rezultat stawał się praktycznie niemożliwy do wskazania.

Przy odpowiednio dużej skali dotyczyło to nie tylko jednego obrazu. Badacze zaobserwowali, że usunięcie wszystkich prac danego artysty albo wszystkich fotografii przedstawiających konkretną osobę również często nie zmieniało w istotny sposób wygenerowanego obrazu.

W sensie przyjętym w tym eksperymencie oznacza to brak możliwej do wykazania atrybucji: jeśli usunięcie danego elementu nie wpływa na wynik, nie można przypisać mu przyczynowej odpowiedzialności za ten wynik według zastosowanej miary.

Co to może oznaczać dla praw autorskich?

Wyniki mogą utrudnić udowodnienie pewnej konkretnej teorii naruszenia praw autorskich w sprawach przeciwko firmom rozwijającym generatory obrazów, takim jak Midjourney, OpenAI czy Microsoft. Chodzi o sytuacje, w których strona skarżąca twierdzi, że konkretny rezultat został spowodowany pracami wskazanego artysty albo kopiowaniem jego stylu.

Jeśli usunięcie całego dorobku artysty nie zmienia danego wyniku, wykazanie bezpośredniego, przypisanego temu artyście wkładu przyczynowego może być trudne.

Nie oznacza to jednak, że badanie rozstrzyga takie sprawy ani ustanawia regułę prawną. Spory dotyczące praw autorskich mogą obejmować między innymi nieuprawnione kopiowanie podczas treningu, istotne podobieństwo konkretnego wyniku do chronionego utworu, dostęp do materiałów, szkody rynkowe, warunki umów oraz inne kwestie. Żadna z nich nie sprowadza się wyłącznie do pytania, czy jeden obraz był niezbędny do wygenerowania jednego rezultatu.

Najważniejsze ograniczenia badania

• To nie jest dowód braku zapamiętywania. Wynik może być nieprzypisywalny do jednego obrazu w opisanym teście usuwania, a jednocześnie model może zapamiętać pewne materiały, odtworzyć je po określonym poleceniu lub w konkretnych warunkach próbkowania albo wygenerować obraz istotnie podobny do utworu chronionego prawem. Badanie mierzy wrażliwość wyniku na usunięcie danych, a nie wszystkie formy zapamiętywania i naruszeń.
• To nie jest jeszcze wynik dotyczący dużych modeli językowych. Analiza dotyczy modeli dyfuzyjnych generujących materiały audiowizualne. Nie wykazano tym samym, że ta metoda zespołowego trenowania i ablacji oraz opisane zjawisko skalowania występują również w transformatorowych dużych modelach językowych.
• To nie zastępuje innych dowodów. W praktyce potrzebne byłyby także testy odtwarzania po użyciu konkretnych promptów, analiza podobieństwa i pochodzenia materiału, dokumentacja danych treningowych i systemu, audyty modeli oraz ocena prawna.

„Zanik atrybucji” sugeruje więc, że przy dużej skali może zawodzić prosta opowieść o jednym źródle odpowiedzialnym za jeden wynik. Nie dowodzi jednak, że kopiowania nie da się wykazać za pomocą innych metod i innych rodzajów dowodów.

Zamiast opierać się na przybliżonych szacunkach, naukowcy stworzyli tak zwany zespół modeli dyfuzyjnych. Poszczególne, niezależnie trenowane komponenty otrzymywały kontrolowane fragmenty zbioru treningowego. Dzięki temu można było przeprowadzić dokładny eksperyment kontrfaktyczny: sprawdzić, co stałoby się z wygenerowanym obrazem, gdyby określonego obrazu nie było w danych.

Aby to osiągnąć, badacze wyłączali wszystkie komponenty, które miały kontakt z analizowanym obrazem — nie musieli więc ponownie trenować jednego dużego, monolitycznego modelu.

Zespół porównano także z 24 konwencjonalnymi modelami dyfuzyjnymi trenowanymi na tych samych danych. Według badaczy oba podejścia osiągały zbliżone wyniki w standardowych pomiarach jakości obrazów.

Łącznie przeanalizowano 24 zespoły modeli wytrenowane na siedmiu publicznych kolekcjach obrazów. Zbiory liczyły od 256 do ponad 160 tysięcy obrazów. Dla każdego wyniku tworzono jego „kontrfaktyczny wszechświat” — warianty wygenerowane po pominięciu kolejnych kandydatów ze zbioru treningowego.

Największą różnicę między oryginalnym wynikiem a wariantem po usunięciu danego elementu nazwano „promieniem kontrfaktycznym”. Miara ta opisywała maksymalny przyczynowy wpływ pojedynczego elementu na wygenerowany obraz.

Na czym polega „zanik atrybucji”?

Wraz ze wzrostem zbiorów danych promień kontrfaktyczny malał. Usunięcie jednego obrazu coraz częściej nie powodowało zauważalnej zmiany w wyniku generatora. Innymi słowy, konkretny obraz mógł znajdować się w danych treningowych, ale jego indywidualny wkład w określony rezultat stawał się praktycznie niemożliwy do wskazania.

Przy odpowiednio dużej skali dotyczyło to nie tylko jednego obrazu. Badacze zaobserwowali, że usunięcie wszystkich prac danego artysty albo wszystkich fotografii przedstawiających konkretną osobę również często nie zmieniało w istotny sposób wygenerowanego obrazu.

W sensie przyjętym w tym eksperymencie oznacza to brak możliwej do wykazania atrybucji: jeśli usunięcie danego elementu nie wpływa na wynik, nie można przypisać mu przyczynowej odpowiedzialności za ten wynik według zastosowanej miary.

Co to może oznaczać dla praw autorskich?

Wyniki mogą utrudnić udowodnienie pewnej konkretnej teorii naruszenia praw autorskich w sprawach przeciwko firmom rozwijającym generatory obrazów, takim jak Midjourney, OpenAI czy Microsoft. Chodzi o sytuacje, w których strona skarżąca twierdzi, że konkretny rezultat został spowodowany pracami wskazanego artysty albo kopiowaniem jego stylu.

Jeśli usunięcie całego dorobku artysty nie zmienia danego wyniku, wykazanie bezpośredniego, przypisanego temu artyście wkładu przyczynowego może być trudne.

Nie oznacza to jednak, że badanie rozstrzyga takie sprawy ani ustanawia regułę prawną. Spory dotyczące praw autorskich mogą obejmować między innymi nieuprawnione kopiowanie podczas treningu, istotne podobieństwo konkretnego wyniku do chronionego utworu, dostęp do materiałów, szkody rynkowe, warunki umów oraz inne kwestie. Żadna z nich nie sprowadza się wyłącznie do pytania, czy jeden obraz był niezbędny do wygenerowania jednego rezultatu.

Najważniejsze ograniczenia badania

• To nie jest dowód braku zapamiętywania. Wynik może być nieprzypisywalny do jednego obrazu w opisanym teście usuwania, a jednocześnie model może zapamiętać pewne materiały, odtworzyć je po określonym poleceniu lub w konkretnych warunkach próbkowania albo wygenerować obraz istotnie podobny do utworu chronionego prawem. Badanie mierzy wrażliwość wyniku na usunięcie danych, a nie wszystkie formy zapamiętywania i naruszeń.
• To nie jest jeszcze wynik dotyczący dużych modeli językowych. Analiza dotyczy modeli dyfuzyjnych generujących materiały audiowizualne. Nie wykazano tym samym, że ta metoda zespołowego trenowania i ablacji oraz opisane zjawisko skalowania występują również w transformatorowych dużych modelach językowych.
• To nie zastępuje innych dowodów. W praktyce potrzebne byłyby także testy odtwarzania po użyciu konkretnych promptów, analiza podobieństwa i pochodzenia materiału, dokumentacja danych treningowych i systemu, audyty modeli oraz ocena prawna.

„Zanik atrybucji” sugeruje więc, że przy dużej skali może zawodzić prosta opowieść o jednym źródle odpowiedzialnym za jeden wynik. Nie dowodzi jednak, że kopiowania nie da się wykazać za pomocą innych metod i innych rodzajów dowodów.