Zánik atribuce: Proč velké obrazové modely AI ztrácejí stopu ke svým tréninkovým datům

Studie vědců ze školy MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) upozorňuje na problém, který může zkomplikovat snahy vystopovat obrázek vytvořený umělou inteligencí ke konkrétnímu zdroji. Výzkumníci jej nazývají zánik atribuce (attribution decay).

S rostoucím počtem obrázků v tréninkových datech může být měřitelný příčinný vliv jediného obrázku na konkrétní výstup tak malý, že jeho odstranění vyvolá jen nepatrnou, nebo vůbec žádnou pozorovatelnou změnu.

To neznamená, že model daný obrázek nikdy neviděl, že z něj nemohl převzít určité informace nebo že je automaticky vyloučeno porušení autorských práv. Jde o užší technické zjištění: při kontrolovaném testu odstranění nemusí být konkrétní tréninková jednotka pro vznik určitého výstupu nadále nezbytná.

Jak vědci vliv tréninkových dat testovali

Běžné metody analýzy vlivu odhadují, jak jednotlivý tréninkový příklad model ovlivnil. Zheng Dai a David Gifford místo toho vytvořili difuzní soubor modelů (diffusion ensemble), který umožňuje provést kontrolovaný kontrafaktuální test. Skládá se z nezávisle trénovaných částí, přičemž každá z nich dostala pečlivě připravenou podmnožinu tréninkových dat.

Výzkumníci tak mohli položit přesnou otázku: Co by model vytvořil, kdyby tento obrázek jeho učení neovlivnil? Nemuseli přitom jeden obří model znovu trénovat od začátku. Stačilo deaktivovat ty části souboru, které vybraný obrázek viděly, a vytvořit srovnávací výstup. Šlo tedy o odstranění vlivu konkrétního obrázku, nikoli jen o jeho nepřímý odhad.

Tým vyhodnotil 24 difuzních souborů modelů napříč sedmi veřejnými obrazovými kolekcemi. Datové sady obsahovaly od 256 obrázků až po více než 160 000, takže vědci mohli sledovat, jak se atribuce mění s rostoucím množstvím tréninkových dat. Porovnávali původní výstup s kontrafaktuálními verzemi vytvořenými po vynechání vybraných tréninkových jednotek.

Největší naměřený rozdíl mezi původním výstupem a těmito kontrafaktuálními verzemi označili jako kontrafaktuální poloměr. Ten sloužil jako měřítko toho, nakolik může vynechání jediné tréninkové jednotky změnit výsledek.

Co znamená „zánik atribuce“

Kontrafaktuální poloměr s růstem tréninkových dat klesal. Prakticky to znamená, že po odstranění jediného obrázku byl nový výstup stále obtížněji odlišitelný od původního podle měření použitých ve studii.

Výsledek působí na první pohled paradoxně: více tréninkových dat může způsobit, že vytvořený obrázek bude méně přiřaditelný kterémukoli jednotlivému zdroji, přestože daný zdroj byl součástí tréninkové sady. Model se může učit široké a překrývající se vzorce z mnoha zdrojů namísto toho, aby pro konkrétní výsledek závisel na jednom identifikovatelném obrázku.

Při dostatečně velkém měřítku se tento efekt netýkal jen jednotlivých obrázků. Studie uvádí, že odstranění všech obrázků konkrétního umělce nebo všech fotografií určité osoby mohlo v testovaném kontrafaktuálním nastavení rovněž ponechat vytvořený vzorek prakticky beze změny.

Výzkumníci proto mluví o „zániku“, nikoli pouze o selhání detekčního nástroje. Problém nemusí spočívat v tom, že vyšetřovatelé nemají dostatečně výkonnou metodu. Samotná příčinná vazba mezi jedním zdrojem a jedním výstupem se může rozptýlit natolik, že ji nelze izolovat.

Co to může znamenat pro spory o autorská práva

Zánik atribuce může ztížit dokazování jedné konkrétní teorie v žalobách týkajících se autorských práv: že sporný výstup byl přímo způsoben díly určitého umělce nebo jejich kopiemi v tréninkových datech. Pokud odstranění celého umělcova díla výstup podstatně nezmění, bude obtížnější tvrdit, že tento soubor byl podle daného příčinného testu pro vznik konkrétního obrázku individuálně nezbytný.

To může hrát roli ve sporech týkajících se komerčních generátorů obrázků a tvrzení, že modely kopírují styl umělců. Trénink ve velkém měřítku oslabuje jednoduchý příběh, podle něhož je rozpoznatelný výstup přímým produktem jednoho konkrétního díla nebo autora. Studie proto může zkomplikovat některé případy v oblasti duševního vlastnictví spojené s generativními obrazovými systémy.

Výzkum ale nerozhoduje o tom, zda konkrétní společnost porušila autorská práva, a sám o sobě nevytváří právní obhajobu. Soudy mohou řešit například otázku, zda byla chráněná díla při trénování neoprávněně kopírována, zda se výstup podstatně podobá chráněnému dílu, co systém dokáže vytvořit při konkrétních zadáních, jaká vznikla škoda nebo jaké platí smluvní povinnosti.

Technický význam výrazu „nelze přiřadit“ proto nelze zaměňovat za právní závěr „nebylo kopírováno“.

Proč studie nevyvrací memorování

Experiment testuje citlivost modelu na odstranění tréninkových jednotek. Nezkoumá všechny způsoby, jakými si model může informace uchovat nebo je znovu vytvořit.

Model může při mazacím testu vykazovat jen malou závislost na jediném obrázku, a přesto za určitých zadání nebo podmínek vzorkování reprodukovat konkrétní dílo. Výstup může také připomínat chráněné dílo, aniž by se podařilo prokázat, že některý jediný tréninkový obrázek byl pro jeho vznik příčinně nezbytný.

Jde tedy o tři odlišná tvrzení:

• Tento obrázek ovlivnil výstup: test odstranění po vyřazení jeho vlivu odhalí měřitelnou změnu.
• Model obrázek viděl nebo si jej uchoval: model k němu byl během trénování vystaven nebo si mohl zapamatovat jeho části.
• Výstup kopíruje chráněné dílo: právní a technický závěr, k němuž je zapotřebí další důkaz.

Zánik atribuce se přímo týká první otázky. Druhou ani třetí neřeší.

Výsledek zatím nelze automaticky vztáhnout na velké jazykové modely

Studie se zabývá difuzními generativními modely pro obrázky a související audiovizuální média. Její architekturu souboru modelů ani pozorovaný trend při růstu dat nelze automaticky zobecnit na velké jazykové modely založené na transformerech.

Jazykové modely mají odlišnou architekturu, postupy trénování, reprezentaci tokenů i způsob tvorby výstupů. Studie může nabídnout směr pro budoucí výzkum atribuce, neprokazuje však, že ke stejnému typu zániku atribuce dochází také u LLM.

Jaké další důkazy budou stále potřeba

Pokud je otázkou, zda systém umělé inteligence dílo kopíroval, představuje zánik atribuce jen jednu část skládačky. Soudy a technické týmy budou nadále potřebovat zkoumat například:

• zda systém dokáže konkrétní dílo reprodukovat při kontrolovaných zadáních;
• vizuální podobnost výstupu s údajně kopírovaným dílem;
• původ tréninkových dat, přístup k nim a související záznamy;
• výsledky auditů modelu a technickou dokumentaci systému;
• zda výstup odráží pouze obecný styl, nebo identifikovatelný chráněný výraz; a
• právní standardy platné pro konkrétní spor.

Hlavní poselství studie je užší — a užitečnější — než tvrzení, že AI své zdroje jednoduše „zapomíná“. S rostoucími datovými sadami se může příspěvek jednotlivých tréninkových příkladů ke konkrétnímu výstupu rozptýlit natolik, že jej nelze odhalit. Dohledání zdroje je pak obtížnější, ale memorování, reprodukce ani posouzení autorských práv tím nezmizí.