Mitä tutkimus paljasti diffuusiomallien ”attribuution rapautumisesta”?

Zheng Dai ja David Gifford havaitsivat niin sanotun attribuution rapautumisen (attribution decay). Kun diffuusiokuvageneraattoria koulutetaan yhä suuremmalla aineistolla, yksittäisen opetuskuvan kausaalinen vaikutus tiettyyn tuotokseen voi pienentyä niin paljon, ettei sitä enää pystytä havaitsemaan.

Tulos koskee siis tuotokseen liitettävää vaikutusta – ei sitä, onko kuvaa koskaan käytetty koulutuksessa, tallennettu malliin tai pystyykö malli joskus toistamaan sen.

Näin tutkijat testasivat vaikutusta

Tavanomaisten likiarvioiden sijaan tutkijat rakensivat diffuusioensemblen. Se koostui itsenäisesti koulutetuista mallikomponenteista, joille annettiin hallittu osa opetusdatasta. Kun tutkijat halusivat selvittää, mitä tapahtuisi ilman tiettyä opetuskuvaa, he poistivat käytöstä kaikki komponentit, jotka olivat nähneet kyseisen kuvan. Näin he saivat täsmällisen vastakysymyksen: ”Miltä tuotos näyttäisi, jos tätä kuvaa ei olisi ollut mukana koulutuksessa?” Monoliittista mallia ei tarvinnut kouluttaa uudelleen.

Ensemblea verrattiin 24 tavanomaiseen diffuusiomalliin, jotka oli koulutettu samalla datalla. Tutkijoiden mukaan niiden tavanomaiset kuvanlaatumittarit olivat suunnilleen samalla tasolla.

Kaikkiaan kokeissa käytettiin 24 ensemblea ja seitsemää julkista kuvakokoelmaa. Aineistojen koko vaihteli 256 kuvasta yli 160 000 kuvaan. Jokaisesta tuotoksesta muodostettiin niin sanottu vastamaailma: joukko versioita, joissa yksi ehdokas opetusyksikkö kerrallaan oli jätetty pois. Alkuperäisen ja muuttuneen tuotoksen suurinta eroa kuvattiin käsitteellä vastamaailman säde (counterfactual radius). Se mittasi yhden pois jätetyn yksikön suurinta kausaalista vaikutusta.

Mitä attribuution rapautuminen osoitti?

Kun opetusdatasta tehtiin suurempi, vastamaailman säde pieneni. Yhden kuvan poistaminen vaikutti tuotettuun kuvaan yhä vähemmän – lopulta ei välttämättä havaittavasti lainkaan.

Riittävän suurilla aineistoilla sama ilmiö saattoi koskea myös laajempia kokonaisuuksia. Tutkijoiden kokeissa edes tietyn taiteilijan kaikkien kuvien tai tiettyä henkilöä esittävien valokuvien poistaminen ei usein muuttanut tuotosta merkittävästi.

Tämä tarkoittaa tutkimuksen käyttämässä vastamaailmatestissä, ettei kyseiselle aineistoyksikölle voida antaa kausaalista vastuuta kyseisestä tuotoksesta, jos sen poistaminen ei muuta lopputulosta.

Mitä tämä voisi tarkoittaa tekijänoikeuskiistoissa?

Tulos saattaa vaikeuttaa tiettyä tapaa perustella tekijänoikeusloukkausta kuvageneraattoreita vastaan. Jos väite on, että tietty kiistanalainen tuotos johtui nimettyyn taiteilijaan liittyvistä teoksista tai tämän tyylin kopioista, kantajan voi olla vaikea osoittaa suoraa, tuotokseen kohdistuvaa kausaalista vaikutusta, jos koko taiteilijan aineiston poistaminen jättää kuvan käytännössä ennalleen.

Tutkimus ei kuitenkaan ratkaise yksittäisiä oikeustapauksia eikä luo oikeudellista sääntöä. Tekijänoikeuskiistoissa voidaan arvioida esimerkiksi luvatonta kopiointia koulutusvaiheessa, tietyn tuotoksen ja suojatun teoksen olennaista samankaltaisuutta, aineiston saatavuutta, markkinahaittaa ja sopimusehtoja. Yhden opetuskuvan välttämättömyys yhdelle tuotokselle on vain yksi mahdollinen kysymys.

Tutkimuksen tärkeät rajoitukset

• Tulos ei tarkoita, ettei malli muistaisi mitään. Tuotos voi olla attribuoitumaton mille tahansa yksittäiselle opetuskuvalle tämän poistotestin perusteella, vaikka malli olisi silti painanut aineistoa mieleensä, pystyisi toistamaan materiaalia tietyillä kehotteilla tai otantatavoilla tai tuottaisi olennaisesti suojattua teosta muistuttavan kuvan. Tutkimus mittaa herkkyyttä aineistoyksiköiden poistamiselle, ei kaikkia muistamisen tai loukkauksen muotoja.
• Tulos ei vielä koske suuria kielimalleja. Tutkimus käsitteli diffuusiomalleja, joita käytetään esimerkiksi kuvien tuottamiseen. Ensemble- ja ablaatiomenetelmää sekä havaittua skaalautumisilmiötä ei ole tämän perusteella osoitettu transformer-pohjaisissa suurissa kielimalleissa.
• Muu näyttö on edelleen tarpeen. Tuomioistuimet ja tekniset tutkijat tarvitsisivat yhä esimerkiksi kehotteisiin perustuvia toistokokeita, samankaltaisuus- ja alkuperäanalyysiä, koulutusdataa ja järjestelmän toimintaa koskevia lokitietoja, malliauditointeja sekä sovellettavaa oikeudellista arviointia.

Attribuution rapautuminen kertoo, että yksittäiseen lähteeseen perustuva kausaalinen selitys voi hajota aineiston kasvaessa. Se ei osoita, etteikö kopiointia voisi todistaa muun näytön avulla.