Når AI mister forbindelsen til sine kilder

Den største målte forskel mellem det oprindelige output og de kontrafaktiske resultater blev kaldt den kontrafaktiske radius. Den fungerede som et mål for, hvor meget én udeladt træningsenhed kunne ændre resultatet.

Hvad betyder attribution decay?

Den kontrafaktiske radius faldt, når træningsdatasættene blev større. I praksis betød det, at fjernelsen af ét billede i stigende grad gav et resultat, der var vanskeligt at skelne fra originalen med undersøgelsens målemetode.

Konklusionen er umiddelbart kontraintuitiv: Flere træningsdata kan gøre et genereret billede mindre knyttet til ét bestemt eksempel, selv når eksemplet faktisk indgik i træningssættet. Modellen kan lære brede og overlappende mønstre fra mange kilder i stedet for at være afhængig af ét identificerbart billede for at skabe et bestemt resultat.

Ved tilstrækkeligt stor skala rakte effekten ud over enkeltbilleder. Ifølge studiet kunne man også fjerne alle billeder af en bestemt kunstner eller alle fotografier af en bestemt person uden at ændre det genererede resultat væsentligt i den testede kontrafaktiske situation.

Derfor beskriver forskerne fænomenet som forfald og ikke blot som en fejl i sporingen. Problemet er måske ikke, at efterforskere mangler et tilstrækkeligt kraftigt værktøj. Den kausale forbindelse mellem én kilde og ét output kan i sig selv være blevet for spredt til at kunne isoleres.

Hvad kan det betyde for retssager om ophavsret?

Attribution decay kan gøre én bestemt type argument i en ophavsretssag vanskeligere at bevise: at et omstridt output direkte blev forårsaget af værker fra en navngiven kunstner eller af kopier af disse værker i træningsdataene.

Hvis fjernelsen af en kunstners samlede produktion ikke ændrer resultatet mærkbart, bliver det vanskeligere at hævde, at netop denne samling var individuelt nødvendig for det pågældende billede i den kausale test.

Det kan få betydning for konflikter om kommercielle billedgeneratorer og påstande om, at modeller kopierer kunstneres stilarter. Storstilet træning svækker den enkle fortælling om, at et genkendeligt output er et direkte produkt af ét bestemt værk eller én bestemt kunstner. Studiet er derfor blevet beskrevet som noget, der potentielt komplicerer sager om immaterielle rettigheder og generative billedsystemer.

Men forskningen afgør ikke, om en virksomhed har krænket ophavsretten, og den udgør ikke i sig selv et juridisk forsvar. En ophavsretssag kan blandt andet handle om, hvorvidt beskyttede værker blev kopieret under træningen, om et output er væsentligt lig et beskyttet værk, hvad systemet kan genskabe med bestemte prompts, samt hvilke skader eller kontraktlige forpligtelser der gælder.

Den tekniske betydning af, at noget ikke kan attribueres, må derfor ikke forveksles med den juridiske betydning af, at noget ikke er blevet kopieret.

Studiet viser ikke, at modeller ikke kan huske

Eksperimentet tester modellens følsomhed over for at fjerne træningsenheder. Det undersøger ikke alle de måder, en model kan lagre eller genskabe information på.

En model kan godt vise ringe afhængighed af ét bestemt billede i ensemblets slettetest og samtidig være i stand til at genskabe et værk ved bestemte prompts eller sampling-indstillinger. Et output kan også ligne et beskyttet værk, selv om ingen enkelt træningsbillede kan påvises at være kausalt nødvendigt for resultatet.

Det er altså tre forskellige påstande:

• Dette billede påvirkede outputtet: Slettetesten finder en målbar ændring, når billedets indflydelse fjernes.
• Modellen så eller lagrede billedet: Modellen blev eksponeret for det og kan have memoriseret dele af det.
• Outputtet kopierer et beskyttet værk: En juridisk og teknisk konklusion, der kræver yderligere dokumentation.

Attribution decay handler direkte om det første spørgsmål. Det afgør ikke det andet eller det tredje.

Resultatet gælder ikke automatisk for store sprogmodeller

Studiet handler om diffusionsbaserede generative modeller til billeder og beslægtede audiovisuelle medier. Ensemble-arkitekturen og det observerede skaleringsmønster kan ikke uden videre overføres til transformerbaserede store sprogmodeller.

Sprogmodeller har andre arkitekturer, træningsprocedurer, tokenrepræsentationer og former for output. Studiet kan inspirere til fremtidige undersøgelser af attribution i sprogmodeller, men det dokumenterer ikke, at den samme form for attribution decay forekommer i LLM’er.

Hvilke andre beviser er stadig nødvendige?

Når spørgsmålet er, om et AI-system har kopieret et værk, er attribution decay kun ét stykke af bevismaterialet. Domstole og tekniske efterforskere kan fortsat være nødt til at undersøge:

• om systemet kan genskabe et bestemt værk med kontrollerede prompts;
• visuelle ligheder mellem outputtet og det værk, der angiveligt er kopieret;
• oplysninger om værkets oprindelse, adgang til materialet og dokumentation for træningsdataene;
• resultater fra modelrevisioner og systemdokumentation;
• om outputtet afspejler en bred stil eller et identificerbart, beskyttet udtryk; og
• de juridiske standarder, der gælder for den konkrete tvist.

Studiets vigtigste pointe er derfor mere præcis – og mere nyttig – end påstanden om, at AI “glemmer” sine kilder. Når diffusionsdatasæt vokser, kan det enkelte træningseksempels kausale bidrag blive så spredt, at det ikke længere kan måles i et bestemt output. Det gør kildeangivelse vanskeligere, men det gør ikke memorisering, genskabelse eller en ophavsretlig vurdering umulig.