Claude-vannmerket ble omgått på fire timer – dette avslører om tekstens opphav

Slik forsøker verktøyene å omgå merkingen

Claude-vannmerket består ikke av en samling usynlige tegn som enkelt kan slettes. Anthropic beskriver det som et statistisk mønster i modellens valg av ord eller tokens. En verifikator med riktig deteksjonsmetode vurderer om tekstsekvensen statistisk sett stemmer overens med Claudes genereringsprosess.

Meyers løsning bruker en språkmodell uten vannmerking til å lage flere omskrivinger. Synonymer byttes ut, og formuleringer organiseres på nytt, samtidig som meningen forsøkes bevart. Dermed endres selve mønsteret i ordvalgene som vannmerket bygger på.

Andre nettleserbaserte verktøy som er omtalt i rapporteringen, retter seg mot andre sider ved AI-generert tekst. Ett verktøy fjerner usynlige eller tegnlignende Unicode-tegn, stokker om på setninger og erstatter synonymer. Det er også beskrevet hvordan kondensering av teksten eller oversettelse til et annet språk og tilbake igjen kan forstyrre et statistisk mønster.

Dette må likevel ikke blandes sammen med å fjerne selve Claude-vannmerket. Anthropic sier at tekstmerket verken består av skjulte tegn eller ekstra tekstmetadata.

Hva kan vannmerket fortelle – og hva kan det ikke fortelle?

Anthropic sier at vannmerket bygger på en variant av Google DeepMinds SynthID-Text. Når Claude gjør valg mellom flere egnede neste ord, bruker modellen en hemmelig nøkkelstyrt form for tilfeldighet som henger sammen med ordene som allerede står i teksten. En verifikator kan deretter anslå om teksten statistisk passer med disse valgene.

Merket skal være usynlig for leseren, ikke legge til tegn eller ekstra tokens og ikke ha praktisk betydning for mening, kvalitet, kreativitet, lesbarhet eller kostnad. Anthropic sier også at vannmerket ikke inneholder identifiserende informasjon og ikke kan spores til en bestemt person, organisasjon eller samtale.

Resultatet er derfor et signal om mulig medvirkning – ikke et personlig fingeravtrykk. Anthropic beskriver deteksjon som en sannsynlighet for at Claude har vært involvert i skrivingen av en tekst. Det kan ikke fastslå hvem som skrev teksten, bevise at et menneske ikke skrev den, identifisere tekst fra en annen modell eller gi pålitelige svar for korte tekstutdrag.

Forskjellen blir særlig viktig når Claude brukes til korrektur, lett redigering, oppsummering eller oversettelse. Anthropic sier at en lett redigert tekst bare kan beholde merket i ordene Claude selv valgte. Da kan signalet bli for svakt til at deteksjonen er pålitelig.

Hvorfor utviklere skiller mellom opphav og forfatterskap

Meyers kritikk handler ifølge rapporteringen ikke om at det skal være umulig å opplyse om AI-medvirkning. Han skiller mellom å attribuere innhold og å bruke et usynlig merke som mulig bevis mot en person. Bekymringen er at et sannsynlighetssignal ikke nødvendigvis skiller omfattende AI-skriving fra begrenset hjelp, som korrektur eller språkvask.

Det peker mot et større problem med tekstens opphav. En detektor kan finne at en tekst statistisk sett er forenlig med at Claude har bidratt. Den forteller ikke hvor mye av sluttresultatet som kom fra Claude, hvor mye et menneske endret, eller hvem som opprinnelig kom på ideene.

Når tekst blir kraftig omskrevet, oversatt, forkortet eller bygget opp på nytt, blir grensen mellom «AI-generert» og «menneskeskrevet med AI-hjelp» vanskeligere å trekke. At et vannmerke forsvinner etter en omfattende bearbeiding, sier ikke nødvendigvis noe enkelt om hvor stor rolle AI spilte i den første versjonen.

Det finnes heller ikke dekning i kildene for at vannmerking endrer eierskapet til Claude-tekst eller brukernes øvrige rettigheter. Anthropic presenterer systemet som en metode for å anslå mulig Claude-medvirkning, ikke som et eierskapskrav.

Hvorfor omskriving svekker statistiske vannmerker

Et statistisk vannmerke er avhengig av et mønster som fordeler seg over mange ordvalg. Dersom teksten i hovedsak forblir uendret, kan mønsteret følge med når teksten kopieres og limes inn, og det kan overleve noe redigering. Men omfattende parafrasering, oversettelse eller omskriving kan endre nok av ordlyden til at signalet ikke lenger kan oppdages.

Forskere som Nature har omtalt, er tilsvarende skeptiske til om tekstvannmerker på en pålitelig måte vil hindre motiverte brukere i å skrive om AI-tekst, også ved hjelp av en annen språkmodell. Bekymringen er at signalet kan fjernes samtidig som meningen i stor grad bevares.

Det betyr ikke at vannmerking er uten verdi. For lengre tekster som fortsatt ligger tett på originalgenereringen, kan det gi et maskinlesbart spor og støtte vanlige kontroller. Men teknologien er svakere som varig bevis på uendret opphav – særlig når et menneske gjør betydelige endringer.

Hva krever EU-reglene?

Det relevante EU-kravet legger hovedansvaret på leverandørene. De skal innarbeide tekniske løsninger som støtter maskinlesbar merking og oppdagelse av innhold som er generert eller manipulert av AI, med forbehold om hva som er teknisk mulig. Lovteksten nevner vannmerker og andre teknikker som mulige tilnærminger, men garanterer ikke at én metode vil fungere i alle situasjoner.

Kildene som er tilgjengelige her, dokumenterer ikke et generelt EU-forbud mot at uavhengige tredjeparter utvikler eller bruker verktøy som fjerner vannmerker. De forklarer heller ikke hvorfor Anthropic i utgangspunktet ikke kunne begrense funksjonen geografisk til EU. Selskapets uttalte løsning gjelder i stedet globalt der støttede Claude-modeller tilbys.

Konklusjonen

Claude-utrullingen viste både nytten og skjørheten ved AI-vannmerking. Et vannmerke kan fungere som et sannsynlig signal om at Claude har bidratt til en tekst, men det er verken skjulte metadata, en personlig identifikator eller et avgjørende bevis på at Claude skrev sluttresultatet.

At omskrivingsverktøy dukket opp – med Meyers prosjekt etter bare fire timer – viser hvorfor EUs krav om maskinlesbar merking bør forstås som et åpenhetstiltak, ikke som en vanntett kjede av dokumentasjon om tekstens opphav.