Claude-vandmærke omgået på få timer: Det afslører om AI-teksters oprindelse

Sådan forsøger værktøjerne at ramme vandmærket

Claude-vandmærket består ikke af en række usynlige tegn, som blot kan slettes. Anthropic beskriver det som et statistisk mønster i modellens valg af ord eller tokens. En kontrolmekanisme vurderer derefter, om tekstens rækkefølge statistisk passer med den måde, Claude genererer tekst på.

Meyers metode bruger en sprogmodel uden vandmærke til at lave flere omskrivninger. Synonymer udskiftes, og formuleringer eller sætningsstrukturer ændres, mens meningen forsøges bevaret. På den måde angribes selve mønstret i ordvalget.

Andre browserbaserede værktøjer, som er omtalt i rapporteringen, fokuserer på andre dele af AI-output. Et værktøj fjerner usynlige eller visuelt lignende Unicode-tegn, bytter om på sætninger og erstatter synonymer. Det nævnes også, at en tekst kan forkortes eller oversættes til et andet sprog og tilbage igen for at forstyrre et statistisk mønster.

Det er dog vigtigt ikke at blande metoderne sammen: Anthropic siger, at tekstvandmærket ikke er skjulte tegn eller tilføjet tekstmetadata.

Hvad kan Claude-vandmærket – og hvad kan det ikke – vise?

Anthropic siger, at teknologien bygger på en version af Google DeepMinds SynthID-Text. Ved valg af det næste ord blandt flere egnede muligheder bruger Claude en hemmelig nøglebaseret tilfældighed, der hænger sammen med de foregående ord. En kontrolmekanisme kan derefter vurdere, om teksten statistisk passer med disse valg.

Mærket er designet til ikke at kunne ses af læseren, til ikke at tilføje tegn eller bruge ekstra tokens og til ikke i praksis at ændre tekstens betydning, kvalitet, kreativitet, læsbarhed eller pris. Anthropic oplyser desuden, at mærket ikke indeholder identificerende oplysninger og ikke kan spores til en bestemt person, organisation eller chat.

Det gør mærket til et signal om mulig medvirken – ikke et personligt fingeraftryk. Anthropic beskriver påvisning som en sandsynlighed for, at Claude har været involveret i skrivningen af en tekst. Resultatet kan ikke fastslå, hvem der skrev teksten, bevise at et menneske ikke skrev den, identificere output fra en anden model eller pålideligt vurdere korte tekststykker.

Forskellen er særlig vigtig, når Claude bruges til korrektur, let redigering, opsummering eller oversættelse. Anthropic siger, at en let redigeret passage kun kan bevare mærket i de få ord, Claude selv valgte. Så kan signalet være for svagt til en pålidelig påvisning.

Hvorfor udviklere afviser, at påvisning er bevis på forfatterskab

Meyers kritik handler ifølge rapporteringen ikke om at afvise idéen om at kunne tilskrive indhold. Han skelner mellem indholdstilskrivning og et usynligt mærke, der kan blive brugt som bevis imod en person. Hans bekymring er, at et sandsynlighedssignal ikke nødvendigvis kan skelne mellem omfattende AI-forfatterskab og begrænset hjælp som korrektur eller redigering.

Det peger på et bredere problem med at fastslå tekstens oprindelse. En detektor kan finde, at en passage statistisk passer med, at Claude har medvirket. Men den fortæller ikke, hvor stor en del af den færdige tekst Claude stod for, hvor meget et menneske ændrede, eller hvem der oprindeligt havde idéerne.

Når tekst er blevet omskrevet, oversat, forkortet eller bygget op igen, bliver grænsen mellem "AI-genereret" og "menneskeskrevet med AI-hjælp" mere flydende.

De foreliggende oplysninger viser ikke, at vandmærkningen ændrer ejerskabet til Claude-output eller brugernes grundlæggende rettigheder. Anthropic præsenterer systemet som en metode til at vurdere mulig medvirken fra Claude – ikke som et ejerskabskrav.

Hvorfor omskrivning svækker statistiske vandmærker

Et statistisk vandmærke bygger på et mønster, der er fordelt over mange ordvalg. Hvis teksten stort set forbliver uændret, kan mønstret følge med, når teksten kopieres og indsættes et andet sted, og det kan overleve en vis redigering. Omfattende parafrasering, oversættelse eller omskrivning kan derimod ændre så meget af ordlyden, at signalet ikke længere kan opdages.

Forskere, som Nature har talt med, er tilsvarende skeptiske over for, om tekstvandmærker pålideligt kan afskrække en motiveret person fra at omskrive AI-output – også ved hjælp af en anden sprogmodel. Bekymringen er, at signalet kan fjernes, mens tekstens betydning i vid udstrækning bevares.

Det betyder ikke, at vandmærkning er uden værdi. Den kan give et maskinlæsbar spor ved almindelige kontroltjek, især når teksten er lang nok og stadig ligger tæt på den oprindelige generering. Men den er svagere som varigt bevis på uændret oprindelse, særligt når et menneske har revideret teksten grundigt.

Hvad kræver EU's AI-forordning – og hvad viser materialet ikke?

Det relevante EU-krav retter sig først og fremmest mod udbydere. De skal indarbejde tekniske løsninger, der understøtter maskinlæsbar mærkning og påvisning af AI-genereret eller AI-manipuleret output, under hensyn til hvad der teknisk kan lade sig gøre. Lovteksten nævner vandmærker og andre teknikker som mulige løsninger, men garanterer ikke, at én metode fungerer i alle situationer.

De foreliggende kilder dokumenterer ikke et generelt EU-retligt forbud mod, at uafhængige tredjeparter udvikler eller bruger værktøjer til at fjerne et vandmærke. De forklarer heller ikke, hvorfor Anthropic ikke fra begyndelsen kunne have begrænset funktionen geografisk til EU. Anthropic har i stedet valgt at anvende mærkning globalt, hvor understøttede Claude-modeller tilbydes.

Det efterlader et praktisk kompromis. Vandmærkning kan øge gennemsigtigheden og gøre efterfølgende kontrol lettere, når teksten er forholdsvis intakt. Men den kan ikke på baggrund af det tilgængelige materiale garantere tekstens oprindelse efter målrettet omskrivning. En positiv påvisning kan heller ikke i sig selv afgøre spørgsmål om forfatterskab, hensigt eller ansvar.

Konklusionen

Claude-udrulningen viste både værdien og skrøbeligheden ved vandmærkning af AI-tekst. Et vandmærke kan fungere som et sandsynlighedssignal om, at Claude har bidraget til en passage, men det er hverken skjulte metadata, en personlig identifikator eller et endeligt bevis på, at Claude skrev den færdige tekst.

At omskrivningsværktøjer dukkede op – begyndende med Meyers projekt efter blot fire timer – viser, hvorfor EU's krav om maskinlæsbar mærkning bør forstås som et gennemsigtighedstiltag og ikke som en fejlfri kæde af dokumentation for tekstens oprindelse.