Claudeův vodoznak prolomili během několika hodin. Co to odhaluje o původu textu

Jak se nástroje snaží vodoznak obejít

Claudeův textový vodoznak není vrstva neviditelných znaků, kterou lze jednoduše vymazat. Anthropic jej popisuje jako statistický vzorec v tom, jak model vybírá slova nebo tokeny. Ověřovací systém pak zkoumá, zda je sled slov statisticky slučitelný s procesem, kterým Claude text vytvořil.

Meyerův přístup využívá jazykový model bez vodoznaku k vytvoření několika přeformulovaných verzí textu. Mění synonyma, upravuje stavbu vět a snaží se zachovat význam. Tím narušuje právě vzorec volby slov, na němž detekce stojí.

Další nástroje dostupné v prohlížeči cílí na jiné vlastnosti výstupu. Jeden z nich odstraňuje neviditelné nebo podobně vypadající znaky Unicode, mění pořadí vět a nahrazuje synonyma. Jako možné metody narušení statistického vzorce se zmiňuje také zkrácení textu nebo jeho překlad do jiného jazyka a následný překlad zpět. Tyto postupy však nelze zaměňovat s odstraněním samotného Claudeova textového vodoznaku: Anthropic uvádí, že vodoznak není založen na skrytých znacích ani na dodatečných textových metadatech.

Co vodoznak může a nemůže prokázat

Anthropic říká, že jeho řešení vychází z varianty přístupu SynthID-Text od Google DeepMind. Při výběru některých vhodných slov model používá náhodnost řízenou tajným klíčem a související s předchozími slovy. Ověřovatel pak může odhadnout, zda je výsledný text statisticky v souladu s těmito volbami.

Značka má být pro čtenáře neviditelná, nemá přidávat žádné znaky ani spotřebovávat další tokeny a podle Anthropicu nemá prakticky ovlivňovat význam, kvalitu, kreativitu, čitelnost ani cenu výstupu. Společnost zároveň uvádí, že vodoznak neobsahuje identifikační údaje a nelze jej vystopovat ke konkrétnímu člověku, organizaci nebo chatu.

Jde tedy o signál možného původu, nikoli o osobní otisk. Anthropic popisuje detekci jako pravděpodobnost, že se Claude na napsání pasáže podílel. Výsledek nemůže určit, kdo text napsal, dokázat, že jej člověk nenapsal, identifikovat výstup jiného modelu ani spolehlivě vyhodnotit krátké pasáže.

Rozdíl je důležitý zejména při korekturách, lehkých úpravách, shrnování nebo překladu. Anthropic upozorňuje, že u lehce upraveného textu může značka zůstat jen u několika slov vybraných Claudem. Signálu pak nemusí být dost na spolehlivou detekci.

Proč vývojáři odmítají používat detekci jako důkaz autorství

Meyer podle dostupných informací nezpochybňuje samotné určování původu obsahu. Rozlišuje mezi atribucí obsahu a neviditelnou značkou, která by mohla být použita jako důkaz proti určitému člověku. Jeho obava spočívá v tom, že pravděpodobnostní signál nemusí rozlišit rozsáhlé autorství AI od omezené pomoci, například korektury nebo editace.

To odhaluje širší problém s původem textu. Detektor může zjistit, že pasáž statisticky odpovídá zapojení Claude, ale neřekne, jak velká část výsledného textu pochází od modelu, co změnil člověk ani kdo přišel s původními myšlenkami. Jakmile je text výrazně přepsán, přeložen, zkrácen nebo znovu sestaven, hranice mezi „textem vytvořeným AI“ a „lidským textem s pomocí AI“ se rozostřuje.

Dostupné zdroje nenaznačují, že by vodoznak měnil vlastnictví výstupu Claude nebo podstatná práva uživatelů. Anthropic systém představuje jako způsob odhadu možného zapojení Claude, nikoli jako nárok na vlastnictví.

Proč rozsáhlý přepis statistický vodoznak oslabuje

Statistický vodoznak závisí na vzorci rozloženém mezi mnoha volbami slov. Pokud text zůstane téměř beze změny, může se značka přenést i při kopírování a vložení a může přežít některé úpravy. Důkladné parafrázování, překlad nebo nový přepis však mohou změnit dostatečnou část formulací na to, aby signál přestal být rozpoznatelný.

Výzkumníci citovaní časopisem Nature proto zůstávají skeptičtí k tomu, že by textové vodoznaky spolehlivě odradily motivovaného člověka od přepsání výstupu AI, případně s pomocí dalšího jazykového modelu. Signál podle nich může zmizet, zatímco význam textu zůstane z velké části zachován.

To neznamená, že jsou vodoznaky k ničemu. U dostatečně dlouhého textu, který zůstal blízko původní podobě, mohou nabídnout strojově čitelnou stopu pro běžné kontroly. Jsou ale slabší jako trvalý důkaz nezměněného původu, zvlášť když člověk pasáž výrazně přepracuje.

Co vyžaduje EU AI Act

Příslušná unijní povinnost se týká především poskytovatelů. Ti mají do svých systémů začlenit technická řešení, která podporují strojově čitelné označení a detekci výstupu vytvořeného nebo zmanipulovaného AI. Právní text uvádí vodoznaky a další techniky jako možné přístupy, nikoli jako záruku, že jedna metoda bude fungovat za všech okolností.

Poskytnuté zdroje neprokazují obecný zákaz, který by třetím stranám v EU zakazoval vytvářet nebo používat nástroje k odstraňování vodoznaků. Stejně tak nevysvětlují, proč Anthropic nemohl funkci zpočátku omezit pouze na uživatele v EU. Firma místo toho uvádí, že označování uplatňuje celosvětově všude, kde jsou podporované modely Claude dostupné.

Výsledkem je praktický kompromis. Vodoznaky mohou zlepšit transparentnost a usnadnit následnou kontrolu textu, který zůstal relativně nedotčený. Nemohou však podle dostupných důkazů zaručit původ textu po cíleném přepsání. Samotný pozitivní výsledek detekce navíc neřeší otázky autorství, záměru ani odpovědnosti.

Závěr

Nasazení vodoznaku v Claude ukázalo jeho užitečnost i křehkost zároveň. Značka může fungovat jako pravděpodobnostní signál, že Claude k určité pasáži přispěl. Není ale skrytými metadaty, osobním identifikátorem ani průkazným důkazem, že Claude napsal výsledný text.

Rychlý vznik nástrojů k přepisu — počínaje Meyerovým projektem zveřejněným do čtyř hodin — ukazuje, proč je požadavek EU na strojově čitelné označování třeba chápat jako opatření pro větší transparentnost, nikoli jako dokonale spolehlivý řetězec původu.