Project Lily: externisté OpenAI podle 404 Media hodnotí skutečné konverzace v ChatGPT

Vyšetřování serveru 404 Media popisuje interní projekt OpenAI nazvaný Project Lily jako systém lidské zpětné vazby, který pracuje se skutečnými konverzacemi spotřebitelů s ChatGPT. Podle uniklých materiálů, ukázek promptů a vyjádření, jež redakce posoudila, mohou externí pracovníci číst kontext chatů při hodnocení odpovědí modelu — i když konverzace obsahují citlivé osobní údaje. 1

Pro lidi, kteří ChatGPT používají pro osobní, zdravotní, vztahové, právní nebo pracovní otázky, z toho plyne jednoduché pravidlo: pokyn chatbotu, aby něco „zůstalo mezi námi“, není nastavení přístupu k datům. Rozhodující je, zda účet dovoluje využívat nové konverzace ke zlepšování modelů. 1

Co mají hodnotitelé Project Lily dělat

404 Media uvedl, že stovky pracovníků najímaných přes personální agentury a placených více než 50 dolarů za hodinu hodnotí velké množství skutečných chatů v ChatGPT. Jejich úkoly podle reportáže zahrnují:

• shrnout, co uživatel zamýšlel;
• porovnat čtyři navržené odpovědi modelu;
• udělit hodnocení na stupnici od 1 do 7;
• označit prvky, které odpověď činí méně užitečnou nebo méně důvěryhodnou. 1

Kritéria se mají soustředit na kvalitu a přirozenost odpovědí ChatGPT. Hodnotitelé mají označovat formulace znějící „umělointeligentně“, faktické chyby, přehnaně souhlasný či podbízivý tón, bezpečnostní problémy a odpovědi, které nepravdivě naznačují, že model má osobní zkušenosti nebo emoce. 1

Tato zpětnovazební smyčka má odpovědi učinit přirozenějšími a méně mechanickými. Současně ale znamená, že zlepšování kvality může zahrnovat lidský přístup k obsahu uživatelských konverzací. 1

Odstraněné uživatelské jméno neznamená anonymní chat

OpenAI sdělila 404 Media, že před předáním materiálů hodnotitelům odstraňuje uživatelská jména a používá filtr soukromí. Vyšetřování však našlo příklady, kdy podklady pro hodnocení obsahovaly celý kontext konverzace i souhrny paměti vytvořené modelem. V těchto souhrnech se podle reportáže objevovaly údaje jako přibližná lokalita, profese či velmi osobní životní okolnosti. 1

Problémem je možnost identifikace z kontextu. I po odstranění jména či identifikátoru účtu může kombinace životních událostí, pracovních detailů, zeměpisných údajů nebo neobvyklých zmínek učinit konverzaci rozpoznatelnou pro někoho, kdo daného člověka zná — nebo alespoň velmi citlivou při zpřístupnění. 404 Media uvedl, že OpenAI připustila potíže filtrů s neobvyklými identifikátory a nejednoznačnými soukromými odkazy závislými na kontextu. 1

Věta „nech si to mezi námi“ kontrolu nezapne

Pokyn ChatGPT, aby zachoval důvěrnost rozhovoru, je pouze instrukce uvnitř dané konverzace, nikoli předvolba soukromí účtu. Nemění pravidla použití dat ani nebrání tomu, aby byl chat vybrán do procesu zlepšování popsaného serverem 404 Media. 1

Není proto rozumné zacházet se spotřebitelským chatbotem jako s důvěrným komunikačním kanálem jen proto, že konverzace působí osobně. Pokud by pro vás bylo problematické, aby danou informaci viděl oprávněný hodnotitel, bezpečnější je ji nevkládat do osobního pracovního prostoru, kde je zlepšování modelu zapnuté.

Jak zakázat využívání nových konverzací pro zlepšování modelu

Dokumentace OpenAI k ovládání dat uvádí, že uživatelé osobního pracovního prostoru mohou zlepšování modelu vypnout tímto postupem:

1. Profil → Nastavení
2. Data Controls
3. Vypněte přepínač „Improve the model for everyone“

Po vypnutí zůstanou nové konverzace v historii chatů, ale nebudou využity k trénování ani zlepšování modelů ChatGPT. Nastavení platí pro celý účet, ne pouze pro jedno zařízení.

Důležité je načasování: podle OpenAI se odhlášení vztahuje na nové konverzace. Zpětně neodstraní chaty, které byly odeslány v době, kdy bylo zlepšování modelu zapnuté.

Co to znamená pro Business, Enterprise a Edu

OpenAI uvádí, že vstupy a výstupy z ChatGPT Business, Enterprise, Edu a z platformy API standardně nepoužívá k trénování modelů. Naproti tomu u uživatelů ChatGPT Free, Plus a Pro v osobních pracovních prostorech je sdílení pro zlepšování modelu ve výchozím nastavení zapnuté, i když je lze v Data Controls vypnout.

Tento rozdíl neruší všechny povinnosti organizací v oblasti správy dat. Týmy by se stále měly řídit interními pravidly zaměstnavatele a ověřit si konkrétní nastavení svého pracovního prostoru. Oproti výchozímu režimu spotřebitelských chatů jde ale o podstatný rozdíl.

Je lidské hodnocení výjimečné jen pro OpenAI?

Lidská kontrola není specifická jen pro OpenAI. Zásady ochrany soukromí společnosti Anthropic uvádějí, že firma může své modely trénovat a zlepšovat s využitím vstupů a výstupů poskytnutých uživateli nebo crowdworkery, pokud se uživatel neodhlásí. Akademická analýza postupů velkých poskytovatelů AI také zjistila, že Google i OpenAI ve svých pravidlech zmiňují lidské posuzování uživatelských chatů pro trénování nebo zlepšování modelů.

Podstatné tedy není samotné používání lidské zpětné vazby. Jde o to, zda uživatelé vědí, kdy se jejich konverzace může do takového procesu dostat, co dokáže a nedokáže ochránit odstranění identifikátorů a jak změnit příslušné nastavení.

Praktický závěr pro soukromí

Project Lily je podle reportáže 404 Media připomínkou, že spotřebitelský chat s AI není automaticky důvěrnou komunikací mezi dvěma stranami. Odstranění identifikátorů může snížit riziko zpřístupnění, ale z konverzace bohaté na osobní kontext nemusí odstranit všechny prozrazující detaily. 1

Před sdílením citlivých informací v ChatGPT zkontrolujte Nastavení → Data Controls → Improve the model for everyone. Pokud je zlepšování modelu zapnuté, považujte nové chaty za potenciálně způsobilé pro využití při zlepšování služby. Pokud je vypnuté, OpenAI uvádí, že nové chaty pro tento účel používat nebude.