Proč OpenAI údajně vyřadilo kontraktory, kteří nechali ChatGPT hodnotit AI

Projekt Lily je podle 404 Media systém lidského posuzování, v němž kontraktoři hodnotí odpovědi ChatGPT, aby se jeho budoucí chování mohlo zlepšovat. Právě proto měli být z projektu vyřazeni pracovníci, kteří při hodnocení používali generativní AI: hodnota těchto dat má vycházet z nezávislého lidského úsudku. Pokud úsudek dodá model, proces už čistě neměří, co lidé skutečně preferují. 1920

Co recenzenti projektu Lily údajně dělají

Podle popsaného postupu dostávají recenzenti skutečné prompty pro ChatGPT a někdy i celé konverzace. Shrnou záměr uživatele, porovnají kandidátní odpovědi a přidělí jim skóre na škále 1 až 7. U jednoho úkolu mohou posuzovat až čtyři odpovědi. Důraz přitom není jen na faktickou správnost, ale také na chování modelu: tón, přehnané lichocení neboli sykofancii či příliš „lidsky“ působící tvrzení. 819

Taková hodnocení se mohou proměnit v data o preferencích – tedy strukturovaný záznam, kterou odpověď člověk považuje v daném kontextu za lepší. Pro dolaďování chování modelu jsou užitečná jen tehdy, když jsou posudky dostatečně konzistentní, informované a nezávislé.

Projekt Lily má zahrnovat stovky externích recenzentů. Reportáže uvádějí nábor přes Crossing Hurdles a vyplácení přes Mercor; jeden z recenzentů měl dostávat více než 50 dolarů za hodinu. Zmínka o více než 10 000 kontraktorech se naproti tomu týká širší sítě hodnoticích procesů souvisejících s OpenAI, nikoli výhradně projektu Lily. 196

Proč AI vytvořené známky popírají smysl lidské zpětné vazby

AI může být rychlým a někdy užitečným nástrojem pro interní testování. Odpovídá však na jinou otázku než člověk, který vyjadřuje vlastní preferenci. Model obvykle reprodukuje vzorce, jež si osvojil při tréninku, a může zvýhodňovat odpovědi se známým stylem, formulacemi či předpoklady.

Pokud se výstup modelu – nebo velmi příbuzného modelu – opakovaně používá k odměňování budoucích výstupů, může vzniknout zpětnovazební smyčka:

1. hodnotící model upřednostňuje odpovědi podobné svým stávajícím preferencím;
2. trénink tyto odpovědi odměňuje;
3. další verze modelu pak s větší pravděpodobností vytváří stejné vzorce;
4. alternativní styly, menšinové preference nebo odpovědi, které hodnotitel neumí dobře posoudit, dostávají méně užitečnou zpětnou vazbu.

To neznamená, že každé použití AI při hodnocení model nutně zhorší. Automatizované vyhodnocování může být přínosné, pokud je ověřeno vůči lidskému úsudku a má jasně stanovené limity. Nahradit jím práci objednanou výslovně jako zdroj lidských preferencí ale oslabuje nezávislost trénovacího signálu – a to je zřejmě důvod údajného zákazu.

Jak se mělo odhalovat podezřelé používání AI

Vedoucí podle reportáží neměli spoléhat na detektory AI textu, například GPTZero. Místo toho měli hodnotit pracovní vzorce a výsledné texty lidským posouzením: hledat mimořádně jednotné formulace, charakteristické používání interpunkce či formátování a nepravděpodobně rychlé dokončování úkolů. 6

Takový přístup má zjevný limit: žádný z těchto znaků sám o sobě nedokazuje, že pracovník použil AI. Rychlý autor může být jednoduše zkušený a podobné formulace mohou vycházet ze společných pokynů. Věrohodný postup proto musí odlišovat podnět k prověření od důkazu dostatečného pro vyřazení člověka z projektu.

Proč nejsou přesná pravidla detekce veřejná

Organizace obvykle nezveřejňují podrobná kritéria proti obcházení pravidel, protože přesný seznam by se mohl stát návodem, jak kontroly obejít. Kontraktoři by mohli měnit formulace, uměle prodlužovat dobu práce nebo upravovat formát, a přitom dál přenechávat úsudek modelu.

Utajení však přináší i vlastní riziko. Pokud pracovníci nevědí, jak bylo rozhodnutí o kvalitě učiněno, hůře se proti omylům brání. Dlouhodobě funkční systém integrity proto potřebuje neveřejné metody odhalování, ale zároveň srozumitelná pravidla, zdokumentovaná rozhodnutí a smysluplnou možnost odvolání či opravy.

Jaké pravidlo údajně uplatňuje Mercor

Mercor podle reportáží uvedl, že používání AI k provádění této hodnoticí práce porušuje pravidla a že potvrzené případy vedou k okamžitému vyřazení z příslušného projektu. Zákaz se měl týkat i širší AI asistence, včetně nástrojů pro psaní zpětné vazby nebo komentářů. 640

Slabinou není jen použití AI

Údajný případ záměrně špatných hodnocení ukazuje širší problém: „lidská zpětná vazba“ není automaticky spolehlivá jen proto, že ji odeslal člověk. Recenzent může spěchat, nepochopit hodnoticí pravidla, optimalizovat práci na objem, jednat ve zlé víře nebo se snažit obejít neprůhledný systém kontroly kvality.

Jde o problém pobídek stejně jako o technickou otázku. Vývojář modelu potřebuje uvážlivé a poctivé posudky, které povedou k lepšímu chování pro skutečné uživatele. Kontraktor ale může být odměňován hlavně za rychlost, dokončení úkolů či vyhnutí se zamítnutí. Když se tyto motivace rozcházejí, mohou být data šumová nebo systematicky zkreslená.

Jak by měly vypadat silnější pojistky

Lidské posuzování zůstává důležité tam, kde je úsudek závislý na kontextu, subjektivní nebo obtížně automaticky ověřitelný. Nejlépe ale funguje jako systém vzájemných kontrol, nikoli jako prostý proud jednotlivých známek. Mezi praktické pojistky patří:

• Nezávislé překryvy: část stejných úloh posuzuje více recenzentů a sleduje se míra neshody.
• Kalibrační úlohy: známé příklady ověřují, zda recenzenti rozumějí pravidlům hodnocení.
• Audity kvality: podezřelé vzorce se prověřují, aniž by jediný stylistický znak byl považován za průkazný důkaz.
• Jasně oddělené role: odlišit samotné hodnocení od kontroly kvality a odvolání.
• Ověření dopadu: testovat, zda data s vysokým hodnocením opravdu zlepšují chování modelu pro uživatele.
• Ochrana soukromí: omezovat rozsah informací dostupných recenzentům a průběžně zkoušet, zda filtry spolehlivě odstraňují citlivé údaje. Reportáž o projektu Lily upozorňuje, že se v konverzacích mohou osobní údaje objevit i přes snahy o anonymizaci. 19

Závěr je jednoduchý: trénování podle preferencí je jen tak důvěryhodné, jako je proces, který tyto preference vytváří. Lidský recenzent není sám o sobě zárukou kvality a hodnocení vytvořené AI nemůže bez dalšího nahradit nezávislou lidskou zpětnou vazbu, má-li systém zjišťovat, čeho si lidé skutečně cení.