Proč OpenAI vyřadila hodnotitele, kteří při posuzování ChatGPT použili AI

OpenAI podle zjištění médií vyřadila několik externích pracovníků, kteří při hodnocení jejích modelů použili umělou inteligenci. Podstatné není to, že lidé pracující pro firmu vyvíjející AI sáhli po AI. Dostávali zaplaceno za nezávislé lidské posouzení odpovědí ChatGPT; pokud hodnocení vytvoří další model, tento účel se vytrácí. Zprávy o vyřazení se týkají širší práce externích hodnotitelů pro OpenAI. Neprokazují, že všichni dotčení pracovali právě v projektu Lily.1613

Co hodnotitelé v projektu Lily dělají

Podle zveřejněných informací se na projektu Lily podílejí stovky externistů, kteří čtou skutečné dotazy pro ChatGPT a v některých případech i okolní část konverzace. Nábor má probíhat přes společnost Crossing Hurdles, výplaty přes Mercor. Jeden pracovník uvedl odměnu přes 50 dolarů za hodinu; nelze z toho vyvozovat, že stejnou sazbu mají všichni.220

Hodnotitel nejprve shrne, čeho chtěl uživatel dosáhnout. Pak slovně posoudí navržené odpovědi ChatGPT a přidělí jim známky na škále od 1 do 7. Podle dostupných popisů může srovnávat až čtyři varianty a věnuje pozornost například tónu, strojeným formulacím nebo přehnanému přitakávání. Známky a komentáře mají sloužit ke zlepšování budoucího chování modelu.41131

Proč nestačí nechat hodnocení napsat AI

Člověk může samostatně posoudit, zda odpověď skutečně pomáhá a zda uživateli nepřitakává za každou cenu. Když za něj komentář napíše nebo známku vybere jiná AI, může zpětná vazba odrážet preference modelu místo lidského úsudku. Tím se snižuje její hodnota jako nezávislé kontroly. Samo o sobě to ale nedokazuje, že konkrétní hodnocení vytvořené s pomocí AI poškodilo výsledný model.416

Zveřejněné pokyny proto zakazují použít AI k posuzování práce či psaní zpětné vazby; výslovně zmiňují i Grammarly a funkce překladu pomocí AI. Hodnotitelé, kteří kontrolují práci ostatních, zároveň podle pokynů nemají používat nástroje na detekci textu vytvořeného AI, protože jsou považovány za nespolehlivé.139

Jak lze porušení odhalit — a co zůstává nejisté

Vedoucí si podle zpráv všímají například opakujících se formulací připomínajících výstup AI nebo neobvykle rychlého dokončování úkolů. Takové signály mohou vést k bližší kontrole, samy však použití AI neprokazují. Dostupné zprávy neukazují, jak často se podezření potvrdí ani kolik případů kontrola přehlédne.933

Stejně tak lidský původ hodnocení není zárukou jeho kvality: i člověk může pracovat nedbale nebo úmyslně přidělit špatnou známku. Poskytnuté zdroje však neověřují konkrétní tvrzení, že se některý externista k úmyslnému udělování chybných hodnocení přiznal. Nelze proto určit okolnosti ani rozsah takového jednání. Jistý je užší závěr: vedle kontroly použitých nástrojů je potřeba prověřovat i kvalitu samotných úsudků.14

Pro uživatele má projekt ještě další rozměr. Externí hodnotitelé mohou vidět text skutečných konverzací a filtr, který má před jejich zpřístupněním odstranit osobní údaje, podle zpráv nemusí zachytit všechny citlivé podrobnosti. Záleží tedy nejen na spolehlivosti známek, ale i na zacházení s uživatelskými rozhovory.812