Mieli oceniać ChatGPT jako ludzie. Za korzystanie z AI tracili zlecenia

OpenAI miało usuwać z projektów wykonawców, którzy używali AI do oceniania odpowiedzi jego modeli. Nie chodzi o paradoks w rodzaju „firma AI zakazuje AI”. Zlecone zadania miały dostarczać niezależnych ocen ludzi. Jeśli ocenę lub jej uzasadnienie przygotowuje inny model, taki głos przestaje spełniać swoją rolę. Doniesienia łączą te przypadki z szerszą pracą wykonawców dla OpenAI i opisują Project Lily jako jeden z programów opartych na ludzkich ocenach. Nie potwierdzają jednak, że każda usunięta osoba pracowała właśnie przy Lily.1613

Na czym polega ocenianie w Project Lily?

Według doniesień w programie pracują setki zewnętrznych wykonawców. Otrzymują do oceny prawdziwe pytania użytkowników ChatGPT, a czasem także fragmenty całych rozmów. Recenzentów ma rekrutować Crossing Hurdles, natomiast wypłaty przechodzą przez Mercor. Jeden z wykonawców podał, że zarabiał ponad 50 dolarów za godzinę — nie należy tego traktować jako potwierdzonej stawki dla wszystkich.220

Recenzent najpierw opisuje, co użytkownik chciał osiągnąć. Następnie komentuje i ocenia proponowane odpowiedzi ChatGPT w skali od 1 do 7. Zadanie może obejmować do czterech wersji odpowiedzi. Ocenie podlegają m.in. ton, sztucznie brzmiące sformułowania i nadmierne przytakiwanie użytkownikowi. Punktacja wraz z pisemnym uzasadnieniem ma pomagać w ulepszaniu zachowania przyszłych modeli.41131

Dlaczego pomoc AI jest tu problemem?

Człowiek może samodzielnie ocenić, czy odpowiedź rzeczywiście odpowiada na pytanie i czy nie próbuje za wszelką cenę przypodobać się użytkownikowi. Gdy oddaje napisanie komentarza albo wybór oceny innemu modelowi, informacja zwrotna może odzwierciedlać preferencje AI zamiast ludzkiego osądu. To ryzyko dla wartości takich ocen, a nie dowód, że konkretna ocena sporządzona z pomocą AI zaszkodziła modelowi.416

Opisywane instrukcje zabraniają używania AI do sprawdzania pracy i pisania komentarzy; wymieniają również Grammarly oraz funkcje tłumaczenia oparte na AI. Osobom kontrolującym innych wykonawców zakazują z kolei korzystania z narzędzi wykrywających tekst AI, określając je jako niewiarygodne.139

Co można wykryć, a czego nie wiadomo?

Według doniesień osoby nadzorujące pracę zwracają uwagę na sygnały takie jak powtarzalne, przypominające AI sformułowania czy nietypowo szybkie kończenie zadań, zamiast polegać na wyniku detektora. To powód do bliższego sprawdzenia pracy, nie samodzielny dowód naruszenia zasad. Dostępne materiały nie pokazują, jak często takie podejrzenia okazują się trafne ani jak wiele przypadków umyka kontroli.933

Nawet ocena sporządzona bez pomocy AI może być nierzetelna: człowiek też może pracować niedbale albo świadomie wystawić złą notę. Dostępne materiały nie potwierdzają konkretnej relacji o przyznaniu się wykonawcy do celowego wybierania złych ocen, więc nie da się ustalić okoliczności ani skali takiego zjawiska. Wniosek jest ostrożniejszy: informacja, że ocena pochodzi od człowieka, nie gwarantuje jeszcze jej jakości. Trzeba kontrolować również same oceny.14

Dla użytkowników pozostaje osobna kwestia prywatności. W Project Lily recenzenci mogą widzieć treść rzeczywistych rozmów, a filtr prywatności, który ma usuwać dane identyfikujące, może przeoczyć niektóre wrażliwe informacje. Rzetelność ocen i sposób obchodzenia się z rozmowami są więc dwoma różnymi, istotnymi problemami.812