Dlaczego wykonawcy OpenAI mieli stracić zlecenia za używanie AI do oceniania ChatGPT

Project Lily, opisywany przez 404 Media, to proces oceny prowadzonej przez ludzi: wykonawcy analizują odpowiedzi ChatGPT, aby pomóc poprawiać przyszłe zachowanie modelu. To wyjaśnia, dlaczego osoby, które miały posłużyć się generatywną AI do wykonania tych ocen, były według doniesień usuwane z projektu. Wartością takich danych ma być niezależny ludzki osąd. Jeżeli osąd dostarcza model, proces przestaje wprost mierzyć to, co faktycznie preferują ludzie. 1920

Na czym ma polegać praca w Project Lily

Według opisywanego procesu recenzenci otrzymują prawdziwe prompty użytkowników ChatGPT, a czasem także całe rozmowy. Mają streścić intencję użytkownika, porównać warianty odpowiedzi i wystawić ocenę w skali od 1 do 7. W jednym zadaniu może pojawić się do czterech propozycji odpowiedzi. Nacisk ma dotyczyć cech zachowania modelu — m.in. tonu, nadmiernego schlebiania użytkownikowi czy zbyt „ludzkich” deklaracji — a nie wyłącznie poprawności faktograficznej. 819

Takie noty mogą stać się danymi preferencyjnymi: uporządkowanym zapisem tego, którą odpowiedź człowiek uznaje za lepszą w konkretnym kontekście. Są przydatne do dostrajania modelu tylko wtedy, gdy oceny są dostatecznie spójne, świadome i niezależne.

W Project Lily ma pracować kilkuset zewnętrznych recenzentów. Według relacji są rekrutowani przez Crossing Hurdles, a wynagrodzenia obsługuje Mercor; jeden z recenzentów mówił o stawce przekraczającej 50 dolarów za godzinę. Osobno w doniesieniach o szerszych operacjach ewaluacyjnych OpenAI pojawia się liczba ponad 10 tys. wykonawców we wszystkich potokach oceniania. Nie należy jednak traktować jej jako wielkości samego Project Lily. 196

Dlaczego oceny napisane przez AI podważają sens ludzkiego feedbacku

Model AI może oceniać szybko i bywa przydatny w testach wewnętrznych, ale odpowiada wtedy na inne pytanie niż człowiek wyrażający własną preferencję. Model ma skłonność do odtwarzania wzorców wyniesionych z treningu i może premiować odpowiedzi o znanym mu stylu, frazach lub założeniach.

Jeśli wyniki modelu — albo systemu blisko z nim powiązanego — są regularnie używane do nagradzania kolejnych odpowiedzi, może powstać pętla sprzężenia zwrotnego:

1. Oceniający model preferuje odpowiedzi zgodne z jego dotychczasowymi wzorcami.
2. Trening nagradza właśnie takie odpowiedzi.
3. Następny model częściej wytwarza te same schematy.
4. Alternatywne style, preferencje mniejszości lub odpowiedzi, których model nie umie właściwie ocenić, dostają słabszy sygnał zwrotny.

Nie znaczy to, że każda automatyczna ewaluacja szkodzi modelowi. Może być cenna, jeśli została sprawdzona względem ocen ludzi i ma jasno określone ograniczenia. Zastąpienie nią pracy zamówionej właśnie jako źródło ludzkich preferencji osłabia jednak niezależność danych treningowych — i to najpewniej jest powodem opisywanego zakazu.

Jak miał być wykrywany zakazany użytek z AI

Według doniesień przełożeni mieli nie opierać się na detektorach tekstu AI, takich jak GPTZero. Zamiast tego mieli analizować wzorce pracy i same odpowiedzi, zwracając uwagę m.in. na nienaturalnie jednolite sformułowania, powtarzalne znaki interpunkcyjne lub formatowanie oraz niewiarygodnie szybkie kończenie zadań. 6

Każdy z tych sygnałów ma oczywiste ograniczenia: szybki autor może być po prostu doświadczony, a podobne sformułowania mogą wynikać ze wspólnej instrukcji oceny. Dlatego takie wskaźniki powinny być punktem wyjścia do sprawdzenia, a nie samodzielnym dowodem wystarczającym do usunięcia kogoś z projektu.

Dlaczego szczegółowe kryteria nie są publiczne

Organizacje zwykle nie publikują dokładnych metod wykrywania obchodzenia zasad, bo gotowa lista kontrolna szybko stałaby się instrukcją ich omijania. Wykonawca mógłby zmienić styl, celowo zwalniać tempo albo modyfikować format, nadal zlecając faktyczny osąd modelowi.

Taka poufność rodzi jednak własne ryzyko. Jeśli pracownik nie wie, jak podjęto decyzję jakościową, trudniej mu zakwestionować pomyłkę. Trwały system kontroli wymaga więc niejawnych metod wykrywania, ale także jasnych reguł, udokumentowanych decyzji oraz realnej ścieżki odwołania lub korekty.

Stanowisko Mercor

Mercor miał przekazać, że używanie AI do wykonywania tej pracy narusza zasady, a potwierdzone przypadki skutkują natychmiastowym usunięciem z danego projektu. Z relacji wynika również, że zakaz obejmował szerzej narzędzia AI pomagające pisać feedback lub komentarze. 640

Problem z ludzkim feedbackiem jest szerszy niż używanie AI

Ludzki feedback nie staje się automatycznie wiarygodny tylko dlatego, że ocenę wpisała osoba. Recenzent może się spieszyć, źle rozumieć kryteria, optymalizować pracę pod liczbę wykonanych zadań, działać w złej wierze albo próbować rozgrywać nieprzejrzysty system kontroli jakości.

To problem bodźców równie mocno jak technologii. Twórca modelu potrzebuje skalibrowanych, rzetelnych ocen, które przewidują lepsze zachowanie systemu w praktyce. Wykonawca może natomiast być wynagradzany przede wszystkim za tempo, ukończenie zadania lub unikanie odrzucenia. Gdy te cele się rozchodzą, dane stają się zaszumione albo systematycznie zniekształcone.

Jakie zabezpieczenia wzmacniają proces ocen

Ludzka ocena pozostaje ważna tam, gdzie werdykt zależy od kontekstu, jest subiektywny albo trudny do automatycznego zweryfikowania. Najlepiej działa jednak jako system wzajemnych kontroli, a nie prosty strumień pojedynczych ocen. Przydatne są między innymi:

• Niezależne nakładanie się ocen: część tych samych zadań trafia do kilku recenzentów, a różnice są analizowane.
• Zadania kalibracyjne: znane przykłady pozwalają sprawdzić, czy recenzenci rozumieją kryteria.
• Audyty jakości: nietypowe wzorce są badane, lecz pojedyncza cecha stylu nie jest uznawana za rozstrzygający dowód.
• Wyraźny podział ról: warto oddzielić właściwą pracę oceniającą od kontroli jakości i rozpatrywania odwołań.
• Walidacja efektów: należy sprawdzać, czy wysoko oceniane dane faktycznie poprawiają zachowanie modelu dla użytkowników.
• Ochrona prywatności: recenzenci powinni dostawać minimum potrzebnych informacji, a filtry danych wrażliwych muszą być stale testowane. W doniesieniach o Project Lily zaznaczono, że mimo anonimizacji w rozmowach mogą znajdować się dane osobowe. 19

Wniosek jest prosty: trening na preferencjach jest tak wiarygodny, jak proces tworzenia tych preferencji. Człowiek nie jest automatyczną gwarancją jakości, a oceny wygenerowane przez AI nie mogą po prostu zastąpić niezależnego ludzkiego feedbacku, jeśli celem jest poznanie tego, co naprawdę cenią użytkownicy.