Hvorfor fjernede OpenAI bedømmere, der brugte AI?

OpenAI har ifølge 404 Media fjernet flere eksterne medarbejdere, som brugte AI til at udføre arbejde med at vurdere selskabets modeller. Pointen er ikke, at ansatte hos en AI-virksomhed slet ikke må bruge AI. Netop disse opgaver skulle levere selvstændige menneskelige vurderinger af ChatGPTs svar. Project Lily er et omtalt program for den type gennemgang, men det er ikke dokumenteret, at alle de fjernede medarbejdere arbejdede på Lily.1613

Sådan bliver svarene vurderet

Project Lily bruger ifølge medierne hundredvis af eksterne bedømmere, som læser rigtige brugerhenvendelser til ChatGPT og i nogle tilfælde den omgivende samtale. De beskrives som rekrutteret gennem Crossing Hurdles og betalt via Mercor. Én medarbejder har oplyst en timeløn på over 50 dollar; det er ikke en bekræftet sats for alle.220

Bedømmeren opsummerer, hvad brugeren forsøgte at opnå, og vurderer derefter mulige ChatGPT-svar på en skala fra 1 til 7. En opgave kan omfatte op til fire svar. Bedømmerne ser blandt andet på tone, stift eller robotagtigt sprog og en overdreven tendens til at give brugeren ret. Karakterer og skriftlige begrundelser skal bidrage til at forbedre modellens fremtidige svar.41131

Hvorfor AI-hjælp undergraver opgaven

En menneskelig bedømmer kan selv tage stilling til, om et svar hjælper brugeren eller blot lyder imødekommende. Hvis en anden AI i stedet skriver begrundelsen eller vælger karakteren, kan tilbagemeldingen komme til at afspejle en models vurdering frem for et menneskes. Det kan mindske feedbackens værdi, men dokumenterer ikke, at en bestemt AI-assisteret bedømmelse har skadet modellen.416

De omtalte instrukser forbyder brug af AI til at gennemgå arbejdet eller skrive feedback. Forbuddet omfatter også Grammarly og AI-baseret oversættelse. Bedømmere, der kontrollerer andres arbejde, må heller ikke bruge AI-detektorer, som instrukserne beskriver som upålidelige.139

Mistanke er ikke det samme som bevis

Ifølge omtalen ser tilsynsførende i stedet efter mønstre som gentaget, AI-præget sprog eller usædvanligt hurtig færdiggørelse. Det kan give grund til nærmere kontrol, men er ikke i sig selv bevis. Kilderne viser heller ikke, hvor ofte sådan kontrol rammer rigtigt eller overser AI-brug.933

Menneskelig feedback er heller ikke automatisk god feedback. En person kan bedømme sjusket eller bevidst give dårlige karakterer. Den konkrete påstand om, at en medarbejder skulle have indrømmet bevidst at give dårlige bedømmelser, kan ikke bekræftes i det foreliggende kildemateriale. Man kan derfor ikke fastslå omstændighederne eller omfanget. Sagen understreger en mere begrænset pointe: At en karakter er givet af et menneske, garanterer ikke, at vurderingen er pålidelig.14

For brugerne er der også et spørgsmål om privatliv. Bedømmerne kan se tekst fra virkelige samtaler, og OpenAI's omtalte filter til at fjerne personoplysninger kan overse følsomme detaljer. Både kvaliteten af bedømmelserne og håndteringen af samtalerne har derfor betydning.812