Därför fick OpenAI-kontraktörer lämna efter att ha använt AI för att granska ChatGPT

Project Lily beskrivs av 404 Media som en verksamhet för mänsklig granskning, där kontraktörer bedömer ChatGPT-svar för att förbättra modellens framtida beteende. Det förklarar varför kontraktörer som använde generativ AI för själva bedömningen enligt uppgift togs bort: värdet i datan ska komma från oberoende mänskliga omdömen. Om en modell levererar omdömet går det inte längre att tydligt mäta vad människor faktiskt föredrar. 1920

Så arbetar granskarna i Project Lily

Granskarna får riktiga ChatGPT-promptar och i vissa fall hela konversationer. De sammanfattar användarens avsikt, jämför möjliga svar och sätter betyg på en skala från 1 till 7. En uppgift kan innehålla upp till fyra svarsalternativ. Fokus ligger enligt rapporteringen på beteenden som tonläge, överdrivet inställsamhet och alltför människoliknande påståenden – inte enbart på faktakorrekthet. 819

Betygen kan sedan bli så kallad preferensdata: strukturerade uppgifter om vilket svar en människa anser vara bäst i en viss situation. Sådan data kan användas för att styra en modell mot önskat beteende, men bara om bedömningarna är någorlunda konsekventa, välgrundade och självständiga.

Project Lily ska omfatta hundratals externa granskare. De uppges rekryteras via Crossing Hurdles och få betalt via Mercor; en granskare uppgav en ersättning på över 50 dollar i timmen. Siffran på fler än 10 000 kontraktörer som nämns i rapporteringen gäller däremot OpenAI:s bredare system för betygsättning och ska inte tolkas som storleken på Project Lily i sig. 196

Varför AI-skrivna betyg motverkar syftet

En AI-bedömare kan vara snabb och användbar i interna tester, men den besvarar en annan fråga än en mänsklig preferensgranskning. Modellen tenderar att återskapa mönster från sin träning och kan gynna svar med välbekanta formuleringar, stilgrepp eller antaganden.

När en modell – eller en närbesläktad modell – upprepade gånger används för att belöna framtida modellsvar kan en återkopplingsslinga uppstå:

1. Bedömaren favoriserar svar som liknar dess befintliga preferenser.
2. Träningen belönar dessa svar.
3. Nästa modell blir mer benägen att skapa samma mönster.
4. Andra uttryckssätt, minoritetspreferenser eller svar som bedömaren inte kan värdera korrekt får sämre återkoppling.

Det betyder inte att all AI-baserad utvärdering gör en modell sämre. Automatiserad utvärdering kan vara värdefull om den har validerats mot mänskliga bedömningar och används med tydliga begränsningar. Men att ersätta människor i ett arbete som uttryckligen beställts för att skapa mänsklig preferensdata försvagar oberoendet i träningssignalen. Det verkar vara skälet till att användningen förbjöds.

Så ska misstänkt AI-användning ha hanterats

Enligt rapporteringen fick arbetsledare inte förlita sig på AI-detektorer för text, som GPTZero. I stället skulle de granska arbetsmönster och det skrivna materialet manuellt. Tecken kunde vara ovanligt likartade formuleringar, återkommande skiljetecken eller formatering samt orimligt snabb leverans. 6

Det finns en uppenbar begränsning: inget enskilt sådant tecken bevisar att någon har använt AI. En snabb skribent kan vara erfaren, och liknande formuleringar kan följa av en gemensam bedömningsmall. Därför behöver signaler av det här slaget skiljas från faktiskt underlag som räcker för att stänga av någon från ett projekt.

Varför kriterierna inte offentliggörs

Organisationer brukar undvika att publicera detaljerade metoder för att upptäcka fusk, eftersom en exakt lista också blir en instruktion för hur den kan kringgås. Kontraktörer skulle kunna variera ordval, lägga in fördröjningar eller ändra formatering, samtidigt som de fortfarande låter en modell göra bedömningen.

Men sekretess medför också en risk. Om arbetstagare inte förstår hur ett kvalitetsbeslut har fattats blir felaktiga beslut svårare att bestrida. Ett hållbart system behöver därför kombinera konfidentiella kontrollmetoder med tydliga regler, dokumenterade beslut och en verklig möjlighet att överklaga eller rätta fel.

Mercors uppgivna policy

Mercor ska ha sagt att AI-användning för att utföra detta granskningsarbete bryter mot företagets regler och att bekräftade fall leder till omedelbar borttagning från det aktuella projektet. Reglerna ska enligt rapporteringen även ha förbjudit AI-stöd mer generellt, exempelvis verktyg som skriver återkoppling eller kommentarer. 640

Problemet är större än AI-användning

Det rapporterade fallet med avsiktligt dåliga betyg pekar på en större svaghet: mänsklig återkoppling är inte automatiskt tillförlitlig bara för att en människa har skickat in den. En granskare kan skynda sig, missförstå instruktionerna, prioritera volym, agera i ond tro eller försöka spela mot otydliga kvalitetskontroller.

Det är lika mycket en fråga om incitament som om teknik. Modellutvecklaren behöver välkalibrerade och seriösa omdömen som förutsäger bättre beteende i verklig användning. Kontraktören kan däremot i första hand belönas för tempo, färdiga uppgifter eller för att undvika avslag. När dessa drivkrafter pekar åt olika håll kan datan bli brusig eller systematiskt snedvriden.

Skydd som kan göra granskningen starkare

Mänsklig granskning är fortsatt viktig för omdömen som är kontextberoende, subjektiva eller svåra att kontrollera automatiskt. Men den fungerar bäst som ett system av kontroller, inte som en enkel ström av enskilda betyg. Exempel på skyddsåtgärder är:

• Oberoende överlappning: Låt flera granskare bedöma en del av samma uppgifter och analysera när de är oense.
• Kalibreringsuppgifter: Använd kända exempel för att kontrollera att granskarna förstår bedömningsmallen.
• Kvalitetsrevisioner: Utred misstänkta mönster utan att behandla en enda stilmarkör som avgörande bevis.
• Tydliga roller: Håll isär ordinarie granskning, kvalitetskontroll och överklaganden.
• Validering mot resultat: Testa om data som får höga betyg faktiskt förbättrar modellens beteende för användarna.
• Integritetsskydd: Begränsa vilken information granskare kan se och testa löpande om filtreringen missar känsliga uppgifter. Rapporteringen om Project Lily noterar att konversationer kan innehålla personuppgifter trots anonymiseringsförsök. 19

Slutsatsen är enkel: preferensträning är bara så tillförlitlig som processen som skapar preferenserna. Mänskliga granskare är ingen automatisk kvalitetsgaranti, och AI-genererade omdömen kan inte utan vidare ersätta oberoende mänsklig återkoppling när målet är att förstå vad människor faktiskt värdesätter.