Project Lily: uppgifter om att människor läser riktiga ChatGPT-chattar

404 Medias granskning av OpenAI:s interna Project Lily beskriver ett system för mänsklig återkoppling som bygger på verkliga ChatGPT-konversationer från privatpersoner. Enligt läckta dokument, exempel på promptar och uttalanden som tidningen har granskat kan externa uppdragstagare läsa samtalskontext för att utvärdera modellens svar – också när konversationerna innehåller personliga och känsliga uppgifter. 1

För den som använder ChatGPT för frågor om hälsa, relationer, juridik eller arbete är slutsatsen enkel: att skriva ”håll detta mellan oss” i chatten är ingen integritetsinställning. Det relevanta är i stället om kontot tillåter att nya konversationer används för att förbättra modellerna. 1

Vad gör granskarna i Project Lily?

Enligt 404 Media läser hundratals uppdragstagare, anlitade via bemanningsföretag och med en ersättning på över 50 dollar i timmen, ett stort flöde av riktiga ChatGPT-konversationer. Uppgifterna ska bland annat vara att:

• sammanfatta vad användaren vill ha hjälp med,
• jämföra fyra möjliga modellsvar,
• sätta betyg på en skala från 1 till 7, och
• identifiera sådant som gör svaret mindre användbart eller trovärdigt. 1

Bedömningen ska enligt uppgifterna hjälpa ChatGPT att ge bättre svar. Granskarna instrueras bland annat att markera formuleringar som låter maskinskrivna, sakfel, överdrivet bekräftande eller inställsamt språk, säkerhetsproblem och svar där modellen felaktigt påstår att den har egna erfarenheter eller känslor. 1

Syftet är att göra svaren mer naturliga och mindre robotartade. Men den typen av kvalitetsarbete kan också innebära att människor får tillgång till själva innehållet i användarnas samtal. 1

Ett borttaget användarnamn räcker inte alltid

OpenAI uppgav för 404 Media att användarnamn tas bort och att ett integritetsfilter tillämpas innan material skickas till granskare. Granskningen hittade ändå exempel där granskningsunderlag kunde innehålla hela samtalsförlopp och modellskapade minnessammanfattningar. Dessa sammanfattningar uppgavs innehålla exempelvis ungefärlig plats, yrke och mycket personliga livsomständigheter. 1

Problemet är att identifiering ofta sker genom sammanhanget. Även utan namn eller konto-id kan en ovanlig kombination av händelser, yrkesuppgifter, geografiska ledtrådar eller andra referenser göra en person igenkännbar för någon som känner till situationen – eller åtminstone göra uppgifterna mycket känsliga att exponera. OpenAI medgav enligt 404 Media att filter kan ha svårt med ovanliga identifierare och tvetydiga privata hänvisningar som kräver sammanhang för att förstås. 1

”Håll detta mellan oss” stoppar inte granskning

En uppmaning i chatten om att hålla samtalet hemligt är en instruktion till modellen, inte en åtkomstinställning för kontot. Den åsidosätter inte kontots val för dataanvändning och hindrar inte att ett samtal väljs ut till ett förbättringsflöde av den typ som 404 Media beskriver. 1

Därför bör en konsumentchattbot inte betraktas som en konfidentiell kanal bara för att samtalet känns privat. Om en uppgift skulle vara skadlig att lämna ut till en behörig granskare är det säkrast att inte skriva in den i en personlig arbetsyta där modellförbättring är aktiverad.

Så hindrar du att nya ChatGPT-chattar används för modellförbättring

Enligt OpenAI:s dokumentation för Data Controls kan användare med en personlig arbetsyta stänga av modellförbättring så här:

1. Profil → Inställningar
2. Data Controls
3. Stäng av ”Improve the model for everyone”

När inställningen är avstängd finns nya konversationer kvar i chatthistoriken, men de används inte för att träna eller förbättra ChatGPT:s modeller. Inställningen gäller hela kontot och är inte knuten till en viss enhet.

Tidpunkten är viktig: OpenAI säger att ett avstående gäller nya konversationer. Det tar inte retroaktivt bort chattar som redan skickats in medan modellförbättring var påslagen.

Skillnaden för Business, Enterprise och Edu

OpenAI uppger att indata och utdata från ChatGPT Business, Enterprise, Edu och API Platform inte används för modellträning som standard. För ChatGPT Free, Plus och Pro i personliga arbetsytor är delning för modellförbättring däremot aktiverad som standard, men kan stängas av via Data Controls.

Det betyder inte att organisationer kan bortse från sina egna regler för dataskydd och informationshantering. Anställda och studenter bör fortfarande följa arbetsgivarens eller lärosätets policyer och kontrollera vilka inställningar som gäller i den aktuella arbetsytan. Men standardläget skiljer sig från vanliga konsumentkonton.

Är OpenAI ensamt om mänsklig AI-granskning?

Nej. Anthropics integritetspolicy säger att bolaget kan träna och förbättra sina modeller med indata och utdata från användare eller crowd workers, om användaren inte väljer bort det. En akademisk genomgång av integritetspraxis hos stora AI-leverantörer fann också att både Google och OpenAI beskriver mänsklig granskning av användarchattar för träning eller modellförbättring.

Den bredare frågan är alltså inte om mänsklig återkoppling förekommer, utan om användarna förstår när deras samtal kan hamna i processen, vad avidentifiering faktiskt kan skydda – och hur de ändrar inställningarna.

Den praktiska slutsatsen om integritet

Project Lily, så som det beskrivs av 404 Media, påminner om att konsumentchatt med AI inte automatiskt är ett konfidentiellt samtal mellan två parter. Avidentifiering kan minska exponeringen, men den kan inte nödvändigtvis ta bort alla avslöjande detaljer i ett samtal med rik personlig kontext. 1

Innan du delar känsliga uppgifter i ChatGPT bör du kontrollera Inställningar → Data Controls → Improve the model for everyone. Är modellförbättring aktiverad bör nya chattar behandlas som potentiellt möjliga att använda för att förbättra tjänsten. Är den avstängd säger OpenAI att nya chattar inte används för det ändamålet.