Project Lily: Sådan bliver rigtige ChatGPT-samtaler angiveligt gennemgået af mennesker

404 Media beskriver i sin undersøgelse af OpenAI's interne Project Lily et system til menneskelig feedback, der bygger på rigtige ChatGPT-samtaler fra privatbrugere. Ifølge lækkede materialer, eksempler på prompts og udtalelser gennemgået af mediet kan eksterne kontraktansatte læse samtalekontekst for at bedømme modellens svar – også når samtalerne rummer personlige eller følsomme oplysninger. 1

Den vigtigste pointe for brugere er enkel: At skrive »hold det mellem os« i chatten er ikke en privatlivsindstilling. Det afgørende er, om din konto tillader, at nye samtaler bruges til at forbedre modellerne. 1

Hvad gør bedømmerne i Project Lily?

404 Media rapporterer, at hundredvis af kontraktansatte, hyret gennem bemandingsfirmaer og betalt med mere end 50 dollar i timen, gennemgår en stor strøm af ægte ChatGPT-samtaler. Opgaverne omfatter efter sigende at:

• opsummere, hvad brugeren forsøger at få hjælp til;
• sammenligne fire mulige modelsvar;
• give svarene karakterer fra 1 til 7; og
• pege på elementer, der gør svaret mindre nyttigt eller mindre troværdigt. 1

Vejledningen til bedømmerne fokuserer på kvaliteten og tonen i ChatGPT's svar. De skal blandt andet markere kunstigt eller AI-agtigt sprog, faktuelle fejl, overdreven bekræftelse eller smiger, sikkerhedsproblemer og svar, hvor modellen fejlagtigt giver indtryk af at have egne oplevelser eller følelser. 1

Formålet er at få svarene til at virke mere naturlige og mindre mekaniske. Men den forbedringsproces kan altså indebære, at mennesker får adgang til indholdet i brugernes samtaler. 1

Et fjernet brugernavn gør ikke nødvendigvis en chat anonym

OpenAI fortalte 404 Media, at brugernavne fjernes, og at et Privacy Filter anvendes, før materiale sendes til bedømmere. Undersøgelsen fandt dog eksempler på, at gennemgangsmaterialet kunne indeholde hele samtalekonteksten og modelgenererede hukommelsesopsummeringer.

Sådanne opsummeringer indeholdt efter sigende blandt andet omtrentligt opholdssted, profession og meget personlige livsomstændigheder. 1

Problemet er identifikation gennem sammenhængen. Selv uden navn eller konto-id kan en særlig kombination af begivenheder, arbejdsliv, geografi og usædvanlige detaljer gøre en samtale genkendelig for nogen, der kender personen – eller blot gøre oplysningerne meget følsomme at dele. OpenAI anerkendte ifølge 404 Media, at filtre kan have svært ved usædvanlige identifikatorer og tvetydige, kontekstafhængige private henvisninger. 1

»Hold det mellem os« forhindrer ikke gennemgang

En besked til ChatGPT om fortrolighed er en instruktion i selve samtalen – ikke en indstilling, der styrer adgangen til data. Den tilsidesætter ikke kontoens valg for dataanvendelse og forhindrer ikke, at en chat kan blive udvalgt til et forbedringsforløb som det, 404 Media beskriver. 1

Det er derfor klogt ikke at betragte en forbrugerchatbot som en fortrolig en-til-en-kanal, alene fordi samtalen føles privat. Hvis en oplysning ville være problematisk at dele med en autoriseret bedømmer, bør den ikke indtastes i et personligt workspace, hvor model­forbedring er slået til.

Sådan forhindrer du, at nye samtaler bruges til model­forbedring

OpenAI's dokumentation for Data Controls oplyser, at brugere med et personligt workspace kan slå model­forbedring fra på denne måde:

1. Gå til Profil → Indstillinger
2. Vælg Data Controls
3. Slå »Improve the model for everyone« fra

Når indstillingen er slået fra, bliver nye samtaler liggende i chathistorikken, men de bruges ikke til at træne eller forbedre ChatGPT-modellerne. Indstillingen gælder for kontoen og er ikke knyttet til en enkelt enhed.

Tidspunktet er vigtigt: OpenAI oplyser, at fravalget gælder nye samtaler. Det fjerner ikke bagudrettet samtaler, der allerede er indsendt, mens model­forbedring var aktiveret.

Hvad gælder for Business, Enterprise og Edu?

OpenAI oplyser, at input og output fra ChatGPT Business, Enterprise, Edu og API Platform som standard ikke bruges til modeltræning. For ChatGPT Free, Plus og Pro i personlige workspaces er deling til model­forbedring derimod slået til som standard, men kan fravælges under Data Controls.

Det fritager ikke virksomheder, uddannelsesinstitutioner eller ansatte for deres egne krav til databeskyttelse og interne regler. Men det er en væsentlig forskel fra standardbehandlingen af samtaler på private ChatGPT-konti.

Er menneskelig AI-gennemgang særligt for OpenAI?

Nej. Anthropic's privatlivspolitik siger, at virksomheden kan træne og forbedre sine modeller med input og output fra brugere eller crowdworkers, medmindre brugeren fravælger det. En akademisk gennemgang af privatlivspraksis hos store AI-udbydere fandt også, at både Google og OpenAI beskriver menneskelig gennemgang af brugerchats i forbindelse med træning eller forbedring af modeller.

Det centrale spørgsmål er derfor ikke, om menneskelig feedback findes. Det er, om brugerne forstår, hvornår deres samtaler kan indgå i processen, hvad afidentificering faktisk beskytter imod, og hvordan de ændrer den relevante indstilling.

Det praktiske råd om privatliv

Project Lily, sådan som 404 Media beskriver det, er en påmindelse om, at en samtale med forbruger-AI ikke automatisk er fortrolig. Afidentificering kan begrænse eksponeringen, men fjerner ikke nødvendigvis alle afslørende oplysninger i en samtale med meget personlig kontekst. 1

Tjek derfor Indstillinger → Data Controls → Improve the model for everyone, før du deler følsomme oplysninger i ChatGPT. Er model­forbedring slået til, bør nye chats behandles som potentielt egnede til at forbedre tjenesten. Er den slået fra, siger OpenAI, at nye samtaler ikke bruges til dette formål.