Rapport: Menneskelige vurderere kan ha lest ekte ChatGPT-samtaler

404 Media har undersøkt et internt OpenAI-initiativ kalt Project Lily, som ifølge lekkede dokumenter bygget på menneskelige vurderinger av reelle ChatGPT-samtaler. Personvernspørsmålet handler ikke bare om at samtaler kan brukes til å forbedre modeller: Eksterne kontraktører kunne angivelig lese innhold der brukernavn var fjernet, men der svært personlige opplysninger likevel kunne stå igjen. 2

Slik skal Project Lily ha fungert

Ifølge 404 Media rekrutterte OpenAI hundrevis av kontraktører via bemanningsselskaper. Arbeidet skal ha vært betalt med over 50 dollar i timen. Vurdererne oppsummerte brukerens hensikt, sammenlignet fire svarforslag og ga dem karakter på en skala fra 1 til 7. 2

Målet var angivelig å forbedre kvaliteten på svarene: gjøre ChatGPT mindre mekanisk i språket, redusere påstander som får modellen til å virke for menneskelig, og dempe overdreven enighet eller smiger. Dette er en kjent form for menneskelig tilbakemelding i KI-utvikling, men bruk av ekte forbrukersamtaler gjør personvernspørsmålet mer konkret. 2

Hva kunne vurdererne se?

404 Media rapporterte at vurderere kunne få tilgang til hele samtaleutvekslinger og i noen tilfeller et sammendrag av brukerens lagrede minner. Brukernavnet skulle ikke vises, men konteksten kunne likevel røpe omtrentlig sted, yrke, tidligere interesser og personlige forhold. 2

Å fjerne et navn er ikke nødvendigvis det samme som at innholdet er ufarlig eller anonymt i praksis. En kombinasjon av opplysninger om arbeid, familie, helse eller en særpreget hendelse kan være sensitiv, selv uten en direkte kontoidentifikator.

Privacy Filter fjerner ikke nødvendigvis all sensitiv kontekst

OpenAI beskriver Privacy Filter som en modell som skal oppdage og maskere personidentifiserbar informasjon i tekst. 4647

I omtalen av Project Lily sa OpenAI at brukernavn ble fjernet og at samtalematerialet passerte gjennom et automatisk filter før det ble sendt til kontraktører. Likevel rapporterte 404 Media at sensitive detaljer kunne forekomme i samtaler som ble vurdert. 2

Automatisk maskering kan lettere fange opp åpenbare identifikatorer som navn, e-postadresse og telefonnummer. Mer indirekte kjennetegn – for eksempel en uvanlig arbeidssituasjon eller kombinasjonen av bosted, familieforhold og en konkret livshendelse – er vanskeligere å oppdage pålitelig.

Dette ble vurdererne bedt om å flagge

Retningslinjene som 404 Media omtaler, handlet om mer enn om svaret var korrekt. Kontraktørene skal blant annet ha blitt bedt om å oppdage:

• stivt eller unaturlig «KI-språk»
• påstander om menneskelige følelser eller egne erfaringer
• overdreven enighet, smiger eller ettergivenhet
• faktafeil
• eksponering av personopplysninger
• sikkerhetsproblemer 2

Særlig punktet om overdreven enighet er viktig. En chatbot som er for ivrig etter å bekrefte brukeren, kan fremstå støttende uten å utfordre uriktige, risikable eller skadelige antakelser. Project Lily skulle ifølge rapporten blant annet bidra til å justere slik atferd. 2

«Hold dette mellom oss» er ikke en personverninnstilling

En oppfordring i selve prompten om å holde samtalen hemmelig endrer ikke kontoens innstillinger for databruk. Det er bare tekst i samtalen, ikke en teknisk instruksjon som overstyrer OpenAIs kontroller.

For personlige ChatGPT-arbeidsområder er den relevante innstillingen «Improve the model for everyone». Når den er på, kan samtaler brukes til å forbedre modellene. Slår du den av, sier OpenAI at selskapet ikke vil trene på nye samtaler. 2130

Slik hindrer du bruk av nye samtaler til modellforbedring

For innloggede brukere oppgir OpenAI følgende fremgangsmåte:

1. Åpne profilen din i ChatGPT.
2. Velg Innstillinger.
3. Åpne Datakontroller.
4. Slå av «Improve the model for everyone». 1921

Innstillingen gjelder kontoen, ikke bare én mobil eller datamaskin. Samtalehistorikken din kan fortsatt være synlig etter at du har slått den av, men OpenAI sier at nye samtaler da ikke brukes til å trene modellene. 1930

Du kan også velge «Do not train on my content» i OpenAIs personvernportal. Selskapet sier at enten dette valget eller Datakontroller i ChatGPT er tilstrekkelig for ChatGPT- og Codex-oppgaver. 21

Hvilke abonnementer har standardvern?

OpenAI opplyser at datadeling for modelltrening er aktivert som standard i personlige arbeidsområder på Free, Plus og Pro, men at brukere kan reservere seg. For ChatGPT Business, Enterprise, Edu og API-plattformen sier OpenAI at innsendte inndata og utdata ikke brukes til modelltrening som standard. 23

Det betyr ikke at enhver jobbsamtale automatisk er risikofri i alle sammenhenger. Virksomheter bør fortsatt gå gjennom innstillinger for arbeidsområdet, lagringstid, deling og egne interne regler før de legger inn konfidensielt materiale i KI-verktøy.

Det viktigste å ta med seg

Project Lily, slik 404 Media beskriver det, er en påminnelse om at en vanlig KI-chat bør behandles som en tjeneste med valgbar databruk – ikke som en kanal som automatisk er fortrolig. Dersom du skal legge inn svært sensitive personopplysninger, juridisk eller medisinsk informasjon, økonomiske data eller forretningshemmeligheter, er det tryggeste umiddelbare tiltaket å slå av «Improve the model for everyone» før du starter en ny samtale. 221

Å reservere seg styrer OpenAIs bruk av nye samtaler til modellforbedring. Det er ikke noe som oppnås ved å skrive en beskjed i prompten, og OpenAIs dokumentasjon beskriver det ikke som en måte å trekke tilbake materiale som allerede er sendt inn. 2130