Slik skal OpenAI oppdage AI-misbruk uten å lese kundenes innhold

OpenAI tester Private Safety Processing, en ny sikkerhetsarkitektur for kvalifiserte API-kunder som bruker Zero Data Retention (ZDR). Hovedideen er enkel: Systemet skal kunne oppdage misbruksmønstre som først blir synlige når flere relaterte forespørsler sees i sammenheng – uten at OpenAI-ansatte som hovedregel får tilgang til selve kundeinnholdet.

Dette er viktig fordi stadig kraftigere modeller brukes i lengre og mer oppdelte arbeidsflyter. En skadelig hensikt kan fordeles på flere kontoer, økter eller forespørsler, slik at ingen enkeltinteraksjon tydelig viser hele bildet. Private Safety Processing skal tilføre denne bredere konteksten, samtidig som ZDR-beskyttelsen opprettholdes.

Slik fungerer Private Safety Processing

Dagens ZDR-sikkerhet vurderer forespørsler og svar enkeltvis. I forhåndsvisningen utvides dette med automatiserte systemer som analyserer forholdet mellom flere interaksjoner. Målet er å finne mønstre som kan tyde på misbruk, for eksempel koordinerte forsøk på å omgå sikkerhetsfiltre eller å dele opp oppgaver knyttet til utvikling av skadevare i separate forespørsler.

Det avgjørende skillet går mellom analyse og lagring. OpenAI beskriver systemet som en måte å analysere relaterte aktiviteter for sikkerhetsformål på, uten at de underliggende instruksjonene og modell-svarene blir gjort tilgjengelige for selskapets ansatte gjennom systemet.

OpenAI beskriver to mulige oppsett for ZDR-kunder:

• Kundeinnholdet kan bli værende på infrastruktur kunden selv kontrollerer.
• Dersom innholdet lagres på OpenAIs infrastruktur, kan det krypteres med nøkler som kontrolleres av kunden, ikke av OpenAI-ansatte.

I begge tilfeller kan automatiserte systemer identifisere mulig misbruk og sende tilbake et begrenset sikkerhetssignal uten å eksponere de underliggende instruksjonene eller svarene.

Hva mottar OpenAI når systemet oppdager en trussel?

Ifølge beskrivelsen av forhåndsvisningen mottar OpenAI et snevert varsel om typen aktivitet det dreier seg om. OpenAIs systemskisse beskriver resultatet som en varselkategori og en alvorlighetsgrad – ikke som selve samtalen.

Signaler kan brukes til sikkerhets- eller håndhevelsestiltak, men de tilsvarer ikke at hele økthistorikken sendes til OpenAI. Den praktiske arbeidsflyten er i grove trekk:

1. Automatiserte systemer undersøker relaterte interaksjoner for mulige skadelige mønstre.
2. Dersom mønsteret passerer en risikoterskel, genererer systemet en begrenset sikkerhetsklassifisering.
3. OpenAI mottar klassifiseringen, ikke instruksjonene, svarene eller samtaletranskriptet.
4. Kunden beholder muligheten til å undersøke den underliggende aktiviteten i sitt eget miljø.

Dette er fortsatt en forhåndsvisning. For virksomheter som vurderer løsningen, blir den konkrete implementeringen, terskelverdiene og rutinene for feil og klager avgjørende. OpenAI har sagt at selskapet planlegger bredere utrulling og en teknisk rapport i september 2026.

Hvorfor kan OpenAI-ansatte normalt ikke lese en flagget samtale?

Et sikkerhetsflagg gir ikke automatisk OpenAI-ansatte tilgang til samtalen. Under de beskrevne ZDR-oppsettene sier OpenAI at selskapet ikke beholder kundeinnholdet eller har kundens egne dekrypteringsnøkler i løsningen der innholdet lagres hos OpenAI.

Kunden kan selv velge å dele relevant materiale dersom den vil klage på et håndhevelsestiltak, dokumentere legitim bruk eller bidra i en undersøkelse av bekreftet misbruk. Uten slik frivillig deling er flagget begrenset til den maskin-genererte sikkerhetsinformasjonen som sendes til OpenAI.

Dette skaper et skille mellom bevismateriale kontrollert av kunden og risikosignaler hos leverandøren. Modellen kan redusere mengden sensitivt materiale en leverandør må håndtere, samtidig som leverandøren får mulighet til å oppdage mønstre som et filter som vurderer én forespørsel om gangen, kan overse.

Hvilke kunder tester løsningen?

OpenAI har trukket frem Glean, Databricks, Abridge og Microsoft som kunder som bidrar til å forme eller teste forhåndsvisningen. Annen rapportering peker også på Microsoft og Databricks som tidlige testkunder.

Funksjonen presenteres ikke som en vanlig innstilling for forbrukere. Den er rettet mot kvalifiserte API-distribusjoner der organisasjoner ønsker tilgang til avanserte modeller, men samtidig må ha streng kontroll over instruksjoner og svar.

OpenAI og Anthropic velger ulike sikkerhetsavveininger

OpenAIs modell prioriterer å oppdage misbruk med minst mulig tilgang til kundeinnhold. Anthropics regler for dekkede modeller gjør en annen avveining: Instruksjoner og svar til de aktuelle modellene lagres i 30 dager for sikkerhetsarbeid, inkludert kontrollert gjennomgang.

Anthropics dokumentasjon sier at 30-dagerskravet gjelder dekkede modeller, blant annet Mythos-modeller, og at disse ikke er tilgjengelige med ZDR. Selskapet sier også at lagrede data ikke brukes til modelltrening uten kundens uttrykkelige tillatelse.

Den operative forskjellen er dermed betydelig:

• OpenAI Private Safety Processing: automatisert analyse på tvers av relaterte interaksjoner, der OpenAI ifølge forhåndsvisningen mottar et begrenset sikkerhetssignal i stedet for selve innholdet.
• Anthropics regler for dekkede modeller: instruksjoner og svar lagres i 30 dager for sikkerhetsarbeid og kontrollert gjennomgang.

Ingen av modellene fjerner behovet for intern styring hos kunden. Før en virksomhet bruker løsningene på sensitive arbeidsbelastninger, bør den kontrollere kvalifiseringskrav, arkitektur, tilgangsstyring, lagringsvilkår, regionale krav, klageprosesser og kontraktsforpliktelser.

Hvorfor er dette viktig for regulerte virksomheter?

Virksomheter innen finans, helse og juss håndterer ofte opplysninger som er underlagt taushetsplikt, personvernregler, kontraktskrav eller bransjespesifikke reguleringer. En leverandørs mulighet til å lagre og eventuelt gjennomgå instruksjoner kan derfor påvirke vurderinger av dataminimering, interne godkjenninger, revisjon og leverandørrisiko.

Det betyr ikke at 30 dagers lagring automatisk er forbudt, eller at ZDR alene gjør en løsning i tråd med regelverket. Det betyr at de to oppsettene skaper ulike spørsmål for sikkerhets- og juridiske team. Anthropics regler krever at organisasjoner tar høyde for leverandørens lagring og gjennomgang, mens OpenAI posisjonerer ZDR og Private Safety Processing rundt å begrense leverandørens tilgang til selve innholdet.

For en virksomhet som vurderer løsningen, er særlig disse spørsmålene sentrale:

• Er modellen og distribusjonen kvalifisert for ZDR?
• Hvor behandles innholdet, og hvem kontrollerer krypteringsnøklene dersom det lagres?
• Hvilke konkrete felt inngår i et sikkerhetsvarsel?
• Kan kunden revidere eller bestride et flagg uten å dele hele samtalen?
• Hva skjer dersom leverandøren mistenker alvorlig misbruk?
• Er leverandørens regler for lagring og gjennomgang forenlige med virksomhetens kontrakts- og regulatoriske forpliktelser?

Personvern blir en del av selve AI-produktet

Private Safety Processing gjør personvern til en del av AI-sikkerhetsproduktet, ikke bare et spørsmål om vilkår og retningslinjer. Utfordringen handler ikke lenger bare om hvorvidt en modell kan stanse en farlig forespørsel. Den handler også om hvorvidt leverandøren kan oppdage koordinert misbruk gjennom lange arbeidsflyter uten å måtte få tilgang til alle kundens samtaler.

OpenAI tilbyr én mulig løsning: La innholdet forbli under kundens kontroll eller beskyttes av nøkler kunden selv har, bruk automatiserte systemer til å finne mønstre på tvers av interaksjoner, og send leverandøren en snever risikoklassifisering.

Anthropic tilbyr en annen: Oppbevar relevante instruksjoner og svar i en begrenset periode slik at sikkerhetsteam kan undersøke dem, med kontrollert gjennomgang og en uttrykt begrensning mot bruk til modelltrening.

Hvilken modell som passer best, vil avhenge av kundens risikotoleranse, hvor sensitive arbeidsoppgavene er, og hvor mye undersøkelsesinnsyn virksomheten mener en leverandør av de mest avanserte modellene trenger. OpenAIs varslede tekniske rapport og bredere utrulling blir viktige for å vurdere hvordan personvernkravene fungerer i praksis.