Så ska OpenAI upptäcka samordnat AI-missbruk utan att läsa kundernas data

OpenAI testar Private Safety Processing, en säkerhetsarkitektur för berättigade API-kunder som använder Zero Data Retention (ZDR) – alltså avtal där promptar och modellsvar inte ska sparas efter att en begäran har behandlats.

Idén är att upptäcka missbruk som inte syns i en enskild fråga. När AI-modeller används i längre och mer uppdelade arbetsflöden kan en skadlig avsikt spridas över flera konton, sessioner eller API-anrop. Varje enskild interaktion kan då se relativt harmlös ut, medan helheten visar ett tydligt mönster. Private Safety Processing ska ge säkerhetssystemet den helhetssynen utan att OpenAI:s personal får tillgång till kundernas underliggande innehåll.

Så fungerar Private Safety Processing

Befintliga ZDR-skydd analyserar i huvudsak förfrågningar och svar var för sig. Den nya förhandsversionen är tänkt att automatiskt bedöma kopplingar mellan flera relaterade interaktioner. Det kan handla om försök att kringgå säkerhetsbarriärer eller om att dela upp uppgifter för utveckling av skadlig kod i flera separata förfrågningar.

Den centrala skillnaden går mellan analys och lagring. Systemet ska kunna analysera relaterad aktivitet ur ett säkerhetsperspektiv, men OpenAI uppger att de underliggande promptarna och modellsvaren inte exponeras för företagets personal genom systemet.

OpenAI beskriver två möjliga upplägg för ZDR-distributioner:

• Kundens innehåll kan ligga kvar på infrastruktur som kunden själv kontrollerar.
• Om innehållet lagras på OpenAI:s infrastruktur kan det krypteras med nycklar som kunden kontrollerar, inte med nycklar som OpenAI:s personal har tillgång till.

I båda fallen kan automatiserade system identifiera misstänkt missbruk och skicka tillbaka en begränsad säkerhetssignal utan att exponera de bakomliggande promptarna eller svaren.

Vad får OpenAI veta när ett hot upptäcks?

Enligt beskrivningen av förhandsversionen får OpenAI en snävt avgränsad signal om vilken typ av aktivitet det rör sig om. I OpenAI:s systemskiss beskrivs resultatet som en larmkategori och en allvarlighetsgrad – inte som själva konversationen.

Signalen kan användas för säkerhets- eller verkställighetsbeslut, men innebär inte att hela sessionshistoriken skickas till OpenAI. Arbetsflödet kan förenklat beskrivas så här:

1. Automatiserade system granskar relaterade interaktioner efter potentiellt skadliga mönster.
2. Om mönstret passerar en viss risknivå skapas en begränsad säkerhetsklassificering.
3. OpenAI får klassificeringen, men inte promptarna, svaren eller samtalsutskriften.
4. Kunden kan själv undersöka den bakomliggande aktiviteten i sin egen miljö.

Det rör sig fortfarande om en förhandsversion. För företagskunder blir därför den praktiska implementationen, tröskelvärdena och rutinerna för felaktiga flaggningar avgörande. OpenAI har sagt att en bredare lansering och ett tekniskt white paper planeras till september 2026.

Varför ser OpenAI:s personal normalt inte en flaggad konversation?

En säkerhetsflagga ger inte automatiskt OpenAI:s medarbetare tillgång till konversationen. Enligt OpenAI:s beskrivning sparas kundinnehållet inte, och i upplägget med OpenAI-hostad lagring har OpenAI:s personal inte heller de dekrypteringsnycklar som kunden kontrollerar.

Kunden kan däremot välja att dela relevant material om den vill överklaga ett beslut, förklara legitim användning eller hjälpa till att utreda ett bekräftat missbruk. Utan ett sådant frivilligt utlämnande begränsas informationen till den maskinframställda säkerhetssignal som skickas till OpenAI.

Det skapar en tydlig åtskillnad mellan bevismaterial som kunden kontrollerar och riskinformation på leverantörsnivå. För leverantören kan det minska mängden känsligt material som måste hanteras, samtidigt som systemet får möjlighet att upptäcka mönster som ett filter för enskilda förfrågningar kan missa.

Vilka kunder testar systemet?

OpenAI har nämnt Glean, Databricks, Abridge och Microsoft bland kunderna som hjälper till att forma eller testa förhandsversionen. Annan rapportering pekar också ut Microsoft och Databricks som tidiga testkunder.

Funktionen presenteras inte som en vanlig inställning för konsumenter. Den riktar sig till berättigade API-distributioner där organisationer vill använda avancerade modeller och samtidigt behålla strikt kontroll över promptar och svar.

OpenAI och Anthropic gör olika avvägningar

OpenAI:s modell prioriterar att upptäcka missbruk samtidigt som leverantörens tillgång till kundinnehållet begränsas. Anthropic har för vissa modeller valt den motsatta avvägningen: promptar och svar för så kallade Covered Models sparas i 30 dagar för säkerhetsarbete och kan bli föremål för kontrollerad granskning.

Anthropics dokumentation anger att kravet gäller täckta modeller, däribland Mythos-modeller, och att dessa inte erbjuds med ZDR. Anthropic uppger samtidigt att lagrat material inte används för modellträning utan kundens uttryckliga tillstånd.

Den praktiska skillnaden är därmed betydande:

• OpenAI Private Safety Processing: automatiserad analys över relaterade interaktioner, där OpenAI enligt förhandsbeskrivningen får en begränsad säkerhetssignal i stället för själva innehållet.
• Anthropics policy för Covered Models: promptar och svar sparas i 30 dagar för säkerhetsarbete och kontrollerad granskning.

Ingen av modellerna tar bort behovet av intern styrning hos kunden. Företag behöver fortfarande kontrollera reglerna för berättigande, arkitekturen, åtkomstkontrollerna, lagringsvillkoren, regionala krav, överklagandeprocessen och de avtalsmässiga åtagandena innan lösningen används för känsliga arbetsflöden.

Därför är frågan viktig för reglerade verksamheter

Banker, vårdgivare och advokatbyråer hanterar ofta information som omfattas av sekretessavtal, integritetsregler, yrkesetiska skyldigheter eller särskilda branschkrav. En AI-leverantörs möjlighet att spara och eventuellt granska promptar kan därför påverka kundens bedömning av dataminimering, interna godkännanden, revisioner och leverantörsrisker.

Det betyder inte att 30 dagars lagring automatiskt är förbjuden, eller att ZDR i sig gör en AI-distribution förenlig med alla regler. Däremot leder de två modellerna till olika frågor för säkerhets- och juridikteam. Anthropics villkor för Covered Models kräver att organisationer hanterar leverantörens lagring och granskning, medan OpenAI positionerar ZDR och Private Safety Processing kring att begränsa leverantörens tillgång till själva innehållet.

För en företagskund blir de viktigaste frågorna därför konkreta:

• Är modellen och distributionen berättigade till ZDR?
• Var behandlas innehållet och vem kontrollerar krypteringsnycklarna om det lagras?
• Vilka exakta uppgifter ingår i en säkerhetsflagga?
• Kan kunden granska eller bestrida en flagga utan att lämna ut hela konversationen?
• Vad händer om leverantören misstänker allvarligt missbruk?
• Är leverantörens villkor för lagring och granskning förenliga med organisationens avtal och regulatoriska skyldigheter?

Säkerhet blir en del av själva produkten

Private Safety Processing visar hur integritet håller på att bli en del av AI-säkerhetsprodukten – inte bara en separat avtalsfråga. Utmaningen handlar inte längre enbart om huruvida en modell kan stoppa en farlig förfrågan. Den handlar också om huruvida leverantören kan upptäcka samordnat missbruk över längre arbetsflöden utan att behöva se varje kundkonversation.

OpenAI:s förhandsversion är ett svar på den utmaningen: behåll innehållet på kundens infrastruktur eller skydda det med kundkontrollerade nycklar, låt automatiserade system identifiera mönster mellan interaktioner och skicka endast en begränsad riskklassificering till leverantören.

Anthropics policy för Covered Models är ett annat svar: behåll relevanta promptar och svar under en begränsad period så att säkerhetsteam kan utreda dem, med kontrollerad granskning och en uttrycklig begränsning av användning för modellträning.

Vilken modell som passar bäst beror på kundens risktolerans, arbetsflödenas känslighet och hur mycket utredningsinsyn organisationen anser att en leverantör av avancerade modeller behöver. OpenAI:s planerade tekniska white paper och bredare lansering blir viktiga för att bedöma hur integritetslöftena fungerar i verkliga företagsmiljöer.