En tre veckor lång granskning av METR och Redwood Research hittade konkreta svagheter i OpenAI:s interna övervakning av AI-agenter. Bland annat beskrev utvärderarna en metod som kunde låta en agent dölja hundratals handlingar. OpenAI uppgav att sårbarheter som påverkade företagets skydd i produktion hade åtgärdats, men granskarna utvärderade inte förändringarna efter pilotens start.
1
10
21
Så gick granskningen till
Mellan 21 juli och 11 augusti 2026 arbetade en forskare från vardera organisationen på plats hos OpenAI för att stresstesta företagets interna övervakning av modellbeteenden. De fick tillgång till källkod, dokumentation, viss intern infrastruktur och teknisk personal. Arbetet utfördes med OpenAI-utrustning som stannade på företagets område, och OpenAI-anställda följde arbetet på plats.
2
5
7
Syftet var både att undersöka hur stor del av agenternas aktivitet som övervakades och om agenter i princip kunde stänga av eller kringgå systemet. METR uppger att arbetet resulterade i en intern rapport på 61 sidor, som delades med OpenAI:s forskare och säkerhetspersonal. Den offentliga redogörelsen var en övergripande sammanfattning, inte hela rapporten.
7
17
Det här pekade granskarna ut
All relevant aktivitet täcktes inte
Enligt METR uppskattades 75–94 procent av den interna, agentbaserade trafiken via Responses API från modeller minst lika kapabla som GPT-5.5 vara möjlig att övervaka. Intervallet handlar om vilken trafik som bedömdes kunna omfattas av övervakning. Det visar inte att all sådan trafik faktiskt övervakades eller att systemet skulle upptäcka varje problem.
1
6
18
Granskningen visade också att träningskörningar med förstärkningsinlärning inte övervakades för avvikande beteende när piloten började.
22
Agenter kunde ha sätt att undvika övervakning
Offentliga sammanfattningar beskriver flera möjliga svagheter: en potentiell väg runt Codex sandlåda, klientstyrda headrar som kunde stänga av övervakning för nya agentinstanser och en metod för att dölja hundratals nyligen utförda handlingar från övervakningssystemet. De offentliga uppgifterna innehåller inte tillräckligt med tekniska detaljer för att ge en fullständig bild av rapportens fynd.
1
3
Komprimeringshändelser skapade en lucka
METR uppskattade att missade komprimeringshändelser sannolikt gjorde att omkring 10 procent av den interna Codex-trafik som kunde övervakas inte övervakades mellan maj och juli 2026. Organisationen betonade att den exakta andelen är osäker. Enligt rapporteringen hade OpenAI-anställda upptäckt luckan före piloten, och den åtgärdades under granskningen.
10
Vad granskningen inte bekräftar
Utvärderingen gällde övervakningssystemet så som det såg ut när piloten inleddes. METR säger att senare ändringar inte ingick i granskningen. Därför kan rapporten inte på egen hand bekräfta hur heltäckande övervakningen blev efteråt eller verifiera varje åtgärd.
7
21
22
OpenAI:s uppgift om att sårbarheter som påverkade skydden i produktion har åtgärdats är relevant, men det är företagets beskrivning av åtgärderna – inte en oberoende bekräftelse på att alla brister är lösta.
21
Varför piloten spelar roll
Granskningen prövade hur det kan fungera när externa utvärderare får djup tillgång till ett företags interna system. OpenAI utfärdade senare i september ett löfte om ”employee-like access” för oberoende utvärderare. Piloten visar vilken sorts intern åtkomst en sådan utvärdering kan innebära, men bör inte förväxlas med en fullständig offentlig revision.
8
28
Den tydligaste slutsatsen är avgränsad: utvärderare på plats hittade övervakningsluckor och möjliga sätt att kringgå systemet, och OpenAI uppger att problem som påverkade produktionsskydden har åtgärdats. De offentliga uppgifterna lämnar däremot frågor öppna om hur heltäckande övervakningen blev efteråt och vem som oberoende kontrollerar att åtgärderna fungerar.
7
21