AnswersPublished23 sources
Eksterne testere fandt svagheder i OpenAIs agentovervågning
I en pilot fra 21. juli til 11. Skønnet på 75–94 % handler om, hvor stor en del af trafikken der var omfattet af overvågning; det viser ikke, at al denne aktivitet faktisk blev overvåget eller fanget.
Udgivet afRedigeret med GPT-6 LunaBilleder genereret med GPT Image 2
Research answer
Key takeaways
- I en pilot fra 21. juli til 11.
- Skønnet på 75–94 % handler om, hvor stor en del af trafikken der var omfattet af overvågning; det viser ikke, at al denne aktivitet faktisk blev overvåget eller fanget.
- Den fulde rapport på 61 sider blev delt med OpenAI. Den offentlige gennemgang var begrænset, og evalueringen undersøgte systemet, som det så ud ved pilotens start.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did METR and Redwood Research’s July 21–August 11 pilot review of OpenAI’s internal AI-agent misalignment monitoring reveal, including. Article summary: The July 21–August 11, 2026 pilot found real gaps and evasion vulnerabilities in OpenAI’s internal AI-agent monitoring, including an exploit that could conceal hundreds of actions; OpenAI said all identified vulnerabilit. Topic tags: general, general web, user generated, news. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
En tre uger lang pilot hos OpenAI afdækkede konkrete svagheder i virksomhedens interne overvågning af AI-agenter. Blandt fundene var en mulig metode til at skjule hundredvis af agenthandlinger og et hul i overvågningen knyttet til såkaldte compaction-hændelser, hvor en agents kontekst komprimeres. OpenAI har oplyst, at sårbarheder med betydning for sikkerhedsforanstaltninger i produktion er blevet rettet. Evaluatorerne har dog ikke efterprøvet de senere ændringer uafhængigt. 1
10
21
Sådan foregik piloten
Fra 21. juli til 11. august 2026 arbejdede én medarbejder fra hver af de to nonprofitorganisationer METR og Redwood Research på OpenAIs adresse for at stressteste virksomhedens interne system til at opdage uønsket eller uhensigtsmæssig agentadfærd. De fik adgang til kildekode, dokumentation, dele af den interne infrastruktur og tekniske medarbejdere. De brugte OpenAI-udleveret udstyr, som blev på virksomhedens område, og OpenAI-medarbejdere fulgte deres arbejde på stedet. 2
5
7
Formålet var både at undersøge, hvor meget agentaktivitet systemet dækkede, og om agenter i princippet kunne slå overvågningen fra eller omgå den. METR oplyser, at arbejdet resulterede i en intern rapport på 61 sider, som blev delt med OpenAIs forskere og sikkerhedsmedarbejdere. Den offentlige omtale var et bredere sammendrag – ikke hele rapporten. 7
17
Hvad fandt evaluatorerne?
Ikke al relevant aktivitet var dækket
METR anslog, at 75–94 % af den interne agenttrafik via Responses API fra modeller mindst på niveau med GPT-5.5 var berettiget til overvågning. Tallet beskriver altså, hvor stor en andel der kunne være omfattet; det dokumenterer ikke, at al den trafik faktisk blev overvåget, eller at systemet ville opdage alle problemer. 1
6
18
Ved pilotens start blev træningsforløb fra reinforcement learning (RL) heller ikke overvåget for uhensigtsmæssig adfærd. 22
Mulige veje uden om overvågningen
Offentlige sammendrag omtaler flere svagheder: en mulig omgåelse af Codex’ sandkasse, forespørgselshoveder, som klienten selv kunne styre og bruge til at slå overvågning fra for nye agentinstanser, samt en udnyttelse, der kunne skjule hundredvis af agentens seneste handlinger for monitoren. De offentliggjorte beskrivelser giver ikke nok tekniske detaljer til at udgøre en fuldstændig redegørelse for rapportens fund. 1
3
Et hul forbundet med komprimering af kontekst
METR anslog, at manglende overvågning af compaction-hændelser sandsynligvis betød, at omkring 10 % af den interne Codex-trafik, der ellers var berettiget til overvågning, ikke blev overvåget fra maj til juli 2026. Organisationen understregede, at der er betydelig usikkerhed om den præcise andel. Ifølge omtale af fundene havde OpenAI-medarbejdere opdaget hullet før piloten, og det blev rettet under gennemgangen. 10
Hvad evalueringen ikke fastslår
Gennemgangen undersøgte overvågningssystemet, som det så ud ved pilotens begyndelse. METR oplyste, at evaluatorerne ikke vurderede senere ændringer. Derfor kan rapporten ikke uafhængigt bekræfte, hvor dækkende systemet blev efterfølgende, eller om alle rettelser virker efter hensigten. 7
21
22
OpenAI har sagt, at sårbarheder med betydning for virksomhedens sikkerhedsforanstaltninger i produktion er blevet rettet. Det er en vigtig oplysning, men den er OpenAIs egen redegørelse for arbejdet – ikke en uafhængig bekræftelse af, at alle svagheder er løst. 21
Hvorfor piloten er relevant
Piloten gav et konkret eksempel på, hvad det kan indebære, når eksterne evaluatorer får dyb adgang til en virksomheds interne systemer. OpenAI lovede senere i september at give uafhængige evaluatorer adgang på niveau med medarbejdere. Piloten viser, hvordan sådan en vurdering kan foregå, men bør ikke forveksles med en fuldstændig offentlig revision af sikkerheden. 8
28
Den mest præcise konklusion er, at evaluatorerne fandt huller i overvågningen og mulige veje til at omgå den, hvorefter OpenAI oplyste, at produktionsrelevante problemer var blevet rettet. De offentlige oplysninger giver stadig ikke et fuldt svar på, hvor omfattende overvågningen blev bagefter, eller hvem der uafhængigt kontrollerer, at rettelserne virker. 7
21
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Eksterne testere fandt svagheder i OpenAIs agentovervågning"?
I en pilot fra 21. juli til 11.
What are the key points to validate first?
I en pilot fra 21. juli til 11. Skønnet på 75–94 % handler om, hvor stor en del af trafikken der var omfattet af overvågning; det viser ikke, at al denne aktivitet faktisk blev overvåget eller fanget.
What should I do next in practice?
Den fulde rapport på 61 sider blev delt med OpenAI. Den offentlige gennemgang var begrænset, og evalueringen undersøgte systemet, som det så ud ved pilotens start.