AnswersPublished23 sources
Ujian tiga minggu temui kelemahan pemantauan ejen AI OpenAI
Dalam ujian rintis dari 21 Julai hingga 11 Ogos 2026, METR dan Redwood menemui kelemahan pemantauan ejen AI OpenAI, termasuk satu eksploit yang boleh menyembunyikan ratusan tindakan. Angka 75%–94% merujuk kepada anggaran trafik yang layak dipantau, bukannya bukti bahawa setiap tindakan benar benar dipantau atau semu...
Diterbitkan olehDisunting dengan GPT-6 LunaImej dijana dengan GPT Image 2
Research answer
Key takeaways
- Dalam ujian rintis dari 21 Julai hingga 11 Ogos 2026, METR dan Redwood menemui kelemahan pemantauan ejen AI OpenAI, termasuk satu eksploit yang boleh menyembunyikan ratusan tindakan.
- Angka 75%–94% merujuk kepada anggaran trafik yang layak dipantau, bukannya bukti bahawa setiap tindakan benar benar dipantau atau semua masalah dapat dikesan.
- Laporan penuh 61 halaman dikongsi dengan OpenAI, manakala dapatan awam hanya berupa ringkasan.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did METR and Redwood Research’s July 21–August 11 pilot review of OpenAI’s internal AI-agent misalignment monitoring reveal, including. Article summary: The July 21–August 11, 2026 pilot found real gaps and evasion vulnerabilities in OpenAI’s internal AI-agent monitoring, including an exploit that could conceal hundreds of actions; OpenAI said all identified vulnerabilit. Topic tags: general, general web, user generated, news. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wi
Ujian rintis selama tiga minggu oleh METR dan Redwood Research menemukan kelemahan yang boleh diambil tindakan dalam sistem dalaman OpenAI untuk memantau tingkah laku ejen AI. Antaranya ialah satu cara yang berpotensi membolehkan ejen menyembunyikan ratusan tindakan, serta lompang pemantauan yang dikaitkan dengan peristiwa compaction. OpenAI berkata kelemahan yang menjejaskan perlindungan produksinya telah ditampal, tetapi penilai tidak menguji secara bebas perubahan yang dibuat selepas itu. 1
10
21
Bagaimana ujian dijalankan
Dari 21 Julai hingga 11 Ogos 2026, seorang penyelidik daripada setiap organisasi bukan untung itu bekerja di premis OpenAI untuk menguji ketahanan sistem dalaman yang memantau kemungkinan tingkah laku AI yang tidak selari. Mereka mendapat akses kepada kod sumber, dokumentasi, sebahagian infrastruktur dalaman dan kakitangan teknikal. Penyelidik menggunakan peranti yang disediakan OpenAI dan kekal di premis syarikat; kakitangan OpenAI turut mengiringi kerja mereka di lokasi. 2
5
7
Ujian itu bertujuan menilai sejauh mana pemantauan meliputi aktiviti ejen, serta sama ada ejen boleh mematikan atau memintas sistem tersebut. METR menyatakan hasilnya ialah laporan dalaman setebal 61 halaman yang dikongsi dengan penyelidik dan kakitangan keselamatan OpenAI. Maklumat kepada umum pula ialah ringkasan yang lebih luas, bukan laporan penuh. 7
17
Apa yang ditemui penilai
Bukan semua aktiviti yang relevan diliputi
Menurut anggaran METR, sekitar 75%–94% trafik dalaman melalui Responses API daripada model yang sekurang-kurangnya setanding keupayaannya dengan GPT-5.5 layak dipantau. Angka itu mengukur anggaran kelayakan untuk pemantauan; ia tidak membuktikan bahawa semua aktiviti yang layak benar-benar dipantau atau setiap masalah akan dikesan. 1
6
18
Semakan itu turut mendapati bahawa pada permulaan ujian, proses latihan reinforcement learning (pembelajaran pengukuhan) tidak dipantau untuk mengesan kemungkinan tingkah laku tidak selari. 22
Ada kemungkinan laluan untuk mengelak pemantauan
Ringkasan awam menyebut beberapa jenis kelemahan, termasuk kemungkinan memintas kotak pasir Codex, pengepala yang boleh dikawal oleh klien dan berupaya mematikan pemantauan bagi instans ejen baharu, serta satu eksploit yang boleh menyembunyikan ratusan tindakan terkini daripada pemantau. Ringkasan yang tersedia tidak mendedahkan butiran teknikal secukupnya untuk dianggap sebagai senarai lengkap dapatan laporan. 1
3
Peristiwa compaction mewujudkan lompang liputan
METR menganggarkan bahawa peristiwa compaction yang terlepas mungkin menyebabkan kira-kira 10% trafik Codex dalaman yang layak dipantau tidak dipantau antara Mei hingga Julai 2026. Organisasi itu turut mengingatkan bahawa anggaran tepat masih tidak pasti. Laporan tentang dapatan METR menyatakan kakitangan OpenAI telah mengenal pasti lompang itu sebelum ujian rintis dan membaikinya semasa semakan berlangsung. 10
Perkara yang tidak dibuktikan oleh semakan ini
Penilaian tersebut menumpukan pada sistem pemantauan seperti keadaannya pada permulaan ujian rintis. METR berkata pihaknya tidak menilai perubahan selepas itu. Oleh itu, semakan itu tidak dapat mengesahkan secara bebas tahap liputan sistem yang lebih baharu atau memastikan setiap langkah pembaikan berkesan. 7
21
22
Kenyataan OpenAI bahawa kelemahan yang menjejaskan perlindungan produksinya telah ditampal merupakan maklumat penting, tetapi ia tetap kenyataan syarikat mengenai langkah pembaikan—bukan pengesahan bebas bahawa semua kelemahan telah diselesaikan. 21
Mengapa ujian rintis ini penting
Latihan ini memberi gambaran tentang bentuk akses mendalam yang boleh diberikan kepada penilai luar. OpenAI kemudian membuat ikrar pada September untuk memberikan penilai bebas akses seperti kakitangan syarikat. Ujian rintis ini menunjukkan jenis akses dalaman yang boleh dilibatkan dalam penilaian sedemikian, tetapi ia tidak patut disalah anggap sebagai audit awam yang menyeluruh. 8
28
Kesimpulan paling jelas adalah khusus: penilai yang bekerja di dalam syarikat menemui lompang pemantauan dan kemungkinan cara untuk mengelaknya, manakala OpenAI melaporkan bahawa isu yang menjejaskan sistem produksinya telah ditampal. Bukti awam yang tersedia masih belum menjelaskan sejauh mana liputan pemantauan diperluas selepas itu atau siapa yang mengesahkan secara bebas bahawa pembaikan tersebut berkesan. 7
21
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Ujian tiga minggu temui kelemahan pemantauan ejen AI OpenAI"?
Dalam ujian rintis dari 21 Julai hingga 11 Ogos 2026, METR dan Redwood menemui kelemahan pemantauan ejen AI OpenAI, termasuk satu eksploit yang boleh menyembunyikan ratusan tindakan.
What are the key points to validate first?
Dalam ujian rintis dari 21 Julai hingga 11 Ogos 2026, METR dan Redwood menemui kelemahan pemantauan ejen AI OpenAI, termasuk satu eksploit yang boleh menyembunyikan ratusan tindakan. Angka 75%–94% merujuk kepada anggaran trafik yang layak dipantau, bukannya bukti bahawa setiap tindakan benar benar dipantau atau semua masalah dapat dikesan.
What should I do next in practice?
Laporan penuh 61 halaman dikongsi dengan OpenAI, manakala dapatan awam hanya berupa ringkasan.