Klaim Codex Harness OpenAI Belum Terverifikasi, tetapi Pengelolaan Konteks Melipatgandakan Skor ARC-AGI-3

Klaim bahwa OpenAI merilis “Harness” berlisensi Apache 2.0 pada 20 Agustus sebagai kerangka eksekusi sumber terbuka untuk Codex belum terverifikasi oleh materi resmi yang tersedia. Klaim tersebut muncul dalam laporan sekunder, sementara sumber resmi lebih banyak menjelaskan loop agen Codex, jalur integrasinya, serta eksperimen benchmark yang menunjukkan betapa besar pengaruh pengelolaan status runtime terhadap performa model .

Apa yang dikonfirmasi sumber resmi tentang harness Codex?

Codex bukan sekadar model yang menjawab prompt satu per satu. OpenAI menggambarkan perilakunya sebagai loop agen berulang:

1. Merencanakan tugas.
2. Mengedit kode.
3. Menjalankan alat seperti tes, build, atau linter.
4. Mengamati hasilnya.
5. Memperbaiki kegagalan.
6. Memperbarui dokumentasi atau status.
7. Mengulangi proses bila diperlukan.

Loop ini mengoordinasikan model, instruksi pengguna, perubahan kode, pemanggilan alat, dan umpan balik dari lingkungan eksekusi . Codex dapat membaca, mengubah, dan menjalankan kode. Dalam alur kerja berbasis cloud, Codex juga dapat menangani sejumlah tugas secara paralel atau secara proaktif .

Komponen arsitektur lain yang telah dikonfirmasi adalah Codex App Server. OpenAI menjelaskannya sebagai API JSON-RPC dua arah yang menghubungkan logika agen bersama Codex ke berbagai antarmuka, termasuk aplikasi web, CLI, ekstensi IDE, dan aplikasi macOS .

Panduan pengembang OpenAI juga menyebut Codex CLI sebagai implementasi referensi sumber terbuka. Pengembang dapat menggunakan model secara langsung melalui API untuk fleksibilitas maksimal atau memanfaatkan Codex SDK sebagai jalur integrasi yang lebih sederhana .

Dengan demikian, gambaran praktisnya adalah sebuah runtime eksekusi di sekitar model—dilengkapi alat, status, umpan balik, dan antarmuka—yang memungkinkan agen mengerjakan tugas dalam beberapa tahap. Namun, sumber-sumber tersebut belum membuktikan bahwa OpenAI menyediakan paket baru bernama “Harness” di bawah lisensi Apache 2.0 pada 20 Agustus.

Bagian mana yang belum terbukti?

Bukti yang tersedia belum mengonfirmasi:

• bahwa rilis pada 20 Agustus benar-benar terjadi;
• bahwa nama resminya adalah “Harness”;
• bahwa paket tersebut menggunakan lisensi Apache 2.0;
• komponen apa saja yang termasuk dalam paket yang diklaim; atau
• perusahaan mana yang telah mengadopsinya dan hasil yang mereka capai.

Laporan sekunder tersebut menyebut

codex exec

Mengapa reasoning retention dan compaction berdampak besar pada ARC-AGI-3?

Hasil paling jelas yang didukung sumber resmi berasal dari eksperimen OpenAI terpisah. Pada kumpulan tugas publik ARC-AGI-3, GPT-5.6 Sol mencetak 13,3% menggunakan harness standar. Setelah reasoning retention dan context compaction diaktifkan melalui Responses API, skornya mencapai 38,3%—sekitar tiga kali lipat—sementara penggunaan token keluaran turun sekitar enam kali .

Perbandingan tersebut tidak menggambarkan perubahan pada bobot model. Perubahan utamanya terletak pada cara runtime mempertahankan status antargiliran:

• Reasoning retention memungkinkan penalaran antara yang berguna tetap tersedia setelah suatu tindakan, sehingga model tidak perlu membangun ulang pendekatannya dari awal.
• Context compaction memadatkan riwayat tugas yang lebih lama, alih-alih membiarkan konteks awal menghilang begitu saja ketika interaksi semakin panjang.

Panduan OpenAI untuk pembuat aplikasi menjelaskan bahwa kedua pengaturan ini membantu model menggunakan kembali pekerjaan yang sudah dilakukan dan menjaga koherensi dalam tugas dengan durasi lebih panjang . Karena itu, hasil tersebut sebaiknya dipahami sebagai pengukuran sistem gabungan antara model dan runtime—bukan bukti bahwa model dasarnya sendirian menjadi tiga kali lebih cakap.

Ada pula batasan penting: eksperimen ini membandingkan dua konfigurasi eksekusi pada kumpulan evaluasi publik. Hasilnya tidak otomatis berlaku untuk setiap agen, model, beban kerja, atau lingkungan produksi.

Apa yang bisa digunakan pengembang saat ini?

Kesimpulan paling kuat bukanlah pengumuman Apache 2.0 yang belum terverifikasi, melainkan tersedianya sejumlah jalur resmi untuk membangun aplikasi dengan perilaku coding agent:

• Akses API langsung: panduan prompting Codex menempatkan API sebagai pilihan dengan tingkat kustomisasi tertinggi .
• Codex SDK: SDK ditujukan bagi pengembang yang menginginkan integrasi lebih sederhana tanpa harus merakit seluruh antarmuka sendiri .
• CLI sumber terbuka: OpenAI menyebut Codex CLI sebagai implementasi referensi yang dapat diperiksa dan diadaptasi pengembang .
• Loop eksekusi agen: pola merencanakan–menerapkan–memvalidasi–memperbaiki menjadi dasar pekerjaan coding dengan rentang tugas panjang .
• Eksekusi cloud: Codex dapat bekerja dengan repositori, menjalankan kode, dan mengerjakan tugas latar belakang secara paralel di lingkungan cloud .

Kemampuan-kemampuan ini memungkinkan agen ditempatkan langsung ke dalam produk atau alur kerja engineering, bukan hanya digunakan melalui antarmuka percakapan umum. Pengembang dapat menambahkan instruksi khusus domain, alat, izin, tahapan validasi, serta mekanisme pengelolaan status di sekitar model.

Itulah arah integrasi yang didukung dokumentasi resmi. Sebaliknya, klaim bahwa satu rilis Harness berlisensi Apache menjadi paket formal yang menyatukan seluruh kemampuan tersebut masih belum dikonfirmasi oleh sumber resmi yang tersedia.

Bukti adopsi lebih terbatas daripada klaim rilis

Sumber yang disediakan tidak menyebut perusahaan yang mengadopsi framework Apache-licensed tersebut. Sumber-sumber itu juga tidak memberikan hasil tingkat perusahaan untuk alur kerja legal, operasional, riset, atau bidang non-coding lainnya.

Ada bukti yang lebih luas bahwa pelanggan enterprise menggunakan Codex. OpenAI melaporkan bahwa, per Juni, Codex menghasilkan 64% dari gabungan token keluaran Codex dan ChatGPT di antara pelanggan enterprise . Angka ini menunjukkan aktivitas enterprise yang besar, tetapi tidak membuktikan adopsi paket Harness yang diklaim, tidak menyebut perusahaan tertentu, dan tidak menetapkan dampak bisnisnya.

Implikasi strategisnya

Pola yang telah terverifikasi menunjukkan pergeseran dari bantuan berbasis chat menuju eksekusi yang didelegasikan. Codex menggabungkan model dengan alat, loop umpan balik berulang, status yang dapat dipertahankan atau dipadatkan, serta lingkungan eksekusi yang mampu menjalankan pekerjaan dalam beberapa tahap .

Bagi tim produk, arsitektur ini dapat mendukung agen khusus untuk repositori perangkat lunak, operasi internal, riset, atau alur kerja lain yang terkontrol. Kualitas aplikasinya tidak hanya bergantung pada pilihan model, tetapi juga pada rancangan akses alat, penyimpanan status, batas konteks, validasi, dan pemulihan ketika terjadi kegagalan.

Pelajaran paling tahan lama dari eksperimen ARC-AGI-3 adalah bahwa perubahan pada harness dapat mengubah kemampuan sekaligus efisiensi. Namun, berdasarkan bukti yang tersedia, lebih akurat jika kita membahas runtime dan komponen API Codex yang telah didokumentasikan daripada menyatakan rilis “Harness” Apache 2.0 pada 20 Agustus sebagai fakta yang sudah mapan.