AVO NVIDIA Membawa Claude Opus 5 Meraih Skor 100% di ARC-AGI-3

NVIDIA melaporkan bahwa sistem Agentic Variation Operators (AVO) meraih skor sempurna 100,00 RHAE pada set publik benchmark interaktif ARC-AGI-3. Dengan Claude Opus 5 sebagai model dasarnya, AVO menyelesaikan seluruh 183 level di 25 lingkungan dalam 6.624 aksi.

Yang menarik bukanlah klaim bahwa model fondasi baru tiba-tiba mampu menaklukkan benchmark tersebut. Sorotan utamanya justru ada pada arsitektur agen: sistem yang semula dikembangkan untuk rekayasa perangkat lunak dan optimasi kernel GPU ternyata dapat dialihkan ke tugas penalaran interaktif yang sangat berbeda.

Bukan hanya modelnya yang ditingkatkan

Dalam snapshot papan peringkat yang dipublikasikan, Claude Opus 5 tercatat meraih 30,2%, sementara GPT-5.6 Sol mendapat 7,8% dalam konfigurasi harness standar.

Hasil NVIDIA menggunakan model dasar yang sama secara umum, tetapi menambahkan sistem eksekusi yang dirancang untuk mempertahankan pekerjaan selama banyak langkah. Sistem tersebut dapat memeriksa dan mengubah artefak, menjalankan alat serta perintah, membaca dokumentasi, mengevaluasi hasil, lalu mengubah pendekatan berdasarkan umpan balik dari lingkungan.

Secara sederhana, AVO menggantikan pola tanya-jawab sekali jalan dengan siklus kerja berikut:

1. Membentuk hipotesis tentang tugas.
2. Mengambil tindakan melalui alat yang tersedia.
3. Mengamati respons lingkungan.
4. Menyimpan temuan dan kondisi yang berguna.
5. Memeriksa apakah hasilnya berhasil.
6. Merevisi strategi dan melanjutkan proses.

Siklus ini penting dalam ARC-AGI-3. Agen tidak cukup hanya menjawab instruksi yang sudah lengkap; agen harus menjelajahi lingkungan interaktif yang belum dikenal, lalu menyimpulkan aturan dan tujuan melalui tindakan.

Empat komponen utama AVO

Kekuatan AVO berasal dari beberapa kemampuan yang bekerja secara terkoordinasi dalam rentang tugas yang panjang.

Memori persisten

Memori persisten memungkinkan agen menyimpan penemuan, pendekatan yang gagal, dan kondisi penting, alih-alih memperlakukan setiap langkah sebagai percakapan yang terpisah. Dalam benchmark yang menuntut eksplorasi, kemampuan ini dapat mengurangi pengulangan kesalahan dan membantu agen membangun pemahaman kerja atas lingkungan yang asing.

Alat eksekusi dan umpan balik nyata

AVO dikembangkan sebagai sistem agen pemrograman yang mampu memeriksa pekerjaan, melakukan perubahan, menjalankan perintah, dan memvalidasi hasil. Dengan demikian, penalaran agen terhubung pada hasil yang dapat diamati. Usulan perubahan tidak diterima hanya karena terdengar masuk akal, tetapi diuji, diukur, dan diperbaiki bila hasilnya tidak sesuai.

Revisi berdasarkan bukti

Setiap tindakan menghasilkan informasi baru. Jika hipotesis awal tidak terbukti, agen dapat menggunakan informasi tersebut untuk mengubah strategi. Pola ini berbeda dari model yang hanya menghasilkan satu respons panjang tanpa kesempatan untuk menguji dan memperbaiki langkahnya.

Pengawasan dan pemulihan

Lapisan supervisor membantu mengoordinasikan proses yang panjang. Alih-alih membiarkan satu panggilan model mengambil keputusan tanpa batas, sistem dapat memantau kemajuan, mengenali arah yang tidak produktif, dan membantu pemulihan ketika asumsi awal ternyata keliru. NVIDIA dan berbagai deskripsi terkait AVO menyebut memori, alat eksekusi, umpan balik eksternal, serta supervisi sebagai bagian penting dari operasi otonom berkelanjutan.

Jika digabungkan, komponen-komponen ini memberi model kerangka terstruktur untuk mengeksplorasi, bertindak, mengamati, dan mengoreksi diri. Model tetap menyumbang sebagian besar kemampuan penalaran, tetapi harness—lapisan sistem yang mengatur cara model bekerja—menentukan apakah penalaran tersebut dapat diwujudkan secara konsisten di lingkungan nyata.

Perbandingan dengan Claude Opus 5 dan GPT-5.6 Sol

Perbandingan skor ini berguna, tetapi konteks evaluasinya tidak sepenuhnya sama.

Sistem atau konfigurasi	Hasil ARC-AGI-3 yang dilaporkan	Konteks evaluasi
AVO dengan Claude Opus 5	100,00 RHAE	Set publik; 183 dari 183 level diselesaikan
Claude Opus 5 tanpa AVO	30,2%	Snapshot papan peringkat dan konfigurasi perbandingan standar
GPT-5.6 Sol	7,8%	Perbandingan standar atau semi-privat terverifikasi
GPT-5.6 Sol dengan penalaran yang dipertahankan dan kompaksi	38,3%	Uji khusus OpenAI pada tugas publik

Angka AVO dan skor Claude Opus 5 mandiri bukan jenis pengukuran yang identik. Skor pertama merupakan hasil sistem agen lengkap pada set publik, sedangkan skor kedua adalah skor model dalam harness benchmark. Perbedaan inilah yang menjadi inti cerita.

GPT-5.6 Sol juga menunjukkan pentingnya konfigurasi sistem. Hasil ARC Prize yang dipublikasikan mencatat Sol sebesar 7,78% pada tingkat upaya penalaran maksimum. OpenAI secara terpisah melaporkan skor 38,3% pada tugas publik setelah mempertahankan penalaran lintas giliran dan menggunakan kompaksi. Hasil tersebut bukan pengganti yang setara dengan skor papan peringkat resmi, tetapi memperlihatkan bahwa memori dan pengelolaan status dapat memengaruhi performa secara signifikan dalam benchmark agen.

Kesimpulan yang paling aman bukan bahwa satu model selalu lebih unggul daripada yang lain. Kesimpulannya adalah performa otonom sangat bergantung pada kombinasi model, kebijakan memori, antarmuka alat, strategi pengelolaan status, dan harness evaluasi.

Berawal dari optimasi kernel GPU

Lingkungan awal AVO adalah rekayasa perangkat lunak yang sulit dan optimasi kernel GPU. Dalam skenario tersebut, agen harus memeriksa implementasi, mengusulkan perubahan, menjalankan pengujian berbasis perangkat keras, membaca umpan balik performa, lalu menentukan eksperimen berikutnya. Keberhasilan tidak datang dari satu generasi kode yang sempurna, melainkan dari eksperimen berulang.

NVIDIA melaporkan bahwa dalam pekerjaan optimasi kernel GPU, AVO mengeksplorasi lebih dari 500 arah, menetapkan 40 versi kernel, dan mencapai peningkatan performa hingga 10,5% dibandingkan FlashAttention-4 pada sistem DGX B200.

Kemampuan yang berpindah ke ARC-AGI-3 bukanlah pengetahuan khusus tentang kernel GPU. Yang lebih penting adalah proses eksperimentalnya: membuat kandidat, menjalankannya, mengukur hasil, menyimpan pelajaran, dan mengubah arah ketika bukti tidak mendukung hipotesis.

ARC-AGI-3 memang memiliki antarmuka tugas yang berbeda, tetapi sama-sama menguntungkan agen yang dapat menemukan struktur melalui interaksi berulang.

Menyelesaikan tugas dengan lebih sedikit aksi

AVO dilaporkan menyelesaikan seluruh set publik dalam 6.624 aksi lingkungan, dibandingkan 7.542 aksi yang dilaporkan untuk VISTA. Itu berarti pengurangan sekitar 12% untuk 183 level yang sama.

Efisiensi ini penting karena metrik RHAE ARC-AGI-3 memperhitungkan efisiensi aksi relatif terhadap kinerja manusia, bukan hanya apakah agen pada akhirnya mencapai kondisi berhasil. Sistem agen jangka panjang harus mengelola eksplorasi dengan hati-hati: terlalu banyak percobaan dapat membuat sistem yang sebenarnya mampu menjadi mahal, lambat, dan tidak praktis.

Apa artinya bagi AI perusahaan?

Bagi perusahaan, pelajaran paling relevan dari hasil ini bersifat arsitektural. Sistem otonom yang andal kemungkinan besar bukan sekadar model bahasa besar yang dihubungkan ke beberapa alat. Yang dibutuhkan adalah lapisan eksekusi yang terkelola di sekeliling model.

Lapisan tersebut dapat mencakup:

• memori tugas persisten dan pengelolaan status yang eksplisit;
• antarmuka alat yang terbatas, jelas, dan mudah diuji;
• gerbang validasi sebelum tindakan penting disetujui;
• langkah-langkah antara yang dapat diamati serta log audit;
• mekanisme pemulihan, pembatalan, dan eskalasi; serta
• izin yang jelas untuk tindakan yang memengaruhi pelanggan, sistem, atau data.

AVO juga memperkuat alasan untuk membangun tumpukan agen yang modular. Jika sebagian besar peningkatan performa berasal dari harness, perusahaan dapat memisahkan lapisan memori, adaptor alat, rangkaian evaluasi, pengendalian kebijakan, dan observabilitas dari model fondasi. Dengan begitu, perusahaan lebih mudah membandingkan model, mengganti penyedia, atau menyesuaikan sistem untuk alur kerja tertentu tanpa membangun ulang seluruh infrastruktur.

Namun, hasil benchmark ini tidak boleh dianggap sebagai bukti keandalan untuk penggunaan perusahaan. Angka 100% dari NVIDIA merupakan hasil yang dilaporkan pada set publik ARC-AGI-3. Angka tersebut belum membuktikan performa yang sama pada tugas tersembunyi, data produksi, atau proses bisnis berisiko tinggi. Replikasi independen, pengujian pada set privat, analisis biaya dan latensi, peninjauan keamanan, serta evaluasi keselamatan tetap diperlukan.

Pelajaran yang lebih luas

AVO menggeser pertanyaan dari “Model mana yang paling pintar?” menjadi pertanyaan yang lebih operasional: Sistem mana yang mampu mempertahankan konteks, menggunakan alat, belajar dari umpan balik, dan pulih dari kesalahan selama alur kerja yang panjang?

Model tetap penting. Namun, ARC-AGI-3 menunjukkan dengan jelas bahwa harness di sekeliling model dapat menentukan apakah kemampuan tersebut bertahan ketika berhadapan dengan lingkungan yang belum dikenal.

Bagi organisasi yang membangun AI otonom, keunggulan kompetitif pada akhirnya mungkin lebih banyak ditentukan oleh kualitas sistem eksekusi—bukan oleh satu panggilan ke model semata.