JawabanDipublikasikan19 sumber
InAgent Tembus 90,2% di OSWorld, tetapi Keunggulan Sesungguhnya Ada pada Harness
Intelligence Indeed melaporkan InAgent/Z Agent mencapai tingkat keberhasilan 90,2% pada OSWorld—hasil pertama yang dilaporkan melampaui 90%. OSWorld menguji agen di lingkungan komputer nyata dengan pemeriksaan hasil berbasis eksekusi, bukan sekadar kemampuan menjawab dari teks atau tangkapan layar.
Diterbitkan olehDiedit dengan GPT-5.6 TerraGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Intelligence Indeed melaporkan InAgent/Z Agent mencapai tingkat keberhasilan 90,2% pada OSWorld—hasil pertama yang dilaporkan melampaui 90%.
- OSWorld menguji agen di lingkungan komputer nyata dengan pemeriksaan hasil berbasis eksekusi, bukan sekadar kemampuan menjawab dari teks atau tangkapan layar.
- Skor 90,2% masih menyisakan 9,8% tugas yang gagal; penerapan di perusahaan tetap membutuhkan verifikasi deterministik, batas izin, antrean pengecualian, dan jalur persetujuan manusia.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Chinese company Intelligence Indeed’s InAgent become the first computer-use agent to exceed 90% on the OSWorld benchmark—achieving 9. Article summary: The reported result is best understood as a system-level achievement, not evidence that InAgent has a uniquely superior foundation model. InAgent reportedly combined model reasoning with an execution “harness” that plans. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Intelligence Indeed melaporkan pada Agustus 2026 bahwa produk agen komputer mereka—disebut Z-Agent dalam pengumuman perusahaan dan InAgent dalam liputan lain—mencapai tingkat keberhasilan tugas 90,2% di OSWorld. Perusahaan itu menyatakan hasil tersebut menjadi capaian pertama yang dilaporkan menembus ambang 90%, sekaligus menempati posisi pertama di subpapan peringkat agentic framework. 18
22
Namun, inti ceritanya bukan bahwa satu model AI telah “menyelesaikan” otomasi desktop. Performa agen kini semakin ditentukan oleh harness: perangkat lunak di sekeliling model yang menerjemahkan rencana menjadi tindakan terkendali, mengecek apakah tindakan itu benar-benar berhasil, serta menangani kegagalan yang lazim terjadi dalam alur kerja dunia nyata.
Angka yang dilaporkan InAgent
Menurut liputan mengenai evaluasi InAgent di OSWorld, rinciannya adalah:
- 90,2% keberhasilan tugas secara keseluruhan;
- 84,7% pada tugas lintas aplikasi;
- 92,3% pada tugas GIMP;
- 100% pada tugas tingkat sistem.
22
Angka tersebut adalah hasil yang dilaporkan, bukan temuan audit independen. Materi yang tersedia tidak memuat laporan teknis publik yang memisahkan kontribusi model dasar, alat tindakan, prompt, pengaturan evaluasi, maupun komponen harness terhadap masing-masing skor. Ini penting karena skor benchmark agen mengukur konfigurasi model beserta sistemnya, bukan kecerdasan model secara terpisah.
Klaim posisi puncak juga perlu dibaca sebagai catatan pada waktu tertentu, bukan status permanen. Snapshot papan peringkat pihak ketiga pada September 2026, misalnya, mencatat Qwen3.8 Max di 86,1% pada OSWorld-Verified—contoh bahwa peringkat serta konfigurasi evaluasi dapat berubah. 3
Mengapa OSWorld merupakan uji yang berat
OSWorld dirancang untuk menguji agen yang mengoperasikan lingkungan komputer nyata, bukan sekadar menjawab pertanyaan dari gambar layar atau mengklik halaman web simulasi. Benchmark awalnya mencakup 369 tugas dunia nyata di aplikasi seperti Chromium, LibreOffice, GIMP, Thunderbird, VLC, dan Visual Studio Code, ditambah tugas sistem operasi serta pekerjaan lintas aplikasi. Hasilnya diperiksa dari kondisi akhir lingkungan yang telah dikonfigurasi, melalui pemeriksaan berbasis eksekusi. 2
14
Konfigurasi yang umum dipakai berisi 361 tugas, karena delapan tugas Google Drive yang dapat memerlukan penyiapan manual dikeluarkan. 14
Artinya, agen harus mampu menavigasi antarmuka, mempertahankan konteks selama banyak langkah, memanipulasi berkas atau status aplikasi, lalu meninggalkan komputer dalam kondisi akhir yang benar. Ini jauh lebih sulit daripada sekadar menebak tombol yang harus diklik.
Dalam publikasi referensi awal OSWorld, manusia menyelesaikan lebih dari 72,36% tugas, sementara model terbaik hanya mencapai 12,24%. 14 Karena itu, klaim 90,2% patut diperhatikan. Meski begitu, perbandingan ini tidak boleh dianggap sebagai ukuran universal kompetensi kerja: kinerja benchmark bergantung pada pilihan tugas, penyiapan lingkungan, anggaran tindakan, alat yang diizinkan, dan desain harness agen.
Dari prompt ke harness engineering
Prompt engineering mengatur instruksi untuk model. Context engineering mengatur informasi yang diterima model. Sementara itu, harness engineering merancang sistem waktu jalan (runtime) yang menentukan bagaimana agen mengamati lingkungan, bertindak, menyimpan status, memverifikasi penyelesaian, dan pulih saat terjadi kesalahan.
Sebuah survei mengenai desain sistem agen menggambarkan execution harness sebagai infrastruktur yang membentuk persepsi dan tindakan agen, sekaligus kemampuannya mendeteksi serta memulihkan kesalahan. Elemen di dalamnya meliputi desain observasi, ruang tindakan, sandbox eksekusi, manajemen konteks, dan putaran verifikasi. 28
Untuk agen yang mengoperasikan komputer, harness yang andal umumnya menjalankan enam fungsi berikut:
- Memecah alur kerja menjadi subtujuan yang dapat diuji. Alih-alih hanya meminta agen “memperbarui pesanan”, sistem dapat memintanya mencari catatan, memvalidasi kolom, membuat pembaruan, melampirkan bukti, dan memastikan perubahan tersimpan.
- Mengarahkan tindakan ke antarmuka yang tepat. API, perintah, atau alat terstruktur bisa lebih baik daripada klik mouse bila tersedia dan diizinkan; kontrol GUI digunakan ketika tidak ada antarmuka yang dapat dibaca mesin.
- Menyimpan status secara tahan lama. Agen perlu mengetahui langkah yang telah selesai, aplikasi yang aktif, entitas yang dipilih, berkas terkait, serta apakah tindakan aman untuk dicoba ulang.
- Memverifikasi hasil dari sumber data utama. Pernyataan model bahwa tugas telah selesai bukan bukti. Harness dapat memeriksa respons API, nilai basis data, berkas yang tersimpan, atau status aplikasi.
- Pulih dengan aman. Sistem perlu memiliki kebijakan untuk halaman usang, klik gagal, pop-up, timeout, pengiriman parsial, dan gangguan autentikasi.
- Menegakkan izin dan keterlacakan. Log, jejak tindakan, gerbang persetujuan, serta kredensial terbatas membuat pekerjaan berdampak besar lebih aman dan dapat ditinjau.
Ada bukti empiris bahwa lapisan ini dapat mengubah performa secara material. Satu studi melaporkan bahwa sepuluh iterasi agentic harness engineering meningkatkan skor pass@1 Terminal-Bench 2 dari 69,7% menjadi 77,0%, melampaui baseline harness rancangan manusia sebesar 71,9%. Itu adalah benchmark berbeda dan tidak memvalidasi skor OSWorld InAgent, tetapi mendukung gagasan bahwa desain runtime dapat menghasilkan peningkatan besar tanpa sekadar mengganti model. 29
Daya tarik pendekatan API plus GUI
Nilai komersial yang dilaporkan dari InAgent terletak pada pendekatan hibrida: memakai antarmuka terprogram seperti API ketika tersedia, sembari mempertahankan kontrol GUI mirip manusia untuk aplikasi tanpa API yang memadai. 22
Pendekatan ini relevan bagi perusahaan yang proses kerjanya melintasi layanan modern dengan API, perangkat lunak desktop lama, portal pemasok, atau sistem internal tertutup yang pada praktiknya hanya dapat dioperasikan lewat layar seperti yang digunakan pegawai.
Secara prinsip, agen dapat mengambil jalur paling andal di setiap tahap:
- memakai API atau perintah untuk mengambil maupun memperbarui data terstruktur;
- memakai GUI untuk sistem lama atau antarmuka tertutup;
- memeriksa hasil melalui sumber data yang deterministik bila memungkinkan.
Riset OSWorld-MCP juga menemukan bahwa pemanggilan alat dapat meningkatkan tingkat keberhasilan tugas penggunaan komputer dalam beberapa kondisi. Dalam eksperimen yang dilaporkan, tambahan alat MCP meningkatkan OpenAI o3 dari 8,3% menjadi 17,6% pada 15 langkah, dan Claude 4 Sonnet dari 38,9% menjadi 45,0% pada 50 langkah. 24
Tetap ada batasnya. Otomasi GUI rentan terhadap perubahan antarmuka, latensi, pop-up, target yang ambigu, kontrol akses, autentikasi multifaktor, dan tindakan yang sulit dibatalkan. Eksekusi hibrida dapat mengurangi risiko tersebut, tetapi tidak menghapuskannya.
Apa arti skor 90,2% untuk penerapan nyata
Tingkat penyelesaian 90,2% berarti 9,8% tugas benchmark tidak berhasil diselesaikan. Dalam ilustrasi 10.000 tugas yang sebanding, terdapat sekitar 980 pengecualian—belum termasuk kesalahan yang tampak sukses tetapi menghasilkan dampak bisnis yang keliru.
Ini bukan alasan untuk mengabaikan capaian tersebut. Skor itu menunjukkan bahwa agen penggunaan komputer mungkin semakin berguna untuk proses yang terbatas, berulang, dan memiliki kontrol kuat. Namun, skor ini bukan izin untuk menjalankan otomasi tanpa pengawasan pada pembayaran, pengajuan hukum, operasi yang terkait keselamatan, atau perubahan yang berdampak langsung pada pelanggan.
Sebelum dipakai di produksi, perusahaan perlu menguji lebih dari sekadar tingkat kelulusan utama:
- penyelesaian dan ketepatan pada alur kerja mereka sendiri;
- pola kegagalan dan kemampuan pemulihannya;
- biaya, latensi, dan volume tindakan;
- batas izin serta titik persetujuan;
- bukti bahwa tiap tindakan yang dinyatakan selesai benar-benar mengubah status sistem yang dituju;
- ukuran antrean pengecualian dan proses penanganannya.
Benchmark OSWorld 2.0 yang lebih baru dan lebih sulit memperkuat alasan untuk berhati-hati. Benchmark ini berisi 108 alur kerja jangka panjang; hasil terbaik yang dilaporkan untuk penyelesaian biner pada metrik utama 500 langkah hanya 20,6%. Ini menunjukkan agen masih jauh dari kemampuan penggunaan komputer yang luas dan setara standar profesional ketika tugas menjadi lebih panjang serta realistis. 17
Tonggak utamanya adalah rekayasa eksekusi
Hasil 90,2% InAgent paling tepat dibaca sebagai tonggak rekayasa sistem agen. Prompt yang lebih baik dan konteks yang lebih kaya tetap penting, tetapi otomasi yang andal semakin bergantung pada mekanisme di sekeliling model: dekomposisi tugas, pemilihan alat, status persisten, penyelesaian yang dapat diverifikasi, wewenang yang dibatasi, dan jalur pemulihan.
Bagi perusahaan, pertanyaan yang paling berguna bukan semata-mata model mana yang berada di puncak benchmark. Pertanyaannya adalah apakah agen dapat menjalankan alur kerja tertentu dengan ketepatan yang terukur, efek samping yang terkendali, serta serah-terima aman kepada manusia ketika tidak dapat melanjutkan. Skor OSWorld yang tinggi dapat membantu memberi petunjuk—tetapi tidak cukup, sendirian, untuk membuktikannya.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "InAgent Tembus 90,2% di OSWorld, tetapi Keunggulan Sesungguhnya Ada pada Harness"?
Intelligence Indeed melaporkan InAgent/Z Agent mencapai tingkat keberhasilan 90,2% pada OSWorld—hasil pertama yang dilaporkan melampaui 90%.
Apa poin penting yang harus divalidasi terlebih dahulu?
Intelligence Indeed melaporkan InAgent/Z Agent mencapai tingkat keberhasilan 90,2% pada OSWorld—hasil pertama yang dilaporkan melampaui 90%. OSWorld menguji agen di lingkungan komputer nyata dengan pemeriksaan hasil berbasis eksekusi, bukan sekadar kemampuan menjawab dari teks atau tangkapan layar.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Skor 90,2% masih menyisakan 9,8% tugas yang gagal; penerapan di perusahaan tetap membutuhkan verifikasi deterministik, batas izin, antrean pengecualian, dan jalur persetujuan manusia.
Sumber
globenewswire.comIntelligence Indeed's Z-Agent Becomes OSWorld's First 90%+
benchlm.aiOSWorld-Verified Leaderboard & Scores — August 2026
arxiv.orgOSWorld-Human: Benchmarking the Efficiency of Computer-Use ...
osworld-v1.xlang.aiOSWorld: Benchmarking Multimodal Agents for Open-Ended ...