AnswersPublished19 sources
Skor 90.2% InAgent di OSWorld dan Kebangkitan Kejuruteraan Harness
Intelligence Indeed melaporkan Z Agent/InAgent mencapai kadar kejayaan 90.2% dalam OSWorld, sekali gus menjadi peserta pertama yang dilaporkan melepasi paras 90%. OSWorld menilai ejen dalam persekitaran komputer sebenar menggunakan semakan berasaskan pelaksanaan, bukan sekadar jawapan teks atau ramalan klik.
Diterbitkan olehDisunting dengan GPT-5.6 TerraImej dijana dengan GPT Image 2
Research answer
Key takeaways
- Intelligence Indeed melaporkan Z Agent/InAgent mencapai kadar kejayaan 90.2% dalam OSWorld, sekali gus menjadi peserta pertama yang dilaporkan melepasi paras 90%.
- OSWorld menilai ejen dalam persekitaran komputer sebenar menggunakan semakan berasaskan pelaksanaan, bukan sekadar jawapan teks atau ramalan klik.
- Kadar lulus 90.2% masih bermakna 9.8% tugasan tidak berjaya; aliran kerja berimpak tinggi tetap memerlukan pengesahan deterministik, had kuasa, barisan pengecualian dan kelulusan manusia.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Chinese company Intelligence Indeed’s InAgent become the first computer-use agent to exceed 90% on the OSWorld benchmark—achieving 9. Article summary: The reported result is best understood as a system-level achievement, not evidence that InAgent has a uniquely superior foundation model. InAgent reportedly combined model reasoning with an execution “harness” that plans. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Intelligence Indeed melaporkan pada Ogos 2026 bahawa produk penggunaan komputernya—disebut sebagai Z-Agent dalam pengumuman syarikat dan InAgent dalam liputan lain—mencapai kadar kejayaan tugasan 90.2% dalam OSWorld. Syarikat itu turut mendakwa pencapaian tersebut menjadikannya peserta pertama yang melepasi paras 90%, selain menduduki tempat pertama dalam subpapan pendahulu rangka kerja ejen. 18
22
Namun, pengajaran paling penting bukanlah bahawa satu model AI telah menyelesaikan automasi desktop. Sebaliknya, prestasi ejen semakin ditentukan oleh harness: perisian di sekeliling model yang menukar pelan kepada tindakan terkawal, memeriksa hasil tindakan, serta mengendalikan pelbagai kegagalan dalam aliran kerja sebenar.
Apa yang dilaporkan tentang InAgent
Liputan mengenai keputusan itu mengaitkan angka berikut dengan penilaian OSWorld InAgent:
- 90.2% kejayaan tugasan keseluruhan;
- 84.7% bagi tugasan merentas aplikasi;
- 92.3% bagi tugasan GIMP;
- 100% bagi tugasan peringkat sistem.
22
Ini ialah keputusan yang dilaporkan, bukannya dapatan yang telah diaudit secara bebas. Sumber yang dibekalkan tidak menyertakan laporan teknikal terbuka yang mengasingkan sumbangan model asas, alat tindakan, arahan, tetapan penilaian dan komponen harness kepada setiap skor. Perbezaan ini penting: skor penanda aras ejen mengukur gabungan model dan konfigurasi sistem, bukannya kecerdasan model secara terasing.
Kedudukan papan pendahulu juga tidak kekal. Satu petikan papan pendahulu pihak ketiga pada September 2026, misalnya, menyenaraikan sistem lain, Qwen3.8 Max, pada 86.1% dalam OSWorld-Verified. Ini menunjukkan kedudukan dan konfigurasi penilaian boleh berubah mengikut masa. 3
Mengapa OSWorld ialah ujian yang bermakna
OSWorld direka untuk menguji ejen yang mengendalikan persekitaran komputer sebenar, bukan sekadar menjawab soalan berdasarkan tangkap layar atau melayari laman web simulasi. Penanda aras asalnya mengandungi 369 tugasan dunia sebenar melibatkan aplikasi seperti Chromium, LibreOffice, GIMP, Thunderbird, VLC dan Visual Studio Code, di samping tugasan sistem pengendalian serta aliran kerja merentas aplikasi. Hasilnya diperiksa daripada keadaan akhir persekitaran melalui penilai berasaskan pelaksanaan. 2
14
Konfigurasi 361 tugasan yang lazim digunakan mengecualikan lapan tugasan Google Drive yang mungkin memerlukan persediaan manual. 14
Maksudnya, OSWorld lebih mencabar daripada ujian ramalan klik. Ejen perlu menavigasi antara muka, mengekalkan konteks sepanjang beberapa langkah, mengubah fail atau keadaan aplikasi, dan meninggalkan komputer dalam keadaan akhir yang tepat.
Konteks sejarah menjadikan dakwaan 90.2% itu ketara. Rujukan asal OSWorld melaporkan manusia dapat menyelesaikan lebih daripada 72.36% tugasan, sedangkan model terbaik ketika itu hanya mencapai 12.24%. 14 Namun, perbandingan itu tidak wajar dianggap ukuran menyeluruh kecekapan kerja profesional, kerana prestasi penanda aras bergantung pada pemilihan tugasan, persediaan persekitaran, had tindakan, alat dan harness ejen.
Peralihan daripada arahan kepada harness
Arahan (prompt) memberitahu model apa yang perlu dibuat. Kejuruteraan konteks menentukan maklumat yang diterimanya. Kejuruteraan harness pula mereka bentuk sistem masa jalan yang mengawal cara ejen memerhati, bertindak, menyimpan keadaan, mengesahkan kejayaan dan pulih daripada kegagalan.
Satu tinjauan tentang reka bentuk sistem ejen menerangkan harness pelaksanaan sebagai infrastruktur yang membentuk persepsi, tindakan serta keupayaan ejen untuk mengesan dan memulihkan ralat. Komponennya termasuk reka bentuk pemerhatian, ruang tindakan, persekitaran pelaksanaan terkawal, pengurusan konteks dan gelung pengesahan. 28
Bagi ejen yang menggunakan komputer, harness yang kukuh lazimnya perlu melakukan enam perkara:
- Memecahkan aliran kerja kepada submatlamat yang boleh diuji. Contohnya, bukan hanya mengarahkan ejen untuk “mengemas kini pesanan”, tetapi mewajibkannya mencari rekod, menyemak medan, membuat perubahan, melampirkan bukti dan mengesahkan perubahan itu disimpan.
- Menghalakan tindakan ke antara muka yang sesuai. API, arahan sistem atau alat berstruktur mungkin lebih baik daripada klik tetikus jika tersedia dan dibenarkan; kawalan GUI pula boleh digunakan apabila tiada antara muka boleh baca mesin.
- Mengekalkan keadaan yang tahan lama. Ejen perlu menyimpan rekod langkah yang telah selesai, aplikasi yang sedang digunakan, entiti yang dipilih, fail berkaitan dan sama ada tindakan selamat untuk dicuba semula.
- Mengesahkan hasil daripada sistem rekod. Dakwaan model bahawa tugasan telah selesai bukan bukti. Harness boleh menyemak respons API, nilai pangkalan data, fail yang disimpan atau keadaan aplikasi.
- Pulih dengan selamat. Ia memerlukan dasar untuk halaman basi, klik gagal, tetingkap timbul, masa tamat, penghantaran separa dan gangguan pengesahan.
- Menguatkuasakan kebenaran serta kebolehlihatan. Log, jejak tindakan, pintu kelulusan dan kelayakan terhad menjadikan kerja berimpak boleh disemak dan lebih selamat.
Terdapat bukti bahawa lapisan ini boleh mengubah prestasi dengan ketara. Satu kajian melaporkan sepuluh lelaran kejuruteraan harness ejen meningkatkan skor pass@1 dalam Terminal-Bench 2 daripada 69.7% kepada 77.0%, melepasi garis asas harness rekaan manusia yang disebut pada 71.9%. Ini ialah penanda aras lain, jadi ia tidak mengesahkan skor OSWorld InAgent—tetapi menyokong idea bahawa reka bentuk masa jalan boleh menghasilkan peningkatan besar tanpa hanya menukar model. 29
Mengapa ejen hibrid API dan GUI menarik untuk perniagaan
Daya tarikan strategi InAgent yang dilaporkan ialah pendekatan hibrid: menggunakan antara muka programatik yang boleh dipercayai apabila tersedia, sambil mengekalkan kawalan GUI seperti manusia untuk aplikasi yang tidak mempunyai API sesuai. 22
Pendekatan ini menjawab masalah biasa dalam organisasi. Banyak proses merentasi perkhidmatan moden yang mempunyai API, serta perisian desktop lama, portal pembekal atau sistem dalaman yang hanya boleh digunakan melalui skrin seperti yang digunakan pekerja manusia.
Secara prinsip, ejen boleh memilih laluan paling boleh dipercayai bagi setiap langkah:
- menggunakan API atau arahan untuk carian dan kemas kini berstruktur;
- menggunakan GUI untuk sistem legasi atau antara muka tertutup;
- menyemak hasil melalui sistem rekod yang deterministik apabila boleh.
Penyelidikan OSWorld-MCP juga mendapati panggilan alat boleh meningkatkan kejayaan tugasan penggunaan komputer dalam sesetengah tetapan. Dalam eksperimen yang dilaporkan, penambahan alat MCP meningkatkan OpenAI o3 daripada 8.3% kepada 17.6% pada 15 langkah, dan Claude 4 Sonnet daripada 38.9% kepada 45.0% pada 50 langkah. 24
Namun, automasi GUI masih terdedah kepada perubahan antara muka, kelewatan, tetingkap timbul, sasaran yang kabur, kawalan akses, pengesahan berbilang faktor (MFA) dan tindakan yang tidak boleh diundur. Pelaksanaan hibrid boleh mengurangkan risiko ini, tetapi tidak menghapuskannya.
Apa makna 90.2% untuk penggunaan sebenar
Kadar penyelesaian 90.2% bermakna 9.8% tugasan penanda aras tidak berjaya diselesaikan. Jika dibayangkan 10,000 tugasan yang setanding, kira-kira 980 akan menjadi pengecualian—sebelum mengambil kira ralat senyap yang kelihatan berjaya tetapi menghasilkan keputusan perniagaan yang salah.
Ini tidak menjadikan skor tersebut tidak penting. Ia menunjukkan ejen penggunaan komputer mungkin semakin berguna untuk aliran kerja yang terhad skopnya, berulang dan mempunyai kawalan kukuh. Namun, ia bukan lesen untuk automasi tanpa pengawasan bagi pembayaran, pemfailan undang-undang, operasi berkaitan keselamatan atau perubahan yang memberi kesan kepada pelanggan.
Untuk penggunaan produksi, pasukan perlu menilai lebih daripada kadar lulus utama:
- kadar penyiapan dan ketepatan pada aliran kerja sendiri;
- corak kegagalan serta keupayaan pemulihan;
- kos, kependaman dan jumlah tindakan;
- sempadan kebenaran serta titik kelulusan;
- bukti bahawa setiap tindakan yang dianggap selesai benar-benar mengubah keadaan sistem yang dimaksudkan;
- saiz dan proses pengendalian barisan pengecualian.
Penanda aras OSWorld 2.0 yang lebih baharu dan lebih sukar menguatkan keperluan untuk berhati-hati. Ia merangkumi 108 aliran kerja jangka panjang, dan keputusan penyelesaian binari tertinggi yang dilaporkan ialah 20.6% di bawah metrik utama 500 langkah. Ini menunjukkan ejen masih jauh daripada penggunaan komputer bertaraf profesional secara meluas apabila tugasan menjadi lebih panjang dan realistik. 17
Pencapaian sebenar ialah kejuruteraan pelaksanaan
Keputusan 90.2% InAgent paling wajar dibaca sebagai pencapaian dalam kejuruteraan sistem ejen. Arahan yang lebih baik dan konteks lebih kaya masih penting, tetapi automasi yang benar-benar boleh dipercayai semakin bergantung pada mekanisme di sekeliling model: penguraian tugasan, pemilihan alat, keadaan berterusan, pengesahan hasil, kuasa yang dihadkan dan laluan pemulihan.
Bagi organisasi, soalan yang lebih berguna bukan sekadar model mana mendahului penanda aras. Soalan utamanya ialah sama ada ejen boleh melaksanakan aliran kerja tertentu dengan ketepatan yang boleh diukur, kesan sampingan terkawal dan serahan selamat kepada manusia apabila ia tidak dapat meneruskan tugas. Skor OSWorld yang tinggi boleh membantu menilai potensi itu—tetapi tidak mampu membuktikannya dengan sendirinya.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Skor 90.2% InAgent di OSWorld dan Kebangkitan Kejuruteraan Harness"?
Intelligence Indeed melaporkan Z Agent/InAgent mencapai kadar kejayaan 90.2% dalam OSWorld, sekali gus menjadi peserta pertama yang dilaporkan melepasi paras 90%.
What are the key points to validate first?
Intelligence Indeed melaporkan Z Agent/InAgent mencapai kadar kejayaan 90.2% dalam OSWorld, sekali gus menjadi peserta pertama yang dilaporkan melepasi paras 90%. OSWorld menilai ejen dalam persekitaran komputer sebenar menggunakan semakan berasaskan pelaksanaan, bukan sekadar jawapan teks atau ramalan klik.
What should I do next in practice?
Kadar lulus 90.2% masih bermakna 9.8% tugasan tidak berjaya; aliran kerja berimpak tinggi tetap memerlukan pengesahan deterministik, had kuasa, barisan pengecualian dan kelulusan manusia.
Sources
globenewswire.comIntelligence Indeed's Z-Agent Becomes OSWorld's First 90%+
benchlm.aiOSWorld-Verified Leaderboard & Scores — August 2026
arxiv.orgOSWorld-Human: Benchmarking the Efficiency of Computer-Use ...
osworld-v1.xlang.aiOSWorld: Benchmarking Multimodal Agents for Open-Ended ...