JawabanDipublikasikan18 sumber
Qwen-UI-Agent: AI Alibaba yang Bisa Mengoperasikan Ponsel dan Komputer dari Layar
Alibaba merilis Qwen UI Agent pada 20 Agustus 2026 sebagai model fondasi agen GUI untuk ponsel, komputer, web, dan lingkungan DeepSearch. Model ini memadukan interaksi layar—seperti klik, ketikan, dan gesekan—dengan eksekusi perintah melalui command line, serta dilatih menggunakan lebih dari 100 ponsel fisik dan leb...
Diterbitkan olehDiedit dengan GPT-5.6 LunaGambar dibuat dengan GPT Image 1.5
Jawaban penelitian
Poin-poin penting
- Alibaba merilis Qwen UI Agent pada 20 Agustus 2026 sebagai model fondasi agen GUI untuk ponsel, komputer, web, dan lingkungan DeepSearch.
- Model ini memadukan interaksi layar—seperti klik, ketikan, dan gesekan—dengan eksekusi perintah melalui command line, serta dilatih menggunakan lebih dari 100 ponsel fisik dan lebih dari 150 aplikasi.
- Kinerja terkuatnya terlihat pada benchmark mobile: 82,1% di MobileWorld, 92,2% di MobileWorld Real, dan 97,5% di AndroidDaily.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba Qwen’s Qwen-UI-Agent, released on August 20, 2026, and how does its GUI-agent foundation model use real-device training acro. Article summary: Qwen-UI-Agent is Alibaba Qwen’s real-world GUI-agent foundation model: it operates phones, desktops, browsers, and DeepSearch environments by interpreting what is displayed on screen and taking actions such as clicks, ke. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
Alibaba memperkenalkan Qwen-UI-Agent pada 20 Agustus 2026 sebagai model fondasi agen antarmuka grafis atau GUI agent yang dirancang untuk memakai perangkat seperti manusia. Model ini membaca tampilan layar, mengenali elemen yang relevan, lalu menjalankan tindakan berupa klik, ketikan, input teks, dan gesekan. Cakupannya meliputi ponsel, komputer desktop, penjelajahan web, serta lingkungan DeepSearch. Laporan teknisnya telah dipublikasikan di arXiv pada 30 Juli 2026. 3
33
Gagasan utamanya cukup praktis: jika AI dapat menggunakan antarmuka biasa, ia berpotensi mengotomatiskan layanan yang tidak menyediakan application programming interface (API) khusus. Namun, hasil benchmark Qwen-UI-Agent perlu dibaca secara hati-hati. Keunggulannya paling jelas pada penggunaan perangkat mobile, terutama ketika pengujian dilakukan di ponsel fisik.
Apa yang bisa dilakukan Qwen-UI-Agent?
Banyak agen perangkat lunak berinteraksi melalui API, alat otomasi browser, atau integrasi khusus di dalam aplikasi. Qwen-UI-Agent mengambil pendekatan berbeda dengan menjadikan antarmuka yang terlihat sebagai titik interaksi utama. Model mengamati layar, menentukan kontrol yang perlu dipilih, kemudian melakukan tindakan seperti mengetuk, mengeklik, mengetik, atau menggeser layar. 33
Model ini juga menggunakan satu ruang aksi yang menggabungkan interaksi grafis dengan eksekusi command line. Dalam satu alur kerja, agen dapat berpindah dari browser ke aplikasi desktop, lalu ke terminal untuk mengolah berkas atau menjalankan analisis. Laporan teknisnya menyebut dukungan terhadap aksi yang dikirim secara berkelompok dalam satu giliran model, sehingga rangkaian tugas panjang dapat dijalankan dengan lebih efisien. 1
Pendekatan ini penting karena agen tidak harus menunggu setiap aplikasi memiliki API yang cocok. Selama informasi dan kontrol tersedia di layar, model memiliki jalur interaksi yang lebih umum. Meski begitu, kemampuan tersebut juga membuat pengelolaan izin, autentikasi, serta tindakan berisiko menjadi jauh lebih penting.
Mengapa pelatihan di ponsel fisik menjadi sorotan?
Agen GUI yang bekerja baik di emulator belum tentu sama andalnya ketika dipindahkan ke perangkat nyata. Perbedaan tata letak layar, waktu respons, perilaku sentuhan, kondisi perangkat, dan cara aplikasi merespons dapat membuat agen gagal menyelesaikan tugas.
Untuk mengurangi jarak antara simulasi dan kondisi nyata, Alibaba membangun lingkungan mobile yang mencakup lebih dari 100 ponsel fisik dan lebih dari 150 aplikasi. Perangkat tersebut digunakan untuk menyusun tugas, mengumpulkan rekam jejak tindakan, melatih model, dan melakukan evaluasi—bukan sekadar menjadi perangkat untuk demonstrasi akhir. 3
5
Proyek ini juga memperkenalkan MobileWorld-Real, benchmark yang berisi lebih dari 400 tugas pada perangkat nyata dan berbagai aplikasi mobile. Skor 92,2% di benchmark tersebut menjadi bukti penting bahwa model diuji pada perangkat fisik. Namun, karena benchmark ini dibuat oleh proyek yang sama, hasilnya tidak dapat dianggap sebagai audit independen sepenuhnya. 1
7
Melatih AI untuk tugas panjang
Menurut laporan teknisnya, Qwen-UI-Agent dilatih melalui online reinforcement learning pada lintasan tugas yang dapat melebihi 100 giliran. Sistem tersebut menggunakan lebih dari 10.000 lingkungan rollout secara bersamaan. Laporan itu juga menjelaskan siklus riset otomatis, ketika agen membantu menyusun tugas dan lingkungan, menganalisis kegagalan, serta merencanakan iterasi pelatihan berikutnya. 1
Tujuannya bukan hanya membuat AI berhasil menekan satu tombol. Agen perlu mempertahankan konteks selama banyak langkah, mengetahui tindakan yang sudah dilakukan, memulihkan diri dari kesalahan, dan memilih aplikasi atau alat yang tepat pada setiap tahap.
Laporan tersebut turut menjelaskan harness ringan untuk alur kerja lintas perangkat yang mempertahankan keadaan tugas, serta kemampuan memulai layanan secara proaktif. Arah ini memungkinkan asisten melanjutkan pekerjaan ketika pengguna berpindah dari ponsel ke komputer, atau mengambil tindakan yang membantu tanpa menunggu setiap instruksi diberikan secara manual. Namun, contoh-contoh itu menunjukkan arah kemampuan yang dituju, bukan bukti bahwa model sudah aman menangani semua tugas dunia nyata secara mandiri. 1
Hasil benchmark: unggul di mobile, lebih beragam di desktop
Laporan teknis yang dipublikasikan memberikan hasil terkuat Qwen-UI-Agent pada benchmark penggunaan perangkat mobile. Angka yang dilaporkan antara lain: 33
- MobileWorld: 82,1%
- MobileWorld-Real: 92,2%
- AndroidDaily: 97,5%
- OSWorld-Verified: 79,5% untuk penggunaan komputer desktop
- OSWorld-v2: 40,0% pada metrik kemajuan parsial
- WebArena: 73,6%
- ScreenSpot-Pro: 81,5% untuk kemampuan menemukan dan mengarahkan elemen GUI
Dalam perbandingan yang dipublikasikan untuk MobileWorld, Qwen-UI-Agent mencatat 82,1%, dibandingkan 70,1% untuk GPT-5.6 Sol dan 67,5% untuk Claude Opus 4.8. Dengan demikian, selisihnya masing-masing 12,0 dan 14,6 poin persentase. 7
Hasil desktop dan browser membutuhkan konteks yang lebih hati-hati. Skor 79,5% di OSWorld-Verified tergolong kuat, tetapi perbandingan yang tersedia menempatkan Claude Opus 4.8 di posisi lebih tinggi pada benchmark tersebut. Sementara itu, angka 40,0% di OSWorld-v2 adalah skor kemajuan parsial, bukan berarti 40% tugas selesai sepenuhnya. 33
34
36
Skor WebArena sebesar 73,6% didukung oleh sumber yang tersedia. Namun, bukti yang diberikan belum cukup untuk menyatakan bahwa Qwen-UI-Agent secara mutlak berada di posisi pertama pada setiap kelompok pembanding. Peringkat dapat berubah bergantung pada model, varian, prosedur evaluasi, dan pembagian benchmark yang digunakan. 1
8
Contoh alur kerja GUI dan command line
Makna Qwen-UI-Agent bukan sekadar kemampuannya menekan tombol. Laporan teknis menggambarkan alur kerja ketika agen mencari informasi keuangan melalui browser dan aplikasi desktop, menggunakan alat command line untuk analisis atau pengelolaan berkas, lalu membuat dan menyimpan dokumen melalui aplikasi berbasis GUI. 1
Kombinasi ini memberi agen lebih dari satu cara untuk menyelesaikan langkah tertentu. Antarmuka visual dapat digunakan ketika diperlukan, lalu terminal dipilih saat manipulasi berkas atau analisis terstruktur lebih efisien. Tantangan utamanya adalah menjaga keadaan tugas tetap konsisten ketika berpindah antar-aplikasi.
Desain yang sama membuka kemungkinan bantuan lintas perangkat: pekerjaan dapat dimulai di ponsel, diteruskan di komputer, lalu melibatkan beberapa aplikasi tanpa setiap layanan harus menyediakan API khusus. Dalam penggunaan nyata, keandalan sistem akan sangat bergantung pada cara menangani login, layar yang berubah tiba-tiba, permintaan izin, dan tindakan yang memiliki konsekuensi langsung.
Keamanan masih menjadi tantangan terbesar
Agen yang mampu mengendalikan layar juga dapat mengakses data sensitif, menghapus berkas, mengirim formulir, atau memulai transaksi. Pola keamanan yang tepat mencakup penolakan terhadap permintaan ilegal atau berisiko tinggi, permintaan informasi yang belum lengkap, serta konfirmasi pengguna sebelum tindakan sensitif seperti pembayaran, penghapusan data, atau pemberian izin privasi.
Namun, bukti utama dari laporan teknis yang tersedia belum memverifikasi secara independen setiap demonstrasi penolakan dan konfirmasi yang disebutkan dalam permintaan awal. Karena itu, perilaku tersebut sebaiknya dipandang sebagai kontrol yang dilaporkan atau dirancang, bukan bukti final bahwa model sudah aman digunakan tanpa pengawasan.
Skor benchmark juga tidak membuktikan bahwa Qwen-UI-Agent siap beroperasi tanpa pengawasan di akun pengguna biasa. Penerapan nyata membutuhkan batas izin yang jelas, gerbang konfirmasi, catatan audit, kontrol untuk menghentikan tindakan, pemulihan kesalahan, dan pengujian independen di berbagai perangkat serta aplikasi.
Apa arti Qwen-UI-Agent bagi masa depan AI computer-use?
Kontribusi paling jelas Qwen-UI-Agent adalah fokusnya pada antarmuka fisik. Pelatihan menggunakan lebih dari 100 ponsel dan evaluasi pada perangkat nyata membuat hasil mobile lebih relevan untuk pengendalian perangkat dibandingkan pengujian yang hanya mengandalkan emulator. Ruang aksi gabungan GUI dan command line juga menunjukkan arsitektur yang menjanjikan untuk tugas panjang lintas aplikasi, browser, desktop, dan terminal. 1
3
Bukti yang tersedia mendukung kesimpulan kuat di sektor mobile: Qwen-UI-Agent merupakan agen GUI berbasis perangkat nyata dengan hasil terdepan yang dilaporkan pada beberapa benchmark mobile. Untuk desktop dan browser, kesimpulannya lebih moderat: performanya kompetitif, tetapi tidak unggul secara konsisten atas semua model frontier atau pada setiap benchmark.
Ujian berikutnya bukan sekadar apakah AI dapat menyelesaikan tugas yang sudah ditulis dalam benchmark. Pertanyaan yang lebih penting adalah apakah ia mampu membantu pekerjaan sehari-hari secara konsisten, mudah dihentikan, transparan, dan aman ketika tampilan berubah atau sebuah tindakan tidak dapat dibatalkan.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Qwen-UI-Agent: AI Alibaba yang Bisa Mengoperasikan Ponsel dan Komputer dari Layar"?
Alibaba merilis Qwen UI Agent pada 20 Agustus 2026 sebagai model fondasi agen GUI untuk ponsel, komputer, web, dan lingkungan DeepSearch.
Apa poin penting yang harus divalidasi terlebih dahulu?
Alibaba merilis Qwen UI Agent pada 20 Agustus 2026 sebagai model fondasi agen GUI untuk ponsel, komputer, web, dan lingkungan DeepSearch. Model ini memadukan interaksi layar—seperti klik, ketikan, dan gesekan—dengan eksekusi perintah melalui command line, serta dilatih menggunakan lebih dari 100 ponsel fisik dan lebih dari 150 aplikasi.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Kinerja terkuatnya terlihat pada benchmark mobile: 82,1% di MobileWorld, 92,2% di MobileWorld Real, dan 97,5% di AndroidDaily.
Sumber
aibase.comMobile-First Baseline Far Exceeds GPT and Claude! Alibaba ...
arxiv.orgQwen-UI-Agent Technical Report: Toward Next-Generation ...
theroboticsmedia.comAlibaba Unveils Qwen-UI-Agent, GUI Model Beats GPT-5.6 And Claude 4.8
finance.sina.com.cn阿里发布Qwen-UI-Agent,移动端基准超越GPT 5.6与Claude Opus 4.8
recatools.com