AnswersPublished18 sources
Qwen-UI-Agent: Bagaimana Alibaba Melatih AI Menggunakan Skrin Sebenar
Qwen UI Agent ialah model asas ejen GUI dunia sebenar Alibaba, yang dilancarkan pada 20 Ogos 2026. Ia menggabungkan interaksi skrin dengan arahan baris perintah, serta dilatih menggunakan lebih 100 telefon fizikal dan lebih 150 aplikasi.
Diterbitkan olehDisunting dengan GPT-5.6 LunaImej dijana dengan GPT Image 1.5
Research answer
Key takeaways
- Qwen UI Agent ialah model asas ejen GUI dunia sebenar Alibaba, yang dilancarkan pada 20 Ogos 2026.
- Ia menggabungkan interaksi skrin dengan arahan baris perintah, serta dilatih menggunakan lebih 100 telefon fizikal dan lebih 150 aplikasi.
- Prestasi terkuatnya dilaporkan pada peranti mudah alih: 82.1% dalam MobileWorld, 92.2% dalam MobileWorld Real dan 97.5% dalam AndroidDaily.
- Keputusan desktop dan pelayar adalah kompetitif, tetapi tidak membuktikan bahawa model ini sentiasa mengatasi semua model AI terkemuka.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba Qwen’s Qwen-UI-Agent, released on August 20, 2026, and how does its GUI-agent foundation model use real-device training acro. Article summary: Qwen-UI-Agent is Alibaba Qwen’s real-world GUI-agent foundation model: it operates phones, desktops, browsers, and DeepSearch environments by interpreting what is displayed on screen and taking actions such as clicks, ke. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
Alibaba memperkenalkan Qwen-UI-Agent sebagai model asas ejen antara muka grafik pengguna (GUI) yang boleh mengendalikan perisian seperti manusia—dengan melihat skrin, kemudian melakukan klik, menekan kekunci, menaip dan meleret. Ia direka untuk digunakan pada telefon mudah alih, komputer desktop, pelayar web dan persekitaran DeepSearch, tanpa bergantung sepenuhnya pada antara muka pengaturcaraan aplikasi (API) atau integrasi dalaman setiap aplikasi. Alibaba melancarkannya kepada umum pada 20 Ogos 2026, selepas laporan teknikalnya diterbitkan di arXiv pada 30 Julai. 3
33
Idea utamanya mudah tetapi penting: jika AI boleh menggunakan antara muka biasa, ia mungkin dapat mengautomasi tugasan walaupun sesuatu perkhidmatan tidak menyediakan API yang sesuai. Namun, rekod benchmarknya perlu dibaca dengan teliti. Kelebihan paling jelas Qwen-UI-Agent adalah pada tugasan mudah alih, khususnya apabila penilaian dibuat menggunakan telefon sebenar.
Apa yang boleh dilakukan Qwen-UI-Agent?
Kebanyakan ejen perisian tradisional berinteraksi melalui API berstruktur, alat automasi pelayar atau integrasi khusus aplikasi. Qwen-UI-Agent pula menjadikan antara muka yang kelihatan pada skrin sebagai titik interaksi utama. Ia membaca kandungan skrin, mengenal pasti kawalan yang berkaitan dan memilih tindakan seperti mengetik, mengklik, menaip atau meleret. Model yang sama dirancang untuk merentasi telefon, komputer, pelayar dan aliran kerja DeepSearch. 33
Ruang tindakannya turut menggabungkan interaksi grafik dengan pelaksanaan arahan baris perintah (CLI). Ini membolehkan satu tugasan bergerak daripada pelayar ke aplikasi desktop dan kemudian ke terminal, tanpa memaksa semua langkah dilakukan melalui GUI. Laporan teknikal itu juga menerangkan sokongan terhadap tindakan secara berkelompok dalam satu giliran model, yang bertujuan menjadikan aliran kerja berbilang langkah lebih cekap. 1
Mengapa latihan menggunakan telefon sebenar penting?
Ejen GUI mungkin kelihatan hebat dalam emulator, tetapi boleh gagal apabila digunakan pada peranti fizikal. Perbezaan susun atur skrin, masa tindak balas, tingkah laku sentuhan, keadaan peranti dan cara aplikasi bertindak balas semuanya boleh mengganggu prestasi AI.
Untuk mengurangkan jurang antara simulasi dengan dunia sebenar, Alibaba membina persekitaran mudah alih yang merangkumi lebih 100 telefon fizikal dan lebih 150 aplikasi. Peranti ini digunakan untuk membina tugasan, mengumpul trajektori tindakan, melatih model dan menjalankan penilaian—bukan sekadar sebagai bahan demonstrasi akhir. 3
5
Projek itu turut memperkenalkan MobileWorld-Real, iaitu benchmark yang mengandungi lebih 400 tugasan pada aplikasi mudah alih sebenar. Oleh sebab benchmark ini dibangunkan oleh projek yang sama, keputusan 92.2% merupakan bukti penting tentang prestasi pada perkakasan fizikal, tetapi tidak wajar dianggap sebagai audit bebas sepenuhnya. 1
7
Bagaimana model mengurus tugasan panjang?
Laporan teknikal Qwen-UI-Agent menerangkan latihan pengukuhan dalam talian terhadap trajektori yang melebihi 100 giliran, dengan lebih 10,000 persekitaran pelaksanaan serentak. Ia turut membentangkan kitaran penyelidikan automatik yang menggunakan ejen untuk membina tugasan dan persekitaran, mendiagnosis kegagalan serta merancang pusingan latihan seterusnya. 1
Pendekatan ini menyasarkan masalah yang lebih sukar daripada sekadar menekan satu butang: mengekalkan keadaan sepanjang urutan tindakan yang panjang. Ejen yang berguna perlu mengingati langkah yang telah dibuat, memulihkan kesilapan dan memilih antara muka atau alat yang betul pada setiap peringkat.
Laporan tersebut juga menerangkan satu harness ringan untuk aliran kerja merentas peranti yang mengekalkan keadaan, selain keupayaan memulakan perkhidmatan secara proaktif. Secara teori, pembantu seperti ini boleh meneruskan tugasan apabila pengguna berpindah daripada telefon ke komputer, atau memulakan tindakan yang membantu tanpa menunggu setiap arahan diberikan. Namun, contoh tersebut menunjukkan hala tuju sistem—bukan bukti bahawa ia sudah boleh mengendalikan semua tugasan dunia terbuka dengan selamat tanpa pengawasan. 1
Keputusan benchmark yang dilaporkan
Laporan teknikal yang diterbitkan memberikan keputusan paling kukuh Qwen-UI-Agent dalam benchmark penggunaan telefon. Antara angka utama yang dilaporkan ialah: 33
- MobileWorld: 82.1%
- MobileWorld-Real: 92.2%
- AndroidDaily: 97.5%
- OSWorld-Verified: 79.5% untuk penggunaan komputer desktop
- OSWorld-v2: 40.0% berdasarkan metrik kemajuan separa
- WebArena: 73.6%
- ScreenSpot-Pro: 81.5% untuk keupayaan mengenal pasti elemen GUI
Dalam MobileWorld, perbandingan yang dibekalkan melaporkan GPT-5.6 Sol pada 70.1% dan Claude Opus 4.8 pada 67.5%. Ini meletakkan Qwen-UI-Agent masing-masing 12.0 dan 14.6 mata peratusan di hadapan. 7
Keputusan desktop dan pelayar memerlukan tafsiran yang lebih berhati-hati. Skor 79.5% dalam OSWorld-Verified adalah tinggi, tetapi perbandingan yang tersedia meletakkan Claude Opus 4.8 lebih tinggi dalam benchmark itu. Skor 40.0% bagi OSWorld-v2 pula ialah skor kemajuan separa, bukannya dakwaan bahawa 40% daripada semua tugasan telah diselesaikan sepenuhnya. 33
34
36
Skor WebArena sebanyak 73.6% disokong oleh sumber yang diberikan, tetapi bukti yang ada tidak cukup untuk menetapkan kedudukan nombor satu tanpa pertikaian dalam setiap set perbandingan. Kedudukan boleh berubah mengikut model, varian, kaedah penilaian dan pecahan benchmark yang digunakan. 1
8
Apakah rupa aliran kerja GUI dan CLI?
Kepentingan model ini bukan sekadar kebolehannya menekan butang. Laporan menerangkan aliran kerja yang melibatkan penyelidikan maklumat kewangan melalui pelayar dan aplikasi desktop, penggunaan alat baris perintah untuk analisis atau operasi fail, kemudian penciptaan dan penyimpanan dokumen dalam aplikasi GUI. 1
Gabungan ini memberikan ejen lebih daripada satu cara untuk menyelesaikan sesuatu langkah. Ia boleh menggunakan antara muka visual apabila diperlukan, kemudian beralih ke terminal apabila manipulasi fail berstruktur atau analisis lebih cekap dilakukan melalui arahan. Cabaran sebenarnya ialah menyelaraskan semua alat sambil mengekalkan keadaan tugasan antara aplikasi.
Reka bentuk yang sama turut menyokong konsep bantuan merentas peranti. Satu aliran kerja boleh bermula pada telefon, diteruskan di komputer dan melibatkan beberapa aplikasi, tanpa memerlukan setiap perkhidmatan menyediakan API khusus. Dalam penggunaan sebenar, tahap kebolehpercayaan masih bergantung pada pengendalian log masuk, pemulihan daripada skrin yang tidak dijangka dan sempadan yang jelas bagi tindakan berisiko.
Keselamatan masih menjadi persoalan besar
Ejen yang boleh mengawal skrin juga berpotensi mengakses data sensitif, memadam fail, menghantar borang atau memulakan transaksi. Corak keselamatan yang sesuai termasuk menolak arahan yang menyalahi undang-undang atau berisiko tinggi, meminta maklumat yang tidak lengkap dan mendapatkan pengesahan sebelum tindakan sensitif seperti pembayaran, pemadaman atau kebenaran privasi.
Namun, bukti utama daripada laporan teknikal yang dibekalkan tidak mengesahkan secara bebas setiap demonstrasi penolakan dan pengesahan yang disebut dalam permintaan asal. Tingkah laku tersebut perlu dianggap sebagai kawalan yang dilaporkan atau dirancang, bukannya bukti muktamad bahawa model ini sudah selamat digunakan dalam semua keadaan.
Markah benchmark juga tidak membuktikan bahawa Qwen-UI-Agent bersedia mengendalikan akaun pengguna biasa tanpa pengawasan. Penggunaan di dunia sebenar memerlukan had kebenaran, pengesahan sebelum tindakan penting, log audit, kawalan untuk menghentikan ejen, pemulihan kesilapan dan ujian bebas pada pelbagai peranti serta aplikasi.
Apa maknanya untuk masa depan AI yang menggunakan komputer?
Sumbangan paling jelas Qwen-UI-Agent ialah penekanannya terhadap antara muka fizikal. Latihan menggunakan lebih 100 telefon dan penilaian pada perkakasan sebenar menjadikan keputusan mudah alihnya lebih relevan untuk kawalan peranti berbanding ujian yang hanya menggunakan emulator. Ruang tindakan yang menyatukan GUI dan CLI pula menunjukkan seni bina praktikal untuk tugasan lebih panjang yang merentasi aplikasi, pelayar, desktop dan terminal. 1
3
Bukti yang tersedia menyokong kesimpulan kukuh dalam kategori mudah alih: Qwen-UI-Agent ialah ejen GUI peranti sebenar yang menonjol, dengan keputusan teratas yang dilaporkan dalam beberapa benchmark mudah alih. Untuk kategori lain, kesimpulannya lebih sederhana: prestasi desktop dan pelayar adalah kompetitif, tetapi tidak seragam mengatasi setiap model terkemuka atau setiap keputusan benchmark.
Ujian sebenar selepas ini bukan sekadar sama ada AI boleh menamatkan tugasan yang telah ditetapkan. Persoalannya ialah sama ada ia boleh melakukan kerja harian dengan cara yang boleh dijangka, mudah dihentikan, telus dan selamat—terutamanya apabila susun atur skrin berubah atau sesuatu tindakan mempunyai akibat yang sukar dipulihkan.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Qwen-UI-Agent: Bagaimana Alibaba Melatih AI Menggunakan Skrin Sebenar"?
Qwen UI Agent ialah model asas ejen GUI dunia sebenar Alibaba, yang dilancarkan pada 20 Ogos 2026.
What are the key points to validate first?
Qwen UI Agent ialah model asas ejen GUI dunia sebenar Alibaba, yang dilancarkan pada 20 Ogos 2026. Ia menggabungkan interaksi skrin dengan arahan baris perintah, serta dilatih menggunakan lebih 100 telefon fizikal dan lebih 150 aplikasi.
What should I do next in practice?
Prestasi terkuatnya dilaporkan pada peranti mudah alih: 82.1% dalam MobileWorld, 92.2% dalam MobileWorld Real dan 97.5% dalam AndroidDaily.
Sources
aibase.comMobile-First Baseline Far Exceeds GPT and Claude! Alibaba ...
arxiv.orgQwen-UI-Agent Technical Report: Toward Next-Generation ...
theroboticsmedia.comAlibaba Unveils Qwen-UI-Agent, GUI Model Beats GPT-5.6 And Claude 4.8
finance.sina.com.cn阿里发布Qwen-UI-Agent,移动端基准超越GPT 5.6与Claude Opus 4.8
recatools.com