AnswersPublished18 sources
Qwen-UI-Agent, l’agente IA che controlla schermi reali
Qwen UI Agent è il modello di base di Alibaba per agenti capaci di usare interfacce grafiche su smartphone, computer, browser e ambienti DeepSearch; è stato pubblicato il 20 agosto 2026. Il sistema combina clic, tocchi, digitazione e scorrimento con azioni da riga di comando.
Pubblicato daModificato con GPT-5.6 LunaImmagini generate con GPT Image 1.5
Research answer
Key takeaways
- Qwen UI Agent è il modello di base di Alibaba per agenti capaci di usare interfacce grafiche su smartphone, computer, browser e ambienti DeepSearch; è stato pubblicato il 20 agosto 2026.
- Il sistema combina clic, tocchi, digitazione e scorrimento con azioni da riga di comando.
- I risultati migliori sono quelli mobili: 82,1% su MobileWorld, 92,2% su MobileWorld Real e 97,5% su AndroidDaily.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba Qwen’s Qwen-UI-Agent, released on August 20, 2026, and how does its GUI-agent foundation model use real-device training acro. Article summary: Qwen-UI-Agent is Alibaba Qwen’s real-world GUI-agent foundation model: it operates phones, desktops, browsers, and DeepSearch environments by interpreting what is displayed on screen and taking actions such as clicks, ke. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
Alibaba ha presentato Qwen-UI-Agent il 20 agosto 2026, dopo aver pubblicato il relativo rapporto tecnico su arXiv il 30 luglio. 3
33
Si tratta di un modello di base per agenti GUI — cioè sistemi capaci di usare un’interfaccia grafica — progettato per operare come farebbe una persona: osserva ciò che appare sullo schermo e compie azioni come cliccare, toccare, digitare, premere tasti o scorrere. L’obiettivo è lavorare su smartphone, computer, siti web e ambienti DeepSearch senza dipendere esclusivamente dalle API o da integrazioni specifiche con ogni applicazione.
Come funziona
Molti agenti software interagiscono con servizi strutturati tramite API, strumenti dedicati o funzioni di automazione del browser. Qwen-UI-Agent tratta invece lo schermo stesso come punto di accesso: riconosce i controlli visibili, interpreta lo stato dell’interfaccia e seleziona l’azione successiva. Il modello è pensato per operare in un unico spazio d’azione tra dispositivi mobili, desktop, browser e flussi di ricerca avanzata. 33
La sua progettazione non si limita però alla grafica. Il sistema può alternare azioni GUI e comandi da terminale, passando per esempio dal browser a un’applicazione desktop e poi alla riga di comando per analizzare dati o manipolare file. Il rapporto tecnico descrive anche la possibilità di raggruppare più azioni nello stesso turno del modello, così da rendere più efficienti i flussi composti da molti passaggi. 1
Perché i telefoni reali fanno la differenza
Un agente può ottenere buoni risultati in un emulatore e poi fallire su un dispositivo fisico. Schermi diversi, tempi di risposta, comportamenti del touchscreen, notifiche, stato delle app e variazioni del sistema operativo rendono il passaggio dalla simulazione alla realtà tutt’altro che automatico.
Per ridurre questo divario, Alibaba descrive un’infrastruttura mobile con oltre 100 smartphone fisici e più di 150 applicazioni. I dispositivi sarebbero stati utilizzati per costruire i compiti, raccogliere traiettorie, addestrare il modello e valutarne le prestazioni, non soltanto per una dimostrazione conclusiva. 3
5
Il progetto ha inoltre introdotto MobileWorld-Real, un benchmark con oltre 400 attività eseguite su dispositivi mobili reali. Il risultato del 92,2% costituisce quindi un’indicazione significativa della capacità di operare sull’hardware fisico; poiché il benchmark è stato creato dallo stesso progetto, non equivale però a una verifica completamente indipendente. 1
7
Addestramento per attività lunghe e complesse
Il rapporto tecnico parla di reinforcement learning online su traiettorie superiori a 100 turni e di oltre 10.000 ambienti di esecuzione simultanei. Descrive anche un ciclo di ricerca automatizzato in cui gli agenti contribuiscono a creare compiti e ambienti, individuare gli errori e pianificare le iterazioni successive di addestramento. 1
Il problema affrontato non è quindi soltanto riconoscere il pulsante giusto. In una procedura lunga, l’agente deve conservare lo stato del lavoro, ricordare i passaggi già completati, recuperare dopo un errore e scegliere di volta in volta se usare un’app, un browser, un’interfaccia grafica o un terminale.
Il sistema include inoltre un’infrastruttura leggera per flussi con stato che attraversano più dispositivi e per l’avvio proattivo di servizi. Queste funzioni indicano una possibile direzione: un assistente potrebbe continuare un’attività quando l’utente passa dal telefono al computer o intervenire in modo utile senza aspettare una nuova istruzione a ogni passaggio. Sono, tuttavia, dimostrazioni della direzione progettuale, non la prova che il modello possa gestire in sicurezza qualsiasi attività nel mondo reale senza supervisione. 1
I risultati dichiarati nei benchmark
Nel rapporto pubblicato, Qwen-UI-Agent ottiene i risultati più convincenti nei test dedicati all’uso dei dispositivi mobili. I principali punteggi riportati sono: 33
- MobileWorld: 82,1%
- MobileWorld-Real: 92,2%
- AndroidDaily: 97,5%
- OSWorld-Verified: 79,5% nell’uso di computer desktop
- OSWorld-v2: 40,0% nella metrica di avanzamento parziale
- WebArena: 73,6%
- ScreenSpot-Pro: 81,5% nel posizionamento degli elementi dell’interfaccia
Nel confronto fornito per MobileWorld, il modello raggiunge 12,0 punti percentuali in più rispetto a GPT-5.6 Sol, al 70,1%, e 14,6 punti in più rispetto a Claude Opus 4.8, al 67,5%. 7
I numeri desktop e browser richiedono una lettura più prudente. Il 79,5% su OSWorld-Verified è un risultato forte, ma i confronti disponibili indicano Claude Opus 4.8 davanti, con l’83,4%. Inoltre, il 40,0% di OSWorld-v2 è un punteggio di avanzamento parziale: non significa che il 40% delle attività sia stato completato integralmente. 33
34
36
Anche il 73,6% su WebArena è supportato dalle fonti disponibili, ma queste non stabiliscono in modo incontestabile un primo posto in ogni insieme di confronto. Le classifiche possono cambiare in base ai modelli inclusi, alle varianti, alle procedure di valutazione e alle suddivisioni del benchmark. 1
8
Un esempio di flusso tra interfaccia grafica e terminale
Il punto interessante non è soltanto la capacità di premere pulsanti. Il rapporto descrive attività in cui l’agente raccoglie informazioni finanziarie attraverso browser e applicazioni desktop, utilizza strumenti da riga di comando per analisi o operazioni sui file e infine crea e salva un documento in un’applicazione grafica. 1
Avere entrambe le modalità d’azione offre più di una strada per portare a termine lo stesso passaggio. L’agente può usare l’interfaccia visibile quando è necessario, poi ricorrere al terminale per operazioni strutturate o analisi più rapide. La difficoltà consiste nel coordinare gli strumenti e mantenere coerente lo stato del lavoro tra applicazioni diverse.
La stessa architettura punta a un’assistenza distribuita tra più dispositivi: un’attività potrebbe iniziare sul telefono, proseguire sul computer e coinvolgere diversi programmi senza che ogni servizio debba offrire una API dedicata. In una situazione reale, però, l’affidabilità dipenderebbe anche dalla gestione degli accessi, dal recupero davanti a schermate inattese e da limiti chiari per le azioni con conseguenze concrete.
Il nodo della sicurezza
Un agente in grado di controllare uno schermo può anche accedere a dati sensibili, eliminare file, inviare moduli o avviare operazioni. Per questo, un sistema destinato all’uso reale dovrebbe rifiutare richieste illegali o ad alto rischio, chiedere le informazioni mancanti e ottenere una conferma prima di azioni delicate come pagamenti, cancellazioni o autorizzazioni legate alla privacy.
Le fonti primarie fornite non consentono di verificare autonomamente ogni specifica dimostrazione di rifiuto o richiesta di conferma citata nella richiesta originale. Questi comportamenti vanno quindi considerati controlli dichiarati o previsti, non una prova definitiva di sicurezza nell’impiego quotidiano.
I benchmark, da soli, non dimostrano che il sistema sia pronto a operare senza supervisione negli account degli utenti. Un’implementazione concreta avrebbe bisogno di permessi granulari, blocchi di conferma, registri delle attività, comandi per interrompere l’esecuzione, recupero dagli errori e test indipendenti su dispositivi e applicazioni differenti.
Cosa cambia per l’IA che usa il computer
Il contributo più chiaro di Qwen-UI-Agent è l’attenzione all’interfaccia fisica. L’addestramento su oltre 100 telefoni e la valutazione su hardware reale rendono i risultati mobili più pertinenti per il controllo dei dispositivi rispetto ai test condotti soltanto su emulatori. Lo spazio d’azione unificato tra GUI e CLI suggerisce inoltre un’architettura pratica per attività lunghe che attraversano app, browser, desktop e terminali. 1
3
Le evidenze sostengono una conclusione solida sul mobile: Qwen-UI-Agent è un agente GUI notevole, con risultati dichiarati ai vertici in diversi benchmark mobili. Sul desktop e sul web la conclusione è più sfumata: le prestazioni sono competitive, ma non superiori in modo uniforme a ogni modello di frontiera o a ogni test.
La vera prova, ora, non sarà soltanto completare una procedura preparata per un benchmark. Sarà svolgere attività utili nella vita quotidiana restando prevedibile, interrompibile, trasparente e sicuro quando lo schermo cambia o un’azione diventa irreversibile.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Qwen-UI-Agent, l’agente IA che controlla schermi reali"?
Qwen UI Agent è il modello di base di Alibaba per agenti capaci di usare interfacce grafiche su smartphone, computer, browser e ambienti DeepSearch; è stato pubblicato il 20 agosto 2026.
What are the key points to validate first?
Qwen UI Agent è il modello di base di Alibaba per agenti capaci di usare interfacce grafiche su smartphone, computer, browser e ambienti DeepSearch; è stato pubblicato il 20 agosto 2026. Il sistema combina clic, tocchi, digitazione e scorrimento con azioni da riga di comando.
What should I do next in practice?
I risultati migliori sono quelli mobili: 82,1% su MobileWorld, 92,2% su MobileWorld Real e 97,5% su AndroidDaily.
Sources
aibase.comMobile-First Baseline Far Exceeds GPT and Claude! Alibaba ...
arxiv.orgQwen-UI-Agent Technical Report: Toward Next-Generation ...
theroboticsmedia.comAlibaba Unveils Qwen-UI-Agent, GUI Model Beats GPT-5.6 And Claude 4.8
finance.sina.com.cn阿里发布Qwen-UI-Agent,移动端基准超越GPT 5.6与Claude Opus 4.8
recatools.com