Qwen-UI-Agent: como a Alibaba treinou uma IA para usar telas de verdade

A Alibaba apresentou o Qwen-UI-Agent em 20 de agosto de 2026, depois de publicar seu relatório técnico no arXiv em 30 de julho. O modelo foi criado para operar interfaces gráficas como uma pessoa: ele observa o que aparece na tela e realiza cliques, toques, comandos de teclado, entrada de texto e gestos de deslizar. A proposta cobre celulares, computadores, navegação na web e ambientes de busca profunda, sem depender exclusivamente de APIs ou de integrações internas com cada aplicativo. 3 33

A ideia é simples de entender, mas ambiciosa na prática: se um agente consegue usar uma interface comum, ele pode automatizar tarefas mesmo quando o serviço não oferece uma API adequada. Os resultados, porém, pedem uma leitura cuidadosa. A vantagem mais clara do Qwen-UI-Agent aparece no uso de celulares — principalmente quando os testes são executados em aparelhos físicos, e não apenas em emuladores.

Como o Qwen-UI-Agent funciona

Agentes de software tradicionais costumam interagir com APIs estruturadas, ferramentas específicas ou mecanismos de automação do navegador. O Qwen-UI-Agent escolhe outro caminho: trata a própria interface como o ponto de interação.

O modelo interpreta os elementos visíveis, identifica os controles relevantes e decide se deve tocar, clicar, digitar, rolar ou deslizar. O mesmo sistema foi projetado para atuar em celulares, desktops, navegadores e fluxos de DeepSearch. 33

Sua área de ações também combina interação gráfica com execução pela linha de comando. Assim, uma tarefa longa pode passar por um navegador, um aplicativo de computador e um terminal, em vez de obrigar cada etapa a acontecer pela interface visual. O relatório ainda descreve ações agrupadas dentro de uma mesma rodada do modelo, com o objetivo de tornar fluxos com várias etapas mais eficientes. 1

Por que treinar em celulares reais faz diferença

Um agente pode ter bom desempenho em um emulador e ainda falhar em um aparelho físico. Na prática, existem diferenças de layout, tempo de resposta, comportamento do toque, estado do dispositivo e funcionamento dos aplicativos.

Para reduzir essa distância entre simulação e realidade, a Alibaba descreve um ambiente móvel com mais de 100 celulares físicos e mais de 150 aplicativos. Os aparelhos foram usados na criação das tarefas, na coleta de trajetórias, no treinamento e na avaliação — não apenas em uma demonstração final. 3 5

O projeto também criou o MobileWorld-Real, benchmark com mais de 400 tarefas executadas em dispositivos reais. Como o conjunto foi desenvolvido pela própria equipe do projeto, o resultado de 92,2% é uma evidência relevante do desempenho em hardware físico, mas não deve ser tratado como uma auditoria totalmente independente. 1 7

Treinamento para tarefas longas

O relatório técnico descreve reforço por aprendizagem online em trajetórias com mais de 100 turnos e mais de 10 mil ambientes de execução simultâneos. Também apresenta um ciclo automatizado de pesquisa no qual agentes ajudam a criar tarefas e ambientes, identificar falhas e planejar novas etapas de treinamento. 1

Esse desenho tenta resolver um problema maior do que acertar um botão isolado. Para concluir uma tarefa longa, o agente precisa manter o estado do processo, lembrar o que já fez, corrigir erros e escolher a interface ou ferramenta adequada a cada momento.

O sistema inclui ainda uma estrutura leve para fluxos com estado entre diferentes dispositivos e para o início proativo de serviços. Isso aponta para assistentes capazes de continuar uma tarefa quando o usuário troca o celular pelo computador, ou de iniciar uma ação útil sem esperar uma instrução detalhada a cada passo. Esses exemplos mostram a direção pretendida pelo projeto, mas não provam que o modelo consiga executar com segurança qualquer tarefa aberta e sem supervisão. 1

Principais resultados nos benchmarks

O relatório técnico publicado apresenta os seguintes números para o Qwen-UI-Agent: 33

• MobileWorld: 82,1%
• MobileWorld-Real: 92,2%
• AndroidDaily: 97,5%
• OSWorld-Verified: 79,5% em tarefas de uso de computadores
• OSWorld-v2: 40,0% em uma métrica de progresso parcial
• WebArena: 73,6%
• ScreenSpot-Pro: 81,5% em localização de elementos da interface, ou GUI grounding

No MobileWorld, a comparação fornecida registra 70,1% para o GPT-5.6 Sol e 67,5% para o Claude Opus 4.8. Isso coloca o Qwen-UI-Agent 12,0 e 14,6 pontos percentuais à frente, respectivamente. 7

Os resultados em desktop e navegador exigem mais contexto. Os 79,5% no OSWorld-Verified são fortes, mas as comparações fornecidas colocam o Claude Opus 4.8 acima nesse benchmark. Já os 40,0% no OSWorld-v2 representam progresso parcial, e não significam que 40% das tarefas completas tenham sido concluídas. 33 34 36

O resultado de 73,6% no WebArena é sustentado pelas fontes fornecidas, mas elas não estabelecem uma liderança incontestável em todos os conjuntos de comparação. A posição de cada modelo pode mudar conforme as variantes avaliadas, os procedimentos de teste e a divisão do benchmark utilizada. 1 8

Quando GUI e linha de comando trabalham juntas

A relevância do modelo não está apenas em “apertar botões”. O relatório descreve fluxos nos quais o agente pesquisa informações financeiras por meio de interfaces de navegador e desktop, usa ferramentas de linha de comando para análise ou manipulação de arquivos e, depois, cria e salva um documento em um aplicativo gráfico. 1

Essa combinação oferece mais de um caminho para concluir cada etapa. O agente pode usar a interface visual quando ela é necessária e mudar para o terminal quando operações estruturadas de análise ou edição de arquivos forem mais eficientes. O desafio está em coordenar essas ferramentas sem perder o estado da tarefa entre aplicativos.

O mesmo princípio sustenta a ideia de assistência entre dispositivos: um processo poderia começar no celular, continuar no computador e passar por vários aplicativos sem que cada serviço precisasse oferecer uma API específica. Em uma aplicação real, porém, a confiabilidade dependeria do gerenciamento de autenticação, da recuperação diante de telas inesperadas e de limites claros para ações com consequências concretas.

Segurança continua sendo o principal obstáculo

Um agente capaz de controlar uma tela também pode acessar dados sensíveis, apagar arquivos, enviar formulários ou iniciar transações. O padrão de segurança esperado inclui recusar pedidos ilegais ou de alto risco, solicitar informações ausentes e pedir confirmação antes de ações sensíveis, como pagamentos, exclusões ou autorizações relacionadas à privacidade.

As evidências primárias fornecidas no relatório técnico não verificam de forma independente cada demonstração específica de recusa e confirmação mencionada na solicitação original. Portanto, esses comportamentos devem ser entendidos como controles relatados ou pretendidos, e não como prova definitiva de que o sistema está pronto para uma implantação segura.

Da mesma forma, benchmarks não demonstram que o Qwen-UI-Agent possa operar sem supervisão em contas comuns de usuários. Uma implementação real precisaria de limites de permissão, confirmações obrigatórias, registros de auditoria, controles de interrupção, recuperação de erros e testes independentes em diferentes aparelhos e aplicativos.

O que o Qwen-UI-Agent representa para a IA de uso de computadores

A contribuição mais evidente do Qwen-UI-Agent é o foco na interface física. O treinamento com mais de 100 celulares e a avaliação em hardware real tornam seus resultados móveis mais relevantes para controle de dispositivos do que testes feitos apenas em emuladores. A combinação de ações gráficas e de linha de comando também sugere uma arquitetura prática para fluxos longos que atravessam aplicativos, navegadores, desktops e terminais. 1 3

As evidências sustentam uma conclusão forte no celular: o Qwen-UI-Agent é um agente gráfico de destaque, treinado em dispositivos reais, com liderança relatada em vários benchmarks móveis. Fora desse cenário, a conclusão precisa ser mais moderada: o desempenho em desktop e navegador é competitivo, mas não supera de maneira uniforme todos os modelos de fronteira ou todos os benchmarks.

O próximo teste não é saber apenas se um agente consegue completar uma tarefa roteirizada. É verificar se ele consegue realizar trabalhos cotidianos de forma previsível, transparente, interrompível e segura — inclusive quando a tela muda, surge um erro ou a próxima ação pode ser irreversível.