Qwen-UI-Agent : comment Alibaba entraîne une IA à piloter téléphones et ordinateurs

Alibaba présente Qwen-UI-Agent comme un modèle de fondation pour les agents capables d’utiliser des interfaces graphiques — ou GUI, pour « graphical user interface ». Son principe est simple à décrire : au lieu de dépendre uniquement d’une API ou d’outils internes à chaque application, l’agent observe ce qui s’affiche à l’écran, puis clique, tape, fait défiler ou saisit du texte comme le ferait une personne. Il couvre les téléphones, les ordinateurs de bureau, la navigation Web et les environnements de recherche approfondie DeepSearch. Alibaba l’a rendu public le 20 août 2026, après la publication de son rapport technique sur arXiv le 30 juillet. 3 33

L’annonce est importante, mais elle mérite d’être lue avec nuance : l’avantage de Qwen-UI-Agent est particulièrement net sur mobile, surtout lorsque les tests sont réalisés sur de vrais appareils. Les résultats sur ordinateur et dans les navigateurs sont compétitifs, sans établir une domination uniforme sur tous les benchmarks.

Une IA qui utilise l’interface plutôt que l’API

Les agents logiciels traditionnels s’appuient souvent sur des API structurées, des fonctions d’automatisation de navigateur ou des outils spécifiques à une application. Qwen-UI-Agent prend l’écran lui-même comme point d’entrée. Il identifie les éléments visibles, choisit une action et peut enchaîner des clics, des pressions, des glissements ou des frappes au clavier. 33

Son espace d’actions ne se limite toutefois pas à la souris et au tactile. Le modèle peut également exécuter des commandes dans un terminal. Une même tâche peut ainsi passer d’un navigateur à un logiciel de bureau, puis à la ligne de commande pour analyser des données ou manipuler un fichier. Le rapport décrit aussi des actions regroupées au sein d’un même tour de modèle, afin de rendre les longues séquences plus efficaces. 1

Cette approche vise notamment les services qui ne proposent pas d’API exploitable. En théorie, si un humain peut accomplir une tâche à l’écran, l’agent peut tenter de la reproduire sans intégration dédiée. En pratique, il doit encore gérer les changements d’interface, les écrans inattendus, l’authentification et les erreurs d’état.

Pourquoi les vrais téléphones changent la donne

Un agent peut obtenir de bons résultats dans un émulateur et échouer sur un appareil physique. Les différences de résolution, de disposition, de temps de réponse, de comportement tactile ou d’état des applications suffisent à faire dérailler une séquence automatisée.

Pour réduire cet écart entre simulation et réalité, Alibaba indique avoir mis en place un environnement mobile couvrant plus de 100 téléphones physiques et plus de 150 applications. Ces appareils ont servi à construire les tâches, collecter les trajectoires d’utilisation, entraîner le modèle et l’évaluer — pas seulement à réaliser une démonstration finale. 3 5

Le projet a également créé MobileWorld-Real, un benchmark de plus de 400 tâches exécutées sur de vrais appareils mobiles. Ce résultat est donc intéressant pour mesurer la capacité du modèle à fonctionner sur du matériel réel. Il faut néanmoins garder à l’esprit que le benchmark a été conçu par l’équipe du projet : le score de 92,2 % constitue un indicateur important, mais pas un audit entièrement indépendant. 1 7

Un entraînement conçu pour les tâches longues

Le rapport technique décrit un apprentissage par renforcement en ligne sur des trajectoires de plus de 100 tours, avec plus de 10 000 environnements d’exécution simultanés. Il présente également une boucle de recherche automatisée dans laquelle des agents contribuent à créer des tâches et des environnements, à diagnostiquer les échecs et à préparer les itérations d’entraînement suivantes. 1

L’objectif dépasse le simple fait de trouver un bouton. Dans une tâche longue, l’agent doit conserver le fil de ce qu’il a déjà accompli, récupérer après une erreur et décider s’il doit utiliser une interface graphique, un navigateur ou un terminal.

Alibaba décrit aussi un dispositif destiné aux workflows avec état, à cheval sur plusieurs appareils, ainsi qu’au lancement proactif de services. Cela pourrait permettre à un assistant de poursuivre une tâche lorsqu’un utilisateur passe du téléphone à l’ordinateur, ou de proposer une intervention utile sans attendre une instruction détaillée. Ces exemples illustrent la direction du projet ; ils ne prouvent pas que le modèle puisse gérer sans supervision toute tâche imprévisible dans le monde réel. 1

Les résultats publiés, benchmark par benchmark

Le rapport technique attribue à Qwen-UI-Agent ses résultats les plus convaincants sur les usages mobiles : 33

• MobileWorld : 82,1 %
• MobileWorld-Real : 92,2 %
• AndroidDaily : 97,5 %
• OSWorld-Verified : 79,5 % pour l’utilisation d’un ordinateur de bureau
• OSWorld-v2 : 40,0 % selon une métrique de progression partielle
• WebArena : 73,6 %
• ScreenSpot-Pro : 81,5 % pour le repérage d’éléments dans une interface

Dans la comparaison publiée pour MobileWorld, Qwen-UI-Agent devance GPT-5.6 Sol, à 70,1 %, et Claude Opus 4.8, à 67,5 %, soit des écarts respectifs de 12,0 et 14,6 points de pourcentage. 7

Les chiffres mobiles sont donc particulièrement solides. La lecture des résultats sur ordinateur doit être plus prudente : le score de 79,5 % sur OSWorld-Verified est élevé, mais les comparaisons fournies placent Claude Opus 4.8 plus haut sur ce test. De même, les 40,0 % d’OSWorld-v2 correspondent à une progression partielle et ne signifient pas que 40 % des tâches ont été entièrement terminées. 33 34 36

Le score de 73,6 % sur WebArena est bien documenté par les sources fournies. En revanche, celles-ci ne permettent pas d’affirmer sans réserve un classement numéro un dans toutes les configurations. Les résultats peuvent varier selon les versions de modèles, les protocoles, les ensembles de tâches et les découpages retenus. 1 8

À quoi ressemble un workflow mêlant interface et terminal ?

L’intérêt de Qwen-UI-Agent ne réside pas uniquement dans sa capacité à appuyer sur des boutons. Le rapport décrit des scénarios où l’agent recherche des informations financières dans un navigateur et des applications de bureau, utilise des outils en ligne de commande pour l’analyse ou la gestion de fichiers, puis crée et enregistre un document dans une application graphique. 1

Cette combinaison lui donne plusieurs moyens de réaliser une même étape. Il peut passer par l’interface lorsqu’elle est indispensable, puis utiliser un terminal pour une opération structurée plus rapide. Le défi consiste à coordonner ces outils tout en conservant l’état de la tâche entre les applications.

La même architecture ouvre la voie à des assistants capables de travailler sur plusieurs appareils : une tâche commencerait sur un smartphone, se poursuivrait sur un ordinateur et mobiliserait plusieurs applications, sans que chacune doive fournir une API spécialisée. Dans un produit réellement déployé, la fiabilité dépendrait toutefois de la gestion des autorisations, de la récupération après une erreur et de confirmations explicites avant toute action irréversible.

Le point sensible : la sécurité

Un agent capable de contrôler un écran peut aussi accéder à des données sensibles, supprimer un fichier, envoyer un formulaire ou déclencher une transaction. Le schéma de sécurité attendu est donc clair : refuser les demandes illégales ou à haut risque, demander les informations manquantes et obtenir une confirmation avant un paiement, une suppression ou une autorisation liée à la vie privée.

Les éléments primaires fournis par le rapport technique ne permettent pas de vérifier indépendamment chacune des démonstrations précises de refus et de confirmation mentionnées dans la demande initiale. Ces comportements doivent donc être considérés comme des contrôles annoncés ou prévus, et non comme une preuve définitive de sûreté en conditions réelles.

Les scores de benchmark ne suffisent pas non plus à démontrer qu’un tel système peut agir sans surveillance dans les comptes d’utilisateurs. Un déploiement sérieux nécessiterait des limites d’autorisation, des étapes de confirmation, des journaux d’audit, un bouton d’interruption, des mécanismes de récupération et des tests indépendants sur une grande diversité d’appareils et d’applications.

Ce que Qwen-UI-Agent annonce pour l’IA « computer-use »

La contribution la plus claire de Qwen-UI-Agent est son orientation vers l’interface physique. Le fait d’avoir entraîné et évalué le modèle sur plus de 100 téléphones réels rend ses résultats mobiles plus représentatifs du contrôle d’appareils que des tests menés uniquement dans des émulateurs. Son espace d’actions unifié, qui combine GUI et ligne de commande, dessine aussi une architecture pratique pour des workflows plus longs, traversant applications, navigateurs, ordinateurs et terminaux. 1 3

Les données disponibles permettent de tirer une conclusion forte sur le mobile : Qwen-UI-Agent est un agent graphique notable, avec des résultats annoncés en tête sur plusieurs benchmarks mobiles. Sur ordinateur et dans les navigateurs, la conclusion est plus mesurée : le modèle est compétitif, mais n’est pas systématiquement supérieur à tous les modèles de pointe ni sur tous les tests.

Le prochain véritable examen ne consistera pas seulement à savoir si l’agent termine un scénario prévu à l’avance. Il faudra déterminer s’il peut accomplir des tâches quotidiennes de manière prévisible, compréhensible, interrompable et sûre lorsque l’écran change — ou lorsque l’action demandée devient irréversible.