Qwen-UI-Agent erklärt: Wie Alibaba eine KI für echte Bildschirme trainiert

Alibabas Qwen-UI-Agent ist ein Basismodell für GUI-Agenten, das Software ähnlich wie ein Mensch bedient: Es liest den Bildschirm und führt anschließend Klicks, Tastatureingaben, Texteingaben oder Wischbewegungen aus. Der Ansatz deckt Smartphones, Desktop-Computer, Webbrowser und DeepSearch-Umgebungen ab, statt sich ausschließlich auf Programmierschnittstellen (APIs) oder eine spezielle Integration in einzelne Apps zu stützen. Alibaba veröffentlichte das Modell am 20. August 2026; der technische Bericht erschien bereits am 30. Juli auf arXiv. 3 33

Die praktische Idee dahinter ist einfach: Ein Agent, der eine gewöhnliche Benutzeroberfläche bedienen kann, könnte auch dann Aufgaben automatisieren, wenn ein Dienst keine passende API anbietet. Die Benchmark-Ergebnisse ergeben jedoch kein pauschales Bild, wonach Qwen-UI-Agent überall überlegen wäre. Am deutlichsten ist der Vorsprung im mobilen Bereich – insbesondere bei Tests auf echten Smartphones.

Was Qwen-UI-Agent kann

Viele Software-Agenten greifen auf strukturierte APIs, Browser-Automatisierung oder spezielle Werkzeuge für einzelne Apps zurück. Qwen-UI-Agent behandelt dagegen die sichtbare Benutzeroberfläche selbst als Schnittstelle. Das Modell erkennt relevante Elemente auf dem Bildschirm und entscheidet, ob es tippen, klicken, Text eingeben oder wischen muss. Es soll dabei in einer gemeinsamen Architektur auf Smartphones, Desktops, im Web und in DeepSearch-Workflows arbeiten. 33

Zum Aktionsraum gehören neben grafischen Interaktionen auch Befehle über die Kommandozeile. Ein längerer Auftrag kann deshalb zwischen Browser, Desktop-Anwendung und Terminal wechseln, anstatt jeden einzelnen Schritt über die grafische Oberfläche abzuwickeln. Der Bericht beschreibt außerdem gebündelte Aktionen innerhalb eines Modellschritts, die mehrstufige Abläufe effizienter machen sollen. 1

Warum echte Smartphones einen Unterschied machen

Ein GUI-Agent kann in einem Emulator gut funktionieren und auf einem realen Gerät trotzdem scheitern. Abweichende Bildschirmaufteilungen, Verzögerungen, Touch-Verhalten, Gerätezustände und App-Versionen machen den Sprung von der Simulation zur Realität schwierig.

Alibabas Trainings- und Testumgebung soll diese Lücke verkleinern. Nach Angaben des Unternehmens umfasst sie mehr als 100 echte Smartphones und über 150 Apps. Die Geräte wurden nicht nur für eine abschließende Vorführung genutzt, sondern für die Erstellung von Aufgaben, die Sammlung von Aktionsverläufen, das Training und die Evaluation. 3 5

Zusätzlich entwickelte das Team MobileWorld-Real, einen Benchmark mit mehr als 400 Aufgaben auf realen Geräten. Weil dieser Benchmark aus demselben Projekt stammt, ist der Wert von 92,2 % ein relevantes Signal für die Leistung auf echter Hardware – aber keine vollständig unabhängige Prüfung. 1 7

Training für lange und wechselnde Aufgaben

Der technische Bericht beschreibt Online-Reinforcement-Learning über Aktionsfolgen von mehr als 100 Schritten sowie über 10.000 parallel laufende Umgebungen. Außerdem wird ein automatisierter Forschungsprozess vorgestellt: Agenten helfen dabei, Aufgaben und Umgebungen zu erstellen, Fehler zu analysieren und die nächsten Trainingsrunden zu planen. 1

Damit zielt das System nicht nur auf einzelne Klicks. Bei langen Aufträgen muss ein Agent den bisherigen Zustand behalten, Fehler korrigieren und jeweils das passende Programm oder Werkzeug auswählen.

Der Bericht nennt außerdem eine schlanke Laufzeitumgebung für zustandsbehaftete Abläufe über mehrere Geräte hinweg sowie für proaktive Aktionen. Das weist in Richtung von Assistenten, die eine Aufgabe beim Wechsel vom Smartphone zum Computer fortsetzen oder eine hilfreiche Aktion selbst anstoßen könnten. Solche Beispiele zeigen jedoch die angestrebte Entwicklungsrichtung – sie beweisen nicht, dass das Modell jede offene Aufgabe zuverlässig und ohne Aufsicht erledigen kann. 1

Die veröffentlichten Benchmark-Werte

Im technischen Bericht erzielt Qwen-UI-Agent seine stärksten Ergebnisse bei Tests zur mobilen Nutzung. Zu den wichtigsten gemeldeten Werten gehören: 33

• MobileWorld: 82,1 %
• MobileWorld-Real: 92,2 %
• AndroidDaily: 97,5 %
• OSWorld-Verified: 79,5 % für die Bedienung von Desktop-Computern
• OSWorld-v2: 40,0 % bei einer Teilfortschrittsmetrik
• WebArena: 73,6 %
• ScreenSpot-Pro: 81,5 % bei der Verankerung von GUI-Elementen auf dem Bildschirm

Bei MobileWorld werden in der veröffentlichten Vergleichstabelle 70,1 % für GPT-5.6 Sol und 67,5 % für Claude Opus 4.8 angegeben. Damit liegt Qwen-UI-Agent dort um 12,0 beziehungsweise 14,6 Prozentpunkte vorn. 7

Die Desktop- und Browser-Ergebnisse müssen vorsichtiger gelesen werden. 79,5 % bei OSWorld-Verified sind ein starker Wert, doch die im Umfeld des Berichts bereitgestellten Vergleiche sehen Claude Opus 4.8 auf diesem Benchmark vorne. Bei OSWorld-v2 handelt es sich bei den genannten 40,0 % zudem um einen Teilfortschrittswert – nicht um die Aussage, dass 40 % aller Aufgaben vollständig abgeschlossen wurden. 33 34 36

Der Wert von 73,6 % bei WebArena wird von den vorliegenden Quellen gestützt. Die Belege reichen jedoch nicht für die uneingeschränkte Behauptung, Qwen-UI-Agent liege in jedem Vergleich eindeutig auf Platz eins. Ranglisten können sich je nach Modellversion, Testverfahren und Benchmark-Aufteilung ändern. 1 8

So sieht ein gemischter GUI- und CLI-Workflow aus

Die Bedeutung des Modells liegt nicht nur darin, dass es Schaltflächen drücken kann. Der Bericht beschreibt Abläufe, bei denen ein Agent Finanzinformationen über Browser- und Desktop-Oberflächen recherchiert, anschließend Kommandozeilenwerkzeuge für Analyse oder Dateiverarbeitung nutzt und schließlich in einer grafischen Anwendung ein Dokument erstellt und speichert. 1

Diese Kombination eröffnet mehrere Wege zum selben Ziel. Wenn eine sichtbare Oberfläche nötig ist, kann der Agent sie bedienen; für strukturierte Dateibearbeitung oder Analysen kann er auf ein Terminal wechseln. Die eigentliche Herausforderung besteht darin, den Zustand der Aufgabe über verschiedene Anwendungen hinweg korrekt zu bewahren.

Das Konzept passt auch zu Assistenz über mehrere Geräte hinweg. Ein Vorgang könnte auf dem Smartphone beginnen, am Desktop weiterlaufen und mehrere Apps einbeziehen, ohne dass jeder einzelne Dienst eine spezielle API bereitstellen muss. In der Praxis hängt die Zuverlässigkeit aber von Fragen wie Authentifizierung, unerwarteten Bildschirmen und der Absicherung folgenreicher Aktionen ab.

Sicherheit bleibt die schwierigste Hürde

Ein Agent, der einen Bildschirm kontrollieren kann, könnte auch auf sensible Daten zugreifen, Dateien löschen, Formulare absenden oder Transaktionen auslösen. Für einen sicheren Einsatz wären daher klare Regeln nötig: illegale oder risikoreiche Anweisungen ablehnen, fehlende Angaben erfragen und vor sensiblen Aktionen wie Zahlungen, Löschvorgängen oder der Erteilung von Datenschutzberechtigungen eine Bestätigung einholen.

Die vorliegenden Belege aus dem technischen Primärbericht bestätigen jedoch nicht unabhängig jede einzelne in der ursprünglichen Anfrage genannte Demonstration zu Ablehnungen und Bestätigungen. Diese Verhaltensweisen sollten daher als berichtete oder geplante Schutzmechanismen verstanden werden – nicht als abschließender Nachweis eines sicheren Produktiveinsatzes.

Auch Benchmark-Werte zeigen nicht, dass das System bereits unbeaufsichtigt in den Konten gewöhnlicher Nutzer arbeiten kann. Für reale Anwendungen wären Berechtigungsgrenzen, Bestätigungsdialoge, Prüfprotokolle, jederzeitige Unterbrechbarkeit, Fehlerbehebung und unabhängige Tests auf unterschiedlichen Geräten und in verschiedenen Apps erforderlich.

Was Qwen-UI-Agent für Computer-Use-KI bedeutet

Der klarste Beitrag von Qwen-UI-Agent liegt im Fokus auf der physischen Benutzeroberfläche. Das Training mit mehr als 100 Smartphones und die Evaluation auf echter Hardware machen die mobilen Ergebnisse aussagekräftiger für Gerätesteuerung als reine Emulator-Tests. Der einheitliche Aktionsraum aus GUI- und Kommandozeilenaktionen deutet zudem auf eine praktische Architektur für längere Abläufe hin, die Apps, Browser, Desktop und Terminal verbinden kann. 1 3

Die Belege stützen eine starke Aussage für den mobilen Bereich: Qwen-UI-Agent ist ein bemerkenswerter GUI-Agent für reale Geräte und erzielt bei mehreren mobilen Benchmarks führende gemeldete Werte. Für Desktop und Browser fällt das Urteil zurückhaltender aus: Die Leistung ist konkurrenzfähig, aber nicht gegenüber jedem Spitzenmodell und jedem Benchmark durchgehend überlegen.

Der nächste entscheidende Test ist deshalb nicht, ob ein Agent einen vorgegebenen Benchmark-Ablauf absolvieren kann. Entscheidend ist, ob er nützliche Alltagsaufgaben vorhersehbar, unterbrechbar, transparent und sicher erledigt – auch dann, wenn sich der Bildschirm verändert oder ein Fehler unumkehrbare Folgen haben könnte.