Qwen-UI-Agent: Alibabas AI som faktiskt kan använda telefoner och datorer

Alibaba har tagit fram Qwen-UI-Agent, en grundmodell för så kallade GUI-agenter – AI-system som använder program ungefär som en människa gör. I stället för att enbart anropa ett programs API läser modellen av det som visas på skärmen och utför klick, tangenttryckningar, textinmatning och svepningar. Den är utformad för mobiltelefoner, stationära datorer, webbläsare och DeepSearch-miljöer. Alibaba släppte modellen offentligt den 20 augusti 2026, efter att den tekniska rapporten publicerats på arXiv den 30 juli. 3 33

Den praktiska poängen är tydlig: en AI som kan använda ett vanligt gränssnitt kan i princip automatisera uppgifter även när tjänsten saknar ett lämpligt API. Men resultaten behöver läsas med viss försiktighet. Qwen-UI-Agents tydligaste försprång syns på mobiler – särskilt när testerna körs på riktiga telefoner.

Vad gör Qwen-UI-Agent?

Många tidigare mjukvaruagenter arbetar via strukturerade API:er, särskilda webbläsarverktyg eller appintern instrumentering. Qwen-UI-Agent utgår i stället från själva gränssnittet. Den tolkar vad som syns, hittar relevanta knappar och fält och väljer sedan en åtgärd: trycka, klicka, skriva eller svepa. Samma modell är tänkt att fungera på telefoner, datorer, webben och i DeepSearch-arbetsflöden. 33

Modellen kan dessutom kombinera grafiska åtgärder med kommandoradskörning. Ett längre uppdrag kan därför växla mellan en webbläsare, ett datorprogram och en terminal, i stället för att varje steg måste genomföras via ett grafiskt gränssnitt. Rapporten beskriver även möjligheten att samla flera åtgärder i samma modelltur, vilket ska göra flerstegsuppgifter effektivare. 1

Därför spelar riktiga telefoner roll

En GUI-agent kan fungera bra i en emulator men ändå få problem på en fysisk enhet. Riktiga telefoner innebär variationer i skärmlayout, fördröjningar, pekbeteende, enhetens aktuella tillstånd och apparnas faktiska beteende. Qwen-UI-Agents tränings- och testmiljö har byggts för att minska avståndet mellan simulering och verklighet.

Alibaba beskriver en mobilmiljö med fler än 100 fysiska telefoner och över 150 appar. Hårdvaran användes för att skapa uppgifter, samla in körningsdata, träna modellen och utvärdera den – inte bara för en avslutande demonstration. 3 5

Projektet tog också fram MobileWorld-Real, ett test med fler än 400 uppgifter på riktiga mobila enheter. Resultatet på 92,2 procent är därför relevant som bevis på prestanda i fysisk hårdvara. Samtidigt skapades testet av samma projekt, vilket innebär att siffran inte bör ses som en helt oberoende granskning. 1 7

Träning för långa och krångliga uppgifter

Den tekniska rapporten beskriver förstärkningsinlärning online över sekvenser på mer än 100 turer och över 10 000 parallella körmiljöer. Den presenterar också en automatiserad forskningsloop där agenter hjälper till att skapa uppgifter och miljöer, analysera misslyckanden och planera nästa träningsomgång. 1

Målet är att komma bortom enstaka knapptryckningar. En användbar agent måste kunna hålla reda på vad som redan har gjorts, återhämta sig efter fel och välja rätt app, gränssnitt eller verktyg i nästa steg.

Rapporten beskriver dessutom ett lättviktigt ramverk för tillståndsbaserade arbetsflöden mellan flera enheter och för att initiera tjänster proaktivt. Det pekar mot assistenter som kan fortsätta ett uppdrag när användaren går från telefonen till datorn, eller själva starta en hjälpande åtgärd i stället för att vänta på varje instruktion. Exemplen visar dock framför allt systemets tänkta riktning – de bevisar inte att modellen säkert kan hantera alla öppna vardagsuppgifter utan övervakning. 1

Resultaten i testerna

I den publicerade tekniska rapporten är Qwen-UI-Agent starkast i tester av mobil användning. De viktigaste siffrorna är: 33

• MobileWorld: 82,1 procent
• MobileWorld-Real: 92,2 procent
• AndroidDaily: 97,5 procent
• OSWorld-Verified: 79,5 procent för datoranvändning
• OSWorld-v2: 40,0 procent på ett mått för delvis genomförda uppgifter
• WebArena: 73,6 procent
• ScreenSpot-Pro: 81,5 procent för att hitta rätt element i ett grafiskt gränssnitt

I MobileWorld anges GPT-5.6 Sol till 70,1 procent och Claude Opus 4.8 till 67,5 procent i den levererade jämförelsen. Qwen-UI-Agent ligger därmed 12,0 respektive 14,6 procentenheter högre. 7

Dator- och webbläsarresultaten kräver en mer nyanserad tolkning. 79,5 procent i OSWorld-Verified är starkt, men jämförelserna som följer med rapporten placerar Claude Opus 4.8 högre i just det testet. Siffran 40,0 procent i OSWorld-v2 är dessutom ett mått på delvisa framsteg – inte ett påstående om att 40 procent av alla uppgifter slutfördes helt. 33 34 36

WebArena-resultatet på 73,6 procent stöds av det levererade källmaterialet, men materialet fastställer inte en oomtvistad förstaplats i varje jämförelse. Rangordningen kan ändras beroende på vilka modeller, modellvarianter, testmetoder och delmängder som ingår. 1 8

När grafik och kommandorad kombineras

Det intressanta är alltså inte bara att modellen kan trycka på knappar. Rapporten beskriver arbetsflöden där en agent söker finansiell information via webbläsare och datorgränssnitt, använder kommandoraden för analys eller filhantering och därefter skapar och sparar ett dokument i ett grafiskt program. 1

Det ger agenten flera sätt att lösa samma deluppgift. Den kan använda det synliga gränssnittet när det krävs och sedan byta till terminalen när strukturerad filhantering eller analys går snabbare. Den stora utmaningen är att samordna verktygen och samtidigt bevara uppgiftens tillstånd mellan olika program.

Samma arkitektur öppnar för arbetsflöden över flera enheter: en uppgift kan börja på telefonen, fortsätta på datorn och använda flera appar utan att varje tjänst behöver erbjuda ett särskilt API. I praktiken beror tillförlitligheten på hur agenten hanterar inloggningar, oväntade skärmbilder och åtgärder med verkliga konsekvenser.

Säkerheten är fortfarande den svåra delen

En agent som kan styra en skärm kan också komma åt känsliga uppgifter, radera filer, skicka formulär eller starta transaktioner. En rimlig säkerhetsmodell är därför att neka olagliga eller högriskbetonade instruktioner, be om information som saknas och kräva bekräftelse före känsliga åtgärder som betalningar, radering eller godkännande av integritetsbehörigheter.

Det primära tekniska underlaget som följer med här verifierar dock inte självständigt varje enskild demonstration av nekanden och bekräftelser som nämns i det ursprungliga underlaget. Sådana beteenden bör därför betraktas som rapporterade eller avsedda skyddsåtgärder, inte som slutgiltigt bevis på säker användning.

Benchmarkresultat visar inte heller att modellen är redo att arbeta obevakat i vanliga användares konton. En verklig lansering skulle behöva tydliga behörighetsgränser, bekräftelsesteg, loggar, möjlighet att avbryta, robust felåterställning och oberoende tester på många olika enheter och appar.

Vad betyder modellen för framtidens datoranvändning?

Qwen-UI-Agents tydligaste bidrag är fokuset på den fysiska skärmen. Att träna med fler än 100 telefoner och utvärdera på riktig hårdvara gör mobilresultaten mer relevanta för faktisk enhetsstyrning än tester som enbart körs i emulatorer. Den gemensamma GUI- och CLI-modellen pekar dessutom mot en praktisk arkitektur för längre arbetsflöden mellan appar, webbläsare, datorer och terminaler. 1 3

Underlaget stödjer en stark slutsats på mobilområdet: Qwen-UI-Agent är en betydande realtidsagent för grafiska gränssnitt, med ledande rapporterade resultat i flera mobila benchmarktester. För datorer och webbläsare är slutsatsen mer försiktig: prestandan är konkurrenskraftig, men modellen är inte konsekvent bättre än alla andra ledande modeller eller i alla test.

Nästa verkliga test handlar därför inte bara om huruvida en AI kan klara en förutbestämd benchmark. Frågan är om den kan utföra användbart vardagsarbete på ett förutsägbart, avbrytbart och transparent sätt – även när skärmen förändras eller när ett misstag inte går att ångra.