AnswersPublished18 sources
Qwen-UI-Agent: AI, která se dívá na obrazovku a sama ovládá zařízení
Alibaba vydala Qwen UI Agent 20. srpna 2026 jako základní model pro AI agenty, kteří ovládají grafické rozhraní skutečných zařízení.
PublikovalUpraveno pomocí GPT-5.6 LunaObrázky vytvořeny pomocí GPT Image 1.5
Research answer
Key takeaways
- Alibaba vydala Qwen UI Agent 20. srpna 2026 jako základní model pro AI agenty, kteří ovládají grafické rozhraní skutečných zařízení.
- Model byl trénován a testován v prostředí s více než 100 fyzickými telefony a více než 150 aplikacemi; benchmark MobileWorld Real obsahuje přes 400 úloh.
- Nejlepší výsledky hlásí mobilní testy: 82,1 % v MobileWorld, 92,2 % v MobileWorld Real a 97,5 % v AndroidDaily.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba Qwen’s Qwen-UI-Agent, released on August 20, 2026, and how does its GUI-agent foundation model use real-device training acro. Article summary: Qwen-UI-Agent is Alibaba Qwen’s real-world GUI-agent foundation model: it operates phones, desktops, browsers, and DeepSearch environments by interpreting what is displayed on screen and taking actions such as clicks, ke. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
Qwen-UI-Agent je základní model pro GUI agenty od týmu Alibaba Qwen. Je navržen tak, aby software ovládal podobně jako člověk: sleduje, co se zobrazuje na obrazovce, a následně kliká, píše, zadává text nebo provádí gesta přejetí prstem. Pokrývá mobilní telefony, stolní počítače, webové prohlížeče i prostředí DeepSearch, místo aby se spoléhal výhradně na programovací rozhraní API nebo speciální napojení do jednotlivých aplikací. Alibaba jej zveřejnila 20. srpna 2026; technická zpráva se na arXivu objevila 30. července. 3
33
Hlavní myšlenka je praktická: pokud agent umí pracovat s běžným rozhraním, může automatizovat úkoly i v těch službách, které nemají vhodné API. Výsledky ale není správné číst jako důkaz, že Qwen-UI-Agent vede ve všech oblastech. Nejvýraznější náskok má podle zveřejněných údajů na mobilech, zejména při hodnocení na fyzických telefonech.
Co Qwen-UI-Agent umí
Tradiční softwaroví agenti často využívají strukturovaná API, nástroje pro automatizaci prohlížeče nebo rozhraní vytvořená přímo pro konkrétní aplikaci. Qwen-UI-Agent místo toho považuje za hlavní místo interakce samotnou obrazovku. Rozpozná ovládací prvky, vyhodnotí aktuální stav a zvolí akci — například klepnutí, kliknutí, napsání textu nebo posunutí obsahu. Jeden model je určen pro telefony, počítače, web i pracovní postupy DeepSearch. 33
Jeho akční prostor přitom nekončí u grafického rozhraní. Kombinuje práci s obrazovkou s příkazovým řádkem, takže dlouhý úkol může přecházet mezi prohlížečem, desktopovou aplikací a terminálem. Zpráva popisuje také dávkové provádění akcí během jednoho kroku modelu, které má vícefázové úlohy zefektivnit. 1
Proč záleží na tréninku na skutečných telefonech
Agent může v emulátoru působit velmi přesvědčivě a na fyzickém zařízení selhat. Skutečný hardware přináší odlišné rozložení obrazovky, časování, chování dotyku, stav zařízení i reakce aplikací. Qwen-UI-Agent se proto zaměřuje na zmenšení rozdílu mezi simulací a realitou.
Alibaba uvádí mobilní prostředí s více než 100 fyzickými telefony a více než 150 aplikacemi. Zařízení nesloužila pouze k závěrečné ukázce: využívala se při tvorbě úloh, sběru trajektorií, tréninku i hodnocení modelu. 3
5
Projekt zároveň představil MobileWorld-Real — benchmark s více než 400 úlohami na skutečných mobilních zařízeních. Protože jej vytvořil stejný projekt, výsledek 92,2 % je důležitým signálem výkonu na reálném hardwaru, nelze jej však chápat jako zcela nezávislý audit. 1
7
Jak má zvládat dlouhé úkoly
Technická zpráva popisuje online posilované učení na trajektoriích delších než 100 kroků a více než 10 000 souběžných prostředích pro jejich spouštění. Součástí je také automatizovaný výzkumný cyklus, v němž agenti pomáhají vytvářet úlohy a prostředí, hledat příčiny selhání a plánovat další tréninkové iterace. 1
Cílem není zvládnout jen jedno klepnutí na tlačítko. Agent musí během dlouhé sekvence udržet kontext, vědět, co už provedl, zotavit se z chyby a pokaždé zvolit správnou aplikaci, rozhraní nebo nástroj.
Zpráva dále popisuje lehký systém pro stavové pracovní postupy napříč zařízeními a pro proaktivní spouštění služeb. To naznačuje asistenta, který může pokračovat v úkolu po přechodu z telefonu na počítač nebo sám zahájit užitečný zásah, místo aby čekal na každý jednotlivý pokyn. Jde však o ukázku zamýšleného směru vývoje, nikoli o důkaz, že systém bezpečně zvládne libovolný úkol v otevřeném světě bez dohledu. 1
Zveřejněné výsledky benchmarků
Technická zpráva přisuzuje Qwen-UI-Agentu nejpřesvědčivější výsledky v testech práce s mobilem. Uvádí mimo jiné: 33
- MobileWorld: 82,1 %
- MobileWorld-Real: 92,2 %
- AndroidDaily: 97,5 %
- OSWorld-Verified: 79,5 % při práci se stolním počítačem
- OSWorld-v2: 40,0 % v metrice částečného pokroku
- WebArena: 73,6 %
- ScreenSpot-Pro: 81,5 % při lokalizaci prvků grafického rozhraní
V dodaném srovnání dosáhly na MobileWorld modely GPT-5.6 Sol 70,1 % a Claude Opus 4.8 67,5 %. Qwen-UI-Agent tak vedl o 12,0, respektive 14,6 procentního bodu. 7
U počítačů a webu je ale potřeba větší opatrnost. Skóre 79,5 % v OSWorld-Verified je silné, srovnání dodané se zprávou však staví Claude Opus 4.8 výše. Hodnota 40,0 % v OSWorld-v2 navíc označuje částečný pokrok, nikoli tvrzení, že model dokončil 40 % celých úloh. 33
34
36
Skóre 73,6 % ve WebArena je podložené dodanými zdroji. Ty ale nedokládají nesporné první místo ve všech možných srovnávacích sestavách. Pořadí se může měnit podle použitých modelů, jejich variant, metodiky, rozdělení úloh a způsobu vyhodnocení. 1
8
Když se GUI potká s příkazovým řádkem
Význam modelu nespočívá jen v tom, že umí „mačkat tlačítka“. Zpráva popisuje pracovní postup, v němž agent zjišťuje finanční informace přes webové a desktopové rozhraní, pro analýzu nebo práci se soubory využije příkazový řádek a poté vytvoří a uloží dokument v grafické aplikaci. 1
Agent tak má pro jeden krok více možností. Tam, kde je nutné pracovat s viditelným rozhraním, použije obrazovku; při strukturované manipulaci se soubory nebo analýze může přepnout do terminálu. Nejtěžší částí je koordinace těchto nástrojů a zachování stavu úkolu napříč aplikacemi.
Stejný princip podporuje asistenci napříč zařízeními: úkol může začít na telefonu, pokračovat na počítači a zahrnovat několik aplikací, aniž by každá služba musela nabídnout vlastní specializované API. Praktická spolehlivost by ale závisela na práci s přihlášením, zotavení z nečekaných obrazovek a jasných pravidlech pro kroky s reálnými důsledky.
Bezpečnost zůstává nejtěžší otázkou
Agent, který dokáže ovládat obrazovku, může zároveň narazit na citlivá data, smazat soubory, odeslat formulář nebo zahájit transakci. Vhodný bezpečnostní model by měl odmítat nelegální či vysoce rizikové požadavky, vyžádat si chybějící informace a před citlivými kroky — například platbou, mazáním nebo udělením oprávnění k soukromým údajům — požadovat potvrzení.
Dodaný primární technický zdroj ale samostatně nepotvrzuje každou konkrétní ukázku odmítnutí a vyžádání potvrzení, která byla zmíněna v původním zadání. Tyto mechanismy je proto třeba chápat jako popsané nebo zamýšlené kontroly, nikoli jako nezávisle prokázanou bezpečnost při nasazení.
Samotné benchmarky také neukazují, že je systém připravený bez dozoru pracovat v běžných účtech uživatelů. Reálné nasazení by vyžadovalo omezení oprávnění, potvrzovací brány, auditní záznamy, možnost okamžitého přerušení, zotavení po chybě a nezávislé testování na různých zařízeních a v různých aplikacích.
Co Qwen-UI-Agent znamená pro AI ovládající počítač
Nejzřetelnějším přínosem Qwen-UI-Agentu je důraz na fyzické rozhraní. Trénink na více než 100 telefonech a hodnocení na skutečném hardwaru dává mobilním výsledkům větší relevanci než testování výhradně v emulátorech. Jednotný akční prostor pro GUI a CLI zároveň ukazuje praktickou architekturu pro delší úkoly, které překračují hranice aplikací, prohlížečů, počítačů a terminálů. 1
3
Dostupné důkazy podporují silný závěr v oblasti mobilů: Qwen-UI-Agent je pozoruhodný agent pro práci s grafickým rozhraním skutečných zařízení a v několika mobilních benchmarcích dosahuje nejlepších zveřejněných výsledků. U počítačů a webu je závěr střízlivější — výkon je konkurenceschopný, ale ne ve všech testech jednoznačně převyšuje všechny špičkové modely.
Další zkouškou proto nebude jen to, zda agent dokončí předem připravený benchmark. Podstatné bude, zda zvládne užitečnou každodenní práci předvídatelně, transparentně, s možností přerušení a bezpečně i ve chvíli, kdy se obrazovka změní nebo se akce stane nevratnou.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Qwen-UI-Agent: AI, která se dívá na obrazovku a sama ovládá zařízení"?
Alibaba vydala Qwen UI Agent 20. srpna 2026 jako základní model pro AI agenty, kteří ovládají grafické rozhraní skutečných zařízení.
What are the key points to validate first?
Alibaba vydala Qwen UI Agent 20. srpna 2026 jako základní model pro AI agenty, kteří ovládají grafické rozhraní skutečných zařízení. Model byl trénován a testován v prostředí s více než 100 fyzickými telefony a více než 150 aplikacemi; benchmark MobileWorld Real obsahuje přes 400 úloh.
What should I do next in practice?
Nejlepší výsledky hlásí mobilní testy: 82,1 % v MobileWorld, 92,2 % v MobileWorld Real a 97,5 % v AndroidDaily.
Sources
aibase.comMobile-First Baseline Far Exceeds GPT and Claude! Alibaba ...
arxiv.orgQwen-UI-Agent Technical Report: Toward Next-Generation ...
theroboticsmedia.comAlibaba Unveils Qwen-UI-Agent, GUI Model Beats GPT-5.6 And Claude 4.8
finance.sina.com.cn阿里发布Qwen-UI-Agent,移动端基准超越GPT 5.6与Claude Opus 4.8
recatools.com