AnswersPublished18 sources
Qwen-UI-Agent: Yapay zekâ artık ekranları insan gibi kullanabilecek mi?
Alibaba, Qwen UI Agent’ı 20 Ağustos 2026’da yayımladı; teknik rapor 30 Temmuz’da arXiv’de paylaşıldı. Model; 100’den fazla fiziksel telefon, 150’den fazla uygulama ve 400’den fazla görev içeren gerçek cihaz altyapısıyla geliştirildi.
YayımlayanGPT-5.6 Luna ile düzenlendiGörseller GPT Image 1.5 ile oluşturuldu
Research answer
Key takeaways
- Alibaba, Qwen UI Agent’ı 20 Ağustos 2026’da yayımladı; teknik rapor 30 Temmuz’da arXiv’de paylaşıldı.
- Model; 100’den fazla fiziksel telefon, 150’den fazla uygulama ve 400’den fazla görev içeren gerçek cihaz altyapısıyla geliştirildi.
- En güçlü sonuçlar mobil tarafta geldi: MobileWorld’da %82,1, MobileWorld Real’da %92,2 ve AndroidDaily’de %97,5; masaüstü ve web performansı ise güçlü ancak her testte lider değil.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba Qwen’s Qwen-UI-Agent, released on August 20, 2026, and how does its GUI-agent foundation model use real-device training acro. Article summary: Qwen-UI-Agent is Alibaba Qwen’s real-world GUI-agent foundation model: it operates phones, desktops, browsers, and DeepSearch environments by interpreting what is displayed on screen and taking actions such as clicks, ke. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
Alibaba’nın Qwen-UI-Agent’ı, yapay zekânın yazılımlarla insan gibi etkileşime girmesini hedefleyen bir grafik arayüz (GUI) ajanı temel modeli. Model, yalnızca uygulamaların programlama arayüzlerini (API) çağırmak yerine ekranda ne olduğunu görüp buna göre tıklama, klavye girdisi, metin yazma ve kaydırma gibi işlemler gerçekleştiriyor. Telefon, masaüstü bilgisayar, web tarayıcısı ve DeepSearch ortamları için tasarlanan model 20 Ağustos 2026’da kamuya açıldı; teknik raporu ise 30 Temmuz’da arXiv’de yayımlandı. 3
33
Bu yaklaşımın pratik karşılığı şu: Bir hizmetin kullanılabilir bir API’si olmasa bile, yapay zekâ ekrandaki düğmeleri ve alanları kullanarak görevi tamamlamaya çalışabilir. Ancak sonuçlar, Qwen-UI-Agent’ın her alanda rakipsiz olduğu anlamına gelmiyor. Modelin en belirgin üstünlüğü mobil kullanımda, özellikle de değerlendirmelerin gerçek telefonlar üzerinde yapıldığı durumlarda görülüyor.
Qwen-UI-Agent ne yapıyor?
Geleneksel yazılım ajanları çoğu zaman yapılandırılmış API’lere, tarayıcı otomasyon araçlarına veya uygulamaya özel entegrasyonlara ihtiyaç duyar. Qwen-UI-Agent ise doğrudan arayüzü çalışma alanı olarak kabul ediyor. Ekrandaki içeriği okuyor, ilgili kontrolü buluyor ve ardından dokunma, tıklama, yazma ya da kaydırma gibi bir eylem seçiyor. Aynı modelin telefonlar, masaüstleri, web sayfaları ve DeepSearch akışları arasında çalışması amaçlanıyor. 33
Modelin eylem alanı yalnızca grafik arayüzle sınırlı değil; komut satırı kullanımını da kapsıyor. Böylece uzun bir görev sırasında tarayıcı, masaüstü uygulaması ve terminal arasında geçiş yapılabiliyor. Teknik rapor, tek bir model turunda birden fazla eylemin gruplanabildiğini ve bunun çok adımlı iş akışlarını hızlandırmayı amaçladığını belirtiyor. 1
Gerçek telefonlarda eğitim neden önemli?
Bir GUI ajanı emülatörde başarılı görünse bile fiziksel bir telefonda aynı performansı göstermeyebilir. Gerçek cihazlarda ekran düzeni, dokunma tepkisi, zamanlama, uygulama durumu ve donanım davranışı değişebilir. Qwen-UI-Agent’ın gerçek cihaz odaklı altyapısı, emülatör ile gerçek dünya arasındaki bu farkı azaltmayı hedefliyor.
Alibaba’nın aktardığı sistem; 100’den fazla fiziksel telefon ve 150’den fazla uygulamayı kapsıyor. Bu cihazlar yalnızca son bir gösterim için kullanılmadı; görevlerin oluşturulması, eylem izlerinin toplanması, eğitim ve değerlendirme süreçlerinde de yer aldı. 3
5
Proje ayrıca mobil uygulamalarda 400’den fazla gerçek cihaz görevinden oluşan MobileWorld-Real testini geliştirdi. Bu testin aynı ekip tarafından hazırlanmış olması, %92,2’lik sonucu fiziksel donanımdaki performans için anlamlı bir gösterge yapıyor; ancak sonucu tamamen bağımsız bir denetim gibi yorumlamamak gerekiyor. 1
7
Uzun görevler için nasıl eğitiliyor?
Teknik rapora göre model, 100 turu aşan eylem dizileri üzerinde çevrim içi pekiştirmeli öğrenme kullanıyor ve 10.000’den fazla eş zamanlı deneme ortamından yararlanıyor. Raporda ayrıca ajanların görev ve ortam oluşturmaya, hataları teşhis etmeye ve sonraki eğitim adımlarını planlamaya yardımcı olduğu otomatik bir araştırma döngüsünden söz ediliyor. 1
Bu yapı, tek bir düğmeye basmaktan daha zor bir probleme odaklanıyor: Uzun bir işlem zinciri boyunca durumu korumak. Kullanışlı bir ajan, hangi adımları tamamladığını hatırlamalı, hatalardan geri dönebilmeli ve her aşamada doğru arayüzü ya da aracı seçebilmeli.
Rapor, cihazlar arası ve durum koruyan iş akışları için hafif bir çalışma altyapısı ile proaktif hizmet başlatma yeteneğini de tanımlıyor. Bu yön, kullanıcının telefondan bilgisayara geçtiği bir görevin kaldığı yerden devam etmesi veya asistanın her adım için ayrı komut beklemeden yardımcı bir işlem başlatması fikrine işaret ediyor. Ancak bunlar sistemin hedeflenen yönünü gösteren örnekler; her türlü açık uçlu görevi güvenli biçimde ve insan gözetimi olmadan tamamlayabildiğinin kanıtı değil. 1
Açıklanan benchmark sonuçları
Teknik raporda Qwen-UI-Agent’ın en güçlü sonuçları mobil kullanım testlerinde görülüyor. Öne çıkan skorlar şöyle: 33
- MobileWorld: %82,1
- MobileWorld-Real: %92,2
- AndroidDaily: %97,5
- OSWorld-Verified: Masaüstü bilgisayar kullanımı için %79,5
- OSWorld-v2: Kısmi ilerleme metriğinde %40,0
- WebArena: %73,6
- ScreenSpot-Pro: GUI’de doğru noktayı bulma (grounding) testinde %81,5
Paylaşılan karşılaştırmada MobileWorld sonuçları GPT-5.6 Sol için %70,1, Claude Opus 4.8 için %67,5 olarak veriliyor. Buna göre Qwen-UI-Agent, söz konusu karşılaştırmada sırasıyla 12,0 ve 14,6 puan önde. 7
Masaüstü ve tarayıcı sonuçlarında ise daha temkinli olmak gerekiyor. OSWorld-Verified’daki %79,5’lik skor güçlü olsa da paylaşılan karşılaştırmalarda Claude Opus 4.8’in aynı testte daha yüksek sonuç aldığı görülüyor. Qwen-UI-Agent’ın OSWorld-v2’deki %40,0 değeri de görevlerin %40’ının tamamen bittiği anlamına gelmiyor; bu, kısmi ilerleme skorudur. 33
34
36
WebArena’daki %73,6’lık sonuç kaynaklarda destekleniyor. Buna karşın mevcut kanıtlar, modelin tüm karşılaştırma kümelerinde tartışmasız biçimde birinci olduğunu göstermiyor. Sıralamalar; kullanılan model ve varyantlara, değerlendirme yöntemine ve benchmark’ın hangi bölümünün dahil edildiğine göre değişebilir. 1
8
GUI ve komut satırı birlikte nasıl kullanılıyor?
Qwen-UI-Agent’ın önemi yalnızca ekrandaki düğmelere basabilmesi değil. Raporda, ajanın tarayıcı ve masaüstü arayüzleri üzerinden finansal bilgi araştırdığı, analiz veya dosya işlemleri için komut satırı araçlarına geçtiği, ardından bir GUI uygulamasında belge oluşturup kaydettiği iş akışları anlatılıyor. 1
Bu birleşim, ajana aynı adımı tamamlamak için birden fazla yol sunuyor. Görsel arayüzün gerekli olduğu yerde ekranı kullanabilir; yapılandırılmış dosya işlemleri veya analiz için terminale geçebilir. Asıl zorluk ise uygulamalar arasında geçiş yaparken görevin durumunu kaybetmemek.
Aynı tasarım, telefon ve bilgisayar arasında devam eden görevler fikrini de destekliyor. Bir iş telefonda başlayıp masaüstünde sürebilir ve her hizmetin özel bir API sunmasına gerek kalmayabilir. Gerçek kullanımda güvenilirlik; kimlik doğrulama yönetimi, beklenmedik ekranlardan kurtulma ve geri döndürülemez sonuç doğuran işlemler için net sınırlar gibi konulara bağlı olacak.
Güvenlik hâlâ en zor konu
Ekranı kontrol edebilen bir ajan, hassas verilere de ulaşabilir; dosya silebilir, form gönderebilir veya işlem başlatabilir. Bu nedenle uygun güvenlik yaklaşımı; yasa dışı ya da yüksek riskli talepleri reddetmek, eksik bilgileri sormak ve ödeme, silme veya gizlilik izinleri gibi hassas işlemlerden önce kullanıcı onayı almaktır.
Bununla birlikte, sağlanan birincil teknik rapor kaynakları, ilk talepte sıralanan her bir reddetme ve onay gösterimini bağımsız olarak doğrulamıyor. Bu davranışlar, güvenli dağıtımın kanıtlanmış sonucu olarak değil, raporlanan veya hedeflenen kontroller olarak değerlendirilmelidir.
Benchmark skorları da sistemin kullanıcı hesaplarında gözetimsiz çalışmaya hazır olduğunu göstermiyor. Gerçek bir ürün için izin sınırları, onay adımları, denetim kayıtları, işlemi durdurma kontrolleri, hata kurtarma mekanizmaları ve farklı cihazlarla uygulamalarda bağımsız testler gerekecek.
Bilgisayar kullanan yapay zekâ için anlamı ne?
Qwen-UI-Agent’ın en net katkısı, fiziksel arayüzü merkeze alması. 100’den fazla telefonla eğitim yapılması ve gerçek donanım üzerinde değerlendirme gerçekleştirilmesi, mobil sonuçları yalnızca emülatörde test edilen ajanlara kıyasla daha anlamlı kılıyor. GUI ile komut satırını aynı eylem alanında birleştirmesi de uygulamalar, tarayıcılar, masaüstleri ve terminaller arasında uzanan iş akışları için pratik bir mimariye işaret ediyor. 1
3
Mevcut kanıtlar mobil tarafta güçlü bir sonuca izin veriyor: Qwen-UI-Agent, gerçek cihazlarda çalışan ve birçok mobil benchmark’ta lider sonuçlar açıklayan dikkat çekici bir GUI ajanı. Masaüstü ve web tarafında ise daha ölçülü bir tablo var: Performans rekabetçi, ancak her model ve her test karşısında sürekli olarak en iyi değil.
Bir sonraki kritik sınav, ajanın yazılı bir benchmark görevini tamamlayıp tamamlamadığı değil. Ekran değiştiğinde veya işlem geri döndürülemez sonuçlar doğurabileceğinde, günlük işleri öngörülebilir, durdurulabilir, şeffaf ve güvenli biçimde yapıp yapamayacağı asıl belirleyici olacak.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Qwen-UI-Agent: Yapay zekâ artık ekranları insan gibi kullanabilecek mi?"?
Alibaba, Qwen UI Agent’ı 20 Ağustos 2026’da yayımladı; teknik rapor 30 Temmuz’da arXiv’de paylaşıldı.
What are the key points to validate first?
Alibaba, Qwen UI Agent’ı 20 Ağustos 2026’da yayımladı; teknik rapor 30 Temmuz’da arXiv’de paylaşıldı. Model; 100’den fazla fiziksel telefon, 150’den fazla uygulama ve 400’den fazla görev içeren gerçek cihaz altyapısıyla geliştirildi.
What should I do next in practice?
En güçlü sonuçlar mobil tarafta geldi: MobileWorld’da %82,1, MobileWorld Real’da %92,2 ve AndroidDaily’de %97,5; masaüstü ve web performansı ise güçlü ancak her testte lider değil.
Sources
aibase.comMobile-First Baseline Far Exceeds GPT and Claude! Alibaba ...
arxiv.orgQwen-UI-Agent Technical Report: Toward Next-Generation ...
theroboticsmedia.comAlibaba Unveils Qwen-UI-Agent, GUI Model Beats GPT-5.6 And Claude 4.8
finance.sina.com.cn阿里发布Qwen-UI-Agent,移动端基准超越GPT 5.6与Claude Opus 4.8
recatools.com