AnswersPublished18 sources
Qwen-UI-Agent: כך עליבאבא מלמדת AI להשתמש במסכים אמיתיים
Qwen UI Agent הוא מודל בסיס לסוכני ממשק גרפי (GUI) של עליבאבא, שפורסם ב 20 באוגוסט 2026. המודל משלב פעולות על המסך עם הרצת פקודות בשורת הפקודה, ואומן ונבחן בסביבה שכללה יותר מ 100 טלפונים אמיתיים ויותר מ 150 אפליקציות.
פורסם על ידינערך באמצעות GPT-5.6 Lunaהתמונות נוצרו באמצעות GPT Image 1.5
Research answer
Key takeaways
- Qwen UI Agent הוא מודל בסיס לסוכני ממשק גרפי (GUI) של עליבאבא, שפורסם ב 20 באוגוסט 2026.
- המודל משלב פעולות על המסך עם הרצת פקודות בשורת הפקודה, ואומן ונבחן בסביבה שכללה יותר מ 100 טלפונים אמיתיים ויותר מ 150 אפליקציות.
- התוצאות החזקות ביותר נרשמו במובייל: 82.1% ב MobileWorld, 92.2% ב MobileWorld Real ו 97.5% ב AndroidDaily; במחשבים ובדפדפנים הביצועים תחרותיים, אך לא מובילים בכל מבחן.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba Qwen’s Qwen-UI-Agent, released on August 20, 2026, and how does its GUI-agent foundation model use real-device training acro. Article summary: Qwen-UI-Agent is Alibaba Qwen’s real-world GUI-agent foundation model: it operates phones, desktops, browsers, and DeepSearch environments by interpreting what is displayed on screen and taking actions such as clicks, ke. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
Qwen-UI-Agent הוא מודל בסיס לסוכן ממשק גרפי (GUI Agent) שפיתחה קבוצת Qwen של עליבאבא. במקום להסתמך רק על ממשקי תכנות (APIs) או על חיבורים פנימיים לאפליקציות, הוא מתוכנן לפעול כפי שאדם פועל: לקרוא את המסך, לזהות כפתורים ושדות, ללחוץ, להקליד, להחליק ולנווט בין מסכים. המודל מכסה טלפונים, מחשבים, דפדפנים וסביבות DeepSearch. עליבאבא פרסמה אותו ב-20 באוגוסט 2026, לאחר שהדו״ח הטכני שלו עלה ל-arXiv ב-30 ביולי. 3
33
המשמעות המעשית היא שסוכן כזה עשוי לבצע משימות גם בשירותים שאין להם API מתאים. עם זאת, התמונה אינה מסתכמת בטענה שהוא "הטוב ביותר בכל מקום": היתרון הבולט ביותר של Qwen-UI-Agent מופיע במשימות מובייל, במיוחד כאשר ההערכה מתבצעת על טלפונים פיזיים ולא רק באמולטורים.
איך המודל עובד?
סוכני תוכנה מסורתיים עובדים לעיתים קרובות מול APIs, כלי אוטומציה לדפדפן או חיבורים ייעודיים לאפליקציה. Qwen-UI-Agent מתייחס לממשק עצמו כאל נקודת המפגש: הוא רואה את מה שמוצג, מפרש את רכיבי הממשק ובוחר את הפעולה הבאה — הקשה, לחיצה, הקלדה או החלקה. אותה מסגרת פעולה מיועדת לעבוד בטלפון, במחשב, בדפדפן ובזרימות DeepSearch. 33
לצד הפעולות הגרפיות, המודל יכול גם להריץ פקודות בשורת הפקודה (CLI). כך משימה ארוכה יכולה לעבור בין דפדפן, יישום למחשב ומסוף פקודות, במקום לבצע כל שלב דרך הממשק הגרפי. הדו״ח מתאר גם אפשרות לצבור כמה פעולות במהלך תור אחד של המודל, במטרה להפוך תהליכים מרובי-שלבים ליעילים יותר. 1
למה חשוב שהאימון נעשה על טלפונים אמיתיים?
סוכן GUI יכול להצליח באמולטור — ועדיין להיכשל בטלפון אמיתי. חומרה פיזית מביאה איתה הבדלים בפריסת המסך, בתזמון, בהתנהגות המגע, במצב המכשיר ובאופן שבו אפליקציות מגיבות.
עליבאבא מתארת סביבת מובייל שכללה יותר מ-100 טלפונים פיזיים ויותר מ-150 אפליקציות. המכשירים שימשו לבניית משימות, לאיסוף מסלולי פעולה, לאימון ולהערכה — ולא רק להדגמה הסופית. 3
5
הפרויקט הציג גם את MobileWorld-Real, מבחן ביצועים הכולל יותר מ-400 משימות על מכשירים אמיתיים. מכיוון שהמבחן נבנה על ידי אותו פרויקט, הציון של 92.2% הוא ראיה משמעותית לביצועים על חומרה פיזית, אך אינו ביקורת בלתי תלויה לחלוטין. 1
7
איך מאמנים את המודל למשימות ארוכות?
הדו״ח הטכני מתאר למידת חיזוק מקוונת על מסלולים שאורכם עולה על 100 תורות, לצד יותר מ-10,000 סביבות הרצה מקבילות. הוא מציג גם לולאת מחקר אוטומטית שבה סוכנים מסייעים בבניית משימות וסביבות, באבחון כשלים ובתכנון סבבי האימון הבאים. 1
המטרה היא להתמודד עם יותר מלחיצה בודדת על כפתור. סוכן שימושי צריך לשמור על מצב המשימה לאורך זמן, להבין מה כבר ביצע, להתאושש משגיאות ולבחור בכל שלב את הממשק או הכלי המתאים.
הדו״ח מתאר גם תשתית קלת משקל לזרימות עבודה תלויות-מצב בין מכשירים ולהפעלת שירותים באופן יזום. הכיוון הזה עשוי לאפשר לעוזר להמשיך משימה כשהמשתמש עובר מטלפון למחשב, או ליזום פעולה מועילה במקום להמתין לכל הוראה מפורשת. אלה הדגמות של היכולת שאליה המערכת מכוונת — לא הוכחה שהיא יכולה לנהל בבטחה כל משימה בעולם הפתוח ללא פיקוח. 1
התוצאות: יתרון ברור במובייל, תמונה מעורבת במחשב
הדו״ח הטכני מציג את התוצאות החזקות ביותר של Qwen-UI-Agent במבחני שימוש בטלפונים: 33
- MobileWorld: 82.1%
- MobileWorld-Real: 92.2%
- AndroidDaily: 97.5%
- OSWorld-Verified: 79.5% לשימוש במחשב שולחני
- OSWorld-v2: 40.0% במדד התקדמות חלקית
- WebArena: 73.6%
- ScreenSpot-Pro: 81.5% באיתור רכיבי ממשק גרפי
ב-MobileWorld, ההשוואה שסופקה מדווחת על 70.1% ל-GPT-5.6 Sol ועל 67.5% ל-Claude Opus 4.8. כלומר, Qwen-UI-Agent הוביל ב-12.0 וב-14.6 נקודות אחוז, בהתאמה. 7
במחשב ובדפדפן נדרשת זהירות רבה יותר. ציון של 79.5% ב-OSWorld-Verified הוא חזק, אך ההשוואות שסופקו מציבות את Claude Opus 4.8 מעליו במבחן הזה. גם הציון 40.0% ב-OSWorld-v2 הוא מדד של התקדמות חלקית — לא טענה ש-40% מהמשימות הושלמו במלואן. 33
34
36
הציון של 73.6% ב-WebArena נתמך במקורות שסופקו, אך הם אינם מוכיחים דירוג חד-משמעי במקום הראשון בכל קבוצת השוואה. הדירוגים עשויים להשתנות לפי המודלים, הגרסאות, שיטת ההערכה וחלוקת המבחנים. 1
8
מה אפשר לעשות בשילוב של GUI ו-CLI?
החידוש אינו רק בכך שהמודל יודע ללחוץ על כפתורים. הדו״ח מתאר זרימות שבהן סוכן חוקר מידע פיננסי דרך דפדפן וממשק למחשב, משתמש בכלי שורת הפקודה לניתוח או לעבודה עם קבצים, ולאחר מכן יוצר ושומר מסמך ביישום גרפי. 1
הגישה הזו נותנת לסוכן יותר מדרך אחת להשלים שלב. הוא יכול להשתמש בממשק חזותי כאשר זה הכרחי, ואז לעבור למסוף כאשר עיבוד קבצים או ניתוח מובנים יעילים יותר. האתגר הוא לתאם בין הכלים ולשמור על רצף המשימה גם כאשר עוברים בין אפליקציות.
אותו עיקרון תומך גם בסיוע בין-מכשירי: משימה יכולה להתחיל בטלפון, להמשיך במחשב ולעבור בין כמה יישומים בלי שכל שירות יידרש לספק API ייעודי. בפועל, האמינות תלויה בטיפול בהרשאות ובאימות, בהתאוששות ממסכים בלתי צפויים ובהגדרת גבולות ברורה לפעולות בעלות השלכות ממשיות.
בטיחות: המסך הוא גם נקודת סיכון
סוכן שמסוגל לשלוט במסך עלול להגיע למידע רגיש, למחוק קבצים, לשלוח טפסים או להתחיל עסקאות. דפוס הבטיחות המתבקש הוא לסרב לבקשות בלתי חוקיות או מסוכנות, לבקש מידע חסר ולקבל אישור לפני פעולות רגישות כמו תשלום, מחיקה או מתן הרשאת פרטיות.
עם זאת, הראיות הראשוניות שסופקו מהדו״ח הטכני אינן מאמתות באופן עצמאי כל הדגמת סירוב ואישור שתוארה בבקשה המקורית. לכן יש להתייחס להתנהגויות האלה כבקרות מדווחות או מתוכננות, ולא כהוכחה מבוססת לכך שהמערכת בטוחה לפריסה.
גם ציוני benchmark אינם מראים שהמערכת מוכנה לפעול ללא השגחה בחשבונות של משתמשים. פריסה אמיתית תדרוש גבולות הרשאה, שערי אישור, יומני ביקורת, אפשרות לעצור את הסוכן, התאוששות משגיאות ובדיקות עצמאיות במגוון מכשירים ואפליקציות.
מה זה אומר על עתיד סוכני השימוש במחשב?
התרומה הברורה ביותר של Qwen-UI-Agent היא ההתמקדות בממשק הפיזי. אימון על יותר מ-100 טלפונים והערכה על חומרה אמיתית הופכים את תוצאות המובייל לרלוונטיות יותר לשליטה במכשירים מאשר בדיקות המבוססות רק על אמולטורים. מסגרת הפעולה המאוחדת של GUI ו-CLI מצביעה גם על ארכיטקטורה מעשית למשימות ארוכות שחוצות אפליקציות, דפדפנים, מחשבים ומסופים. 1
3
המסקנה החזקה ביותר נוגעת למובייל: Qwen-UI-Agent הוא סוכן GUI בולט לשימוש במכשירים אמיתיים, עם תוצאות מובילות שדווחו בכמה מבחני מובייל. במחשב ובדפדפן המסקנה מתונה יותר: הביצועים תחרותיים, אך אינם עולים באופן עקבי על כל מודל מוביל ובכל benchmark.
המבחן החשוב הבא אינו רק האם סוכן מסוגל להשלים משימה מתוסרטת. השאלה היא האם הוא יכול לבצע עבודה יומיומית מועילה תוך שמירה על צפיות, אפשרות לעצירה, שקיפות ובטיחות — גם כאשר המסך משתנה, או כאשר הפעולה הבאה עלולה להיות בלתי הפיכה.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Qwen-UI-Agent: כך עליבאבא מלמדת AI להשתמש במסכים אמיתיים"?
Qwen UI Agent הוא מודל בסיס לסוכני ממשק גרפי (GUI) של עליבאבא, שפורסם ב 20 באוגוסט 2026.
What are the key points to validate first?
Qwen UI Agent הוא מודל בסיס לסוכני ממשק גרפי (GUI) של עליבאבא, שפורסם ב 20 באוגוסט 2026. המודל משלב פעולות על המסך עם הרצת פקודות בשורת הפקודה, ואומן ונבחן בסביבה שכללה יותר מ 100 טלפונים אמיתיים ויותר מ 150 אפליקציות.
What should I do next in practice?
התוצאות החזקות ביותר נרשמו במובייל: 82.1% ב MobileWorld, 92.2% ב MobileWorld Real ו 97.5% ב AndroidDaily; במחשבים ובדפדפנים הביצועים תחרותיים, אך לא מובילים בכל מבחן.
Sources
aibase.comMobile-First Baseline Far Exceeds GPT and Claude! Alibaba ...
arxiv.orgQwen-UI-Agent Technical Report: Toward Next-Generation ...
theroboticsmedia.comAlibaba Unveils Qwen-UI-Agent, GUI Model Beats GPT-5.6 And Claude 4.8
finance.sina.com.cn阿里发布Qwen-UI-Agent,移动端基准超越GPT 5.6与Claude Opus 4.8
recatools.com