アリババのQwen-UI-Agentとは？実機の画面を見てスマホやPCを操作するAI

アリババのQwen-UI-Agentは、人間のように画面を見ながらソフトウェアを操作するGUIエージェント基盤モデルです。画面上の要素を読み取り、クリック、キー入力、文字入力、スワイプなどを実行します。アプリ専用のAPIや内部計測機能だけに頼らず、スマートフォン、デスクトップPC、Webブラウザー、DeepSearch環境を横断して動作する設計です。アリババは2026年8月20日に公開し、技術報告書は同年7月30日にarXivで公開しました。3 33

ポイントは、「APIが用意されていないサービスでも、通常の画面を操作できれば自動化できる可能性がある」という点です。ただし、Qwen-UI-Agentがあらゆる環境で最も優れているという単純な話ではありません。報告された優位性が最も明確なのはモバイル、とりわけ実際のスマートフォン上で評価したケースです。

Qwen-UI-Agentは何をするのか

従来のソフトウェアエージェントは、構造化されたAPI、ブラウザー自動化用のフック、アプリ固有のツールなどを介して操作することが多くありました。Qwen-UI-Agentは、画面そのものを操作の接点とします。表示内容を読み、目的のボタンや入力欄を特定し、タップ、クリック、入力、スワイプといった行動を選びます。スマートフォン、PC、ブラウザー、DeepSearchの各環境を、同じモデルで扱うことを目指しています。33

さらに、グラフィカルな操作とコマンドライン実行を同じ行動空間に組み込んでいます。これにより、長いタスクの途中でブラウザーからデスクトップアプリ、さらにターミナルへ移るといった流れにも対応できます。技術報告書では、1回のモデル処理で複数のアクションをまとめて出力する仕組みも説明されており、多段階の作業を効率化する狙いがあります。1

なぜ「実機」での訓練が重要なのか

GUIエージェントはエミュレーター上では動いても、実機に移すと性能が落ちることがあります。画面レイアウト、操作のタイミング、タッチの挙動、端末の状態、アプリの反応などが、シミュレーション環境とは異なるためです。Qwen-UI-Agentは、この「シミュレーションから現実へ」の差を縮めることを重視しています。

アリババによると、開発環境は100台を超える実機スマートフォンと150種類を超えるアプリで構成されています。これらの端末は、最終デモのためだけでなく、タスクの作成、操作軌跡の収集、モデル訓練、評価に使われました。3 5

また、同プロジェクトは400件を超える実機タスクを収録したMobileWorld-Realを構築しました。プロジェクト自身が作成したベンチマークであるため、92.2%という結果は実機上の性能を示す有力な材料ではあるものの、完全に独立した第三者監査の結果として受け取るべきではありません。1 7

長いタスクを支える訓練システム

技術報告書では、100ターンを超える操作軌跡を対象にしたオンライン強化学習と、1万を超える並列ロールアウト環境が説明されています。また、エージェントがタスクや環境の構築を支援し、失敗を診断し、次の訓練サイクルを計画する自動化された研究ループも示されています。1

これは、単発のボタン操作だけでなく、長い手順の中で状態を維持することを狙ったものです。実用的なエージェントには、すでに何を済ませたかを把握し、失敗から復帰し、その時点で最適な画面やツールを選ぶ能力が求められます。

報告書は、状態を保持したまま複数端末をまたぐワークフローや、ユーザーの明示的な指示を待たずにサービスを開始する仕組みにも触れています。たとえば、スマートフォンで始めた作業をPCで続ける、あるいは役立つ対応を先回りして始めるといった方向性です。ただし、これはシステムが目指す能力を示すデモであり、監督なしであらゆる現実のタスクを安全に処理できる証明ではありません。1

公開されたベンチマーク結果

技術報告書で特に強い結果が示されているのは、モバイル操作のベンチマークです。主な数値は次の通りです。33

• MobileWorld： 82.1%
• MobileWorld-Real： 92.2%
• AndroidDaily： 97.5%
• OSWorld-Verified： デスクトップ操作で79.5%
• OSWorld-v2： 部分進捗指標で40.0%
• WebArena： 73.6%
• ScreenSpot-Pro： GUI上の対象位置特定で81.5%

MobileWorldでは、提供された比較結果によると、GPT-5.6 Solが70.1%、Claude Opus 4.8が67.5%でした。Qwen-UI-Agentはそれぞれ12.0ポイント、14.6ポイント上回っています。7

ただし、デスクトップとブラウザーの結果は慎重に読む必要があります。OSWorld-Verifiedの79.5%は高い水準ですが、報告書とともに示された比較では、Claude Opus 4.8の方が高い数値です。また、OSWorld-v2の40.0%は部分進捗スコアであり、「完全に終了したタスクが40%あった」という意味ではありません。33 34 36

WebArenaの73.6%という数値自体は提供された資料で確認できますが、あらゆる比較対象を含む評価で争いなく1位だったとまでは、資料から断定できません。順位は、比較するモデルやバージョン、評価手順、ベンチマークの分割方法によって変わります。1 8

GUIとCLIを組み合わせると何ができるのか

Qwen-UI-Agentの意味は、単にボタンを押せることだけではありません。報告書では、ブラウザーやデスクトップの画面を使って金融情報を調べ、コマンドラインツールで分析やファイル操作を行い、その後GUIアプリケーションで文書を作成・保存するワークフローが説明されています。1

この構成では、タスクごとに操作方法を選べます。画面操作が必要な場面ではGUIを使い、構造化されたファイル処理や分析ではターミナルへ切り替える、といった具合です。難しいのは、複数のアプリやツールをまたいでも、作業の状態を失わずに連携させることです。

同じ設計は、端末をまたぐアシスタントにもつながります。スマートフォンで始めた作業をPCで続け、複数のアプリを使いながら完了させる。こうした流れが、各サービスに専用APIを用意してもらわなくても実現できる可能性があります。

もっとも、実際の信頼性は、認証情報の扱い、予期しない画面からの復旧、現実に影響する操作の制限などに左右されます。

安全性は依然として大きな課題

画面を操作できるエージェントは、機密データにアクセスしたり、ファイルを削除したり、フォームを送信したり、取引を開始したりすることもできます。そのため、違法または高リスクな依頼を拒否し、不足している情報を確認し、決済、削除、プライバシーに関わる許可などの重要操作の前にはユーザーの確認を取る、という安全設計が必要です。

一方、提供された主要な技術報告書の資料だけでは、元の依頼で挙げられた個々の拒否や確認のデモを独立に検証できません。したがって、これらは報告された、または意図された制御策として扱うべきであり、安全な実運用が確立した証拠とは言えません。

ベンチマークの点数だけで、一般ユーザーのアカウントを無監督で操作できると判断することもできません。実際の導入には、権限の分離、確認ゲート、監査ログ、中断機能、エラーからの復旧、さまざまな端末やアプリを使った独立評価が必要になります。

コンピューター操作AIにとっての意味

Qwen-UI-Agentの最も明確な貢献は、物理的な画面を重視した点です。100台を超えるスマートフォンで訓練し、実機で評価したことで、エミュレーターだけで検証するよりも、端末操作に関するモバイル結果を現実に近い形で捉えられます。GUIとCLIを統合した行動空間も、アプリ、ブラウザー、デスクトップ、ターミナルをまたぐ長いワークフローに向いた実用的な構成を示しています。1 3

資料から強く言えるのは、モバイル分野での評価です。Qwen-UI-Agentは、実機を扱う注目度の高いGUIエージェントであり、複数のモバイルベンチマークで先行する結果を報告しています。一方、デスクトップやブラウザーについては、競争力はあるものの、全てのフロンティアモデルや評価で一貫して優位に立つわけではありません。

次に問われるのは、台本通りのベンチマークを完了できるかどうかだけではありません。画面が変わったとき、操作を途中で止めたいとき、取り消せない結果につながるときにも、予測可能で、透明性があり、安全に日常業務を続けられるかどうかです。