「Computer Use」とは何か

CodexのComputer Use機能は、AIがmacOSのグラフィカルユーザーインターフェース（GUI）を直接操作する能力です。

具体的には次のような操作が可能です。

• マウスカーソルの移動
• ボタンやメニューのクリック
• テキスト入力
• アプリ設定の変更

従来の自動化ツールの多くはAPIやコマンドラインに依存しますが、Computer Useでは人間と同じように画面を見て操作する形になります。

この仕組みにより、次のような用途が想定されています。

• GUIアプリのテスト
• ブラウザ操作の自動化
• デスクトップワークフローの実行
• APIがないアプリの操作

レポートでは、エージェントは画面を視覚的入力として認識し、クリックやキーボード入力を実行することで操作すると説明されています。

Macがロックされても動作する「Remote Computer Use」

2026年5月21日のアップデートでは、Macがロックされた後でもCodexがアプリ操作を続けられる機能が追加されました。

さらに、スマートフォンのChatGPTアプリを通じてCodex Mobileからリモート操作することも可能です。

これまでのAI自動操作システムには次の制限がありました。

• PCがロックされていると停止する
• 画面がオンである必要がある
• AIがライブ画面を常に監視する必要がある

Remote Computer Useはこれらの制限を取り除き、長時間の自動タスクや遠隔操作を可能にするとされています。

ただし、

• ロック状態でも入力を維持する方法
• 画面オフ時の視覚コンテキスト取得方法

といった内部設計の詳細は公開されていません。

CodexでRemote Computer Useを有効化する方法

機能はCodexデスクトップアプリの設定から有効化できます。

1. Computer Useプラグインをインストール

Codexアプリで次の操作を行います。

• **Settings（Cmd + ,）**を開く
• Computer Useを選択
• Installをクリック

これでComputer Useプラグインがインストールされます。

2. macOSの権限を許可

初回セットアップでは、macOSが以下の権限を要求します。

• 画面収録（Screen Recording）：アプリ画面を認識するため
• アクセシビリティ（Accessibility）：クリックや入力などの操作を行うため

これらの権限がないとGUI操作はできません。

3. モバイルからのリモート接続を設定

スマートフォンから操作する場合は次の手順です。

• MacのCodexアプリでセットアップ開始
• 「Codex Mobile」を選択
• 表示されたQRコードをChatGPTモバイルアプリでスキャン

これでスマートフォンからタスク開始・確認・承認が可能になります。

Codexに組み込まれたセキュリティ対策

AIがコンピューターを直接操作するため、複数の安全対策が導入されています。

サンドボックス実行

CodexはOSレベルのサンドボックス内で実行され、アクセス可能なファイルや環境が制限されます。

承認ポリシー

重要な操作を行う際には、ユーザーの承認を求めて処理を停止する仕組みがあります。

ネットワークアクセスは初期状態で無効

外部接続によるリスクを減らすため、デフォルトではネットワークアクセスが無効です。

macOSの権限システム

Screen RecordingやAccessibilityなど、OSレベルの権限確認を通じてユーザーが明示的に許可します。

さらに、一部の環境では新しいアプリを操作するたびにユーザーの許可が必要になります。

利用できない地域

公開時点では、Computer Use機能は次の地域では提供されていません。

• 欧州経済領域（EEA）
• 英国
• スイス

OpenAIは理由を詳しく説明していませんが、規制やコンプライアンス対応が影響している可能性があります。

同時に発表された新機能

Goal Mode

Goal Modeは、Codexが長時間にわたって目標を追跡し続ける機能です。

/goal コマンドを使うと、AIが数時間から数日単位でタスクを進め続けます。

Appshots

Appshotsは、別のアプリの状況をCodexに瞬時に共有する機能です。

Macで

• Commandキーを2つ同時に押す

と、次の情報が送信されます。

• アクティブウィンドウのスクリーンショット
• 画面から抽出されたテキスト

これにより、ユーザーが手動でコピー＆ペーストする必要がなくなります。

セキュリティ専門家が懸念するポイント

AIにコンピューター操作を任せる仕組みは便利な一方で、いくつかの懸念も指摘されています。

主な論点は次のとおりです。

• AIがユーザーと同等の権限でアプリ操作できること
• 画面内容が処理のために送信される可能性
• 企業環境での管理（MDM・権限管理）の複雑化

特に企業環境では、許可するアプリのホワイトリスト管理やポリシー制御が重要になると指摘されています。

なぜこの機能が注目されているのか

Remote Computer Useは、AIの役割を大きく変える可能性があります。

これまでのAIツールは「質問に答える」存在でしたが、今後は

• ソフトウェアを実際に操作する
• ワークフローを自動実行する
• 長時間タスクを継続する

といった実行型エージェントへ進化していくと考えられています。

Goal Modeのような長時間タスク機能と組み合わさることで、AIが開発・テスト・業務自動化をバックグラウンドで進める環境が現実に近づいています。

「Computer Use」とは何か

CodexのComputer Use機能は、AIがmacOSのグラフィカルユーザーインターフェース（GUI）を直接操作する能力です。

具体的には次のような操作が可能です。

• マウスカーソルの移動
• ボタンやメニューのクリック
• テキスト入力
• アプリ設定の変更

従来の自動化ツールの多くはAPIやコマンドラインに依存しますが、Computer Useでは人間と同じように画面を見て操作する形になります。

この仕組みにより、次のような用途が想定されています。

• GUIアプリのテスト
• ブラウザ操作の自動化
• デスクトップワークフローの実行
• APIがないアプリの操作

レポートでは、エージェントは画面を視覚的入力として認識し、クリックやキーボード入力を実行することで操作すると説明されています。

Macがロックされても動作する「Remote Computer Use」

2026年5月21日のアップデートでは、Macがロックされた後でもCodexがアプリ操作を続けられる機能が追加されました。

さらに、スマートフォンのChatGPTアプリを通じてCodex Mobileからリモート操作することも可能です。

これまでのAI自動操作システムには次の制限がありました。

• PCがロックされていると停止する
• 画面がオンである必要がある
• AIがライブ画面を常に監視する必要がある

Remote Computer Useはこれらの制限を取り除き、長時間の自動タスクや遠隔操作を可能にするとされています。

ただし、

• ロック状態でも入力を維持する方法
• 画面オフ時の視覚コンテキスト取得方法

といった内部設計の詳細は公開されていません。

CodexでRemote Computer Useを有効化する方法

機能はCodexデスクトップアプリの設定から有効化できます。

1. Computer Useプラグインをインストール

Codexアプリで次の操作を行います。

• **Settings（Cmd + ,）**を開く
• Computer Useを選択
• Installをクリック

これでComputer Useプラグインがインストールされます。

2. macOSの権限を許可

初回セットアップでは、macOSが以下の権限を要求します。

• 画面収録（Screen Recording）：アプリ画面を認識するため
• アクセシビリティ（Accessibility）：クリックや入力などの操作を行うため

これらの権限がないとGUI操作はできません。

3. モバイルからのリモート接続を設定

スマートフォンから操作する場合は次の手順です。

• MacのCodexアプリでセットアップ開始
• 「Codex Mobile」を選択
• 表示されたQRコードをChatGPTモバイルアプリでスキャン

これでスマートフォンからタスク開始・確認・承認が可能になります。

Codexに組み込まれたセキュリティ対策

AIがコンピューターを直接操作するため、複数の安全対策が導入されています。

サンドボックス実行

CodexはOSレベルのサンドボックス内で実行され、アクセス可能なファイルや環境が制限されます。

承認ポリシー

重要な操作を行う際には、ユーザーの承認を求めて処理を停止する仕組みがあります。

ネットワークアクセスは初期状態で無効

外部接続によるリスクを減らすため、デフォルトではネットワークアクセスが無効です。

macOSの権限システム

Screen RecordingやAccessibilityなど、OSレベルの権限確認を通じてユーザーが明示的に許可します。

さらに、一部の環境では新しいアプリを操作するたびにユーザーの許可が必要になります。

利用できない地域

公開時点では、Computer Use機能は次の地域では提供されていません。

• 欧州経済領域（EEA）
• 英国
• スイス

OpenAIは理由を詳しく説明していませんが、規制やコンプライアンス対応が影響している可能性があります。

同時に発表された新機能

Goal Mode

Goal Modeは、Codexが長時間にわたって目標を追跡し続ける機能です。

/goal コマンドを使うと、AIが数時間から数日単位でタスクを進め続けます。

Appshots

Appshotsは、別のアプリの状況をCodexに瞬時に共有する機能です。

Macで

• Commandキーを2つ同時に押す

と、次の情報が送信されます。

• アクティブウィンドウのスクリーンショット
• 画面から抽出されたテキスト

これにより、ユーザーが手動でコピー＆ペーストする必要がなくなります。

セキュリティ専門家が懸念するポイント

AIにコンピューター操作を任せる仕組みは便利な一方で、いくつかの懸念も指摘されています。

主な論点は次のとおりです。

• AIがユーザーと同等の権限でアプリ操作できること
• 画面内容が処理のために送信される可能性
• 企業環境での管理（MDM・権限管理）の複雑化

特に企業環境では、許可するアプリのホワイトリスト管理やポリシー制御が重要になると指摘されています。

なぜこの機能が注目されているのか

Remote Computer Useは、AIの役割を大きく変える可能性があります。

これまでのAIツールは「質問に答える」存在でしたが、今後は

• ソフトウェアを実際に操作する
• ワークフローを自動実行する
• 長時間タスクを継続する

といった実行型エージェントへ進化していくと考えられています。

Goal Modeのような長時間タスク機能と組み合わさることで、AIが開発・テスト・業務自動化をバックグラウンドで進める環境が現実に近づいています。