Как функция Remote Computer Use в OpenAI Codex позволяет ИИ управлять macOS‑приложениями даже при заблокированном Mac

OpenAI продолжает развивать идею ИИ‑агентов, которые работают внутри реальной операционной системы, а не просто отвечают на текстовые запросы. Одно из самых обсуждаемых обновлений Codex — функция Remote Computer Use, позволяющая агенту управлять приложениями macOS и продолжать выполнять задачи даже после блокировки компьютера.

Ниже — что известно о том, как работает эта возможность, как её включить и какие ограничения у неё есть.

Что делает функция Computer Use

Базой для Remote Computer Use является функция Computer Use в приложении Codex.

Она позволяет ИИ взаимодействовать с графическим интерфейсом macOS практически так же, как это делает человек. Агент может:

• видеть интерфейс приложения
• перемещать курсор
• нажимать кнопки
• вводить текст
• открывать меню и переключаться между окнами

Таким образом Codex может автоматизировать задачи внутри обычных программ: тестировать интерфейсы, выполнять сценарии в браузере, менять настройки приложений или запускать последовательности действий без API‑интеграций.

По описанию разработчиков, агент воспринимает экран как визуальный поток данных и выполняет действия на основе увиденного. Это отличается от классического удалённого доступа или screen‑sharing — ИИ фактически работает с интерфейсом напрямую.

Работа даже после блокировки Mac

Главное нововведение майского обновления — возможность продолжать использовать приложения даже после блокировки Mac и выключения дисплея.

Раньше большинство подобных систем требовали:

• чтобы компьютер оставался разблокирован
• чтобы экран был включён
• чтобы агент видел активный дисплей

Теперь Codex может продолжать выполнять задачи в фоне, а пользователь может наблюдать за процессом и управлять им удалённо через Codex Mobile на телефоне.

При этом OpenAI не раскрыла точный технический механизм, который позволяет сохранять доступ к интерфейсу и управлению вводом, когда экран заблокирован. Документация подтверждает наличие функции, но архитектурные детали пока не опубликованы.

Как включить Remote Computer Use

Функция активируется через настольное приложение Codex.

1. Установить плагин Computer Use

В приложении Codex:

• откройте Settings (Cmd + ,)
• перейдите в раздел Computer Use
• нажмите Install для установки плагина.

2. Выдать системные разрешения macOS

Во время настройки система запросит доступы безопасности. Нужно разрешить:

• Screen Recording — чтобы Codex мог видеть интерфейс приложений
• Accessibility — чтобы агент мог управлять элементами интерфейса, кликами и вводом.

Без этих разрешений управление приложениями невозможно.

3. Подключить удалённое управление

Чтобы управлять задачами со смартфона:

• запустите настройку удалённого доступа в Codex на Mac
• выберите подключение мобильного устройства
• отсканируйте QR‑код через приложение ChatGPT на телефоне.

После этого пользователь может запускать задачи, отслеживать прогресс и подтверждать действия прямо со смартфона.

Механизмы безопасности

Поскольку ИИ получает доступ к управлению компьютером, в Codex предусмотрено несколько защитных механизмов.

Песочница (sandbox)

Codex работает внутри операционной sandbox‑среды, которая ограничивает доступ к файлам и системным ресурсам. Обычно агент может работать только в пределах текущего рабочего пространства.

Политика подтверждения действий

Система approval policy определяет, какие действия агент может выполнять автоматически, а какие требуют подтверждения пользователя.

Сетевой доступ выключен по умолчанию

По умолчанию агент запускается без доступа к сети, что снижает риск непреднамеренных внешних соединений.

Явные разрешения macOS

Также используется стандартная модель безопасности macOS — доступ к управлению интерфейсом и просмотру экрана нужно явно разрешить через системные настройки.

Кроме того, в некоторых случаях пользователь должен отдельно подтверждать доступ Codex к каждому новому приложению.

Ограничения по регионам

На момент запуска функция Computer Use доступна только на macOS и не работает в некоторых регионах.

Согласно документации OpenAI, она недоступна в:

• странах Европейской экономической зоны (EEA)
• Великобритании
• Швейцарии.

Причины официально не объясняются, но такие ограничения часто связаны с требованиями регулирования и защиты данных.

Другие функции, представленные в том же обновлении

Goal Mode

Goal Mode позволяет Codex работать над задачей длительное время — иногда часы или даже дни — пока она не будет завершена или не потребуется вмешательство пользователя.

Режим запускается командой /goal в интерфейсе Codex.

Appshots

Функция Appshots упрощает передачу контекста из другого приложения.

Если нажать обе клавиши Command, Codex получает:

• скриншот активного окна
• текст, извлечённый из интерфейса

Это позволяет ИИ понимать происходящее в программе без копирования текста или ручного описания ситуации.

Что пока остаётся неизвестным

Несмотря на официальные описания функции, некоторые технические детали пока не раскрываются:

• как именно Codex сохраняет доступ к интерфейсу при заблокированном Mac
• как поддерживается визуальный контекст при выключенном дисплее
• какие архитектурные механизмы используются внутри системы

Документация подтверждает наличие функции и процесс её настройки, но детальное техническое описание архитектуры пока не опубликовано.

Почему это важное изменение

Remote Computer Use показывает более широкую тенденцию: переход от обычных помощников к постоянным ИИ‑агентам, которые работают внутри операционной системы и выполняют реальные задачи.

Вместо того чтобы просто отвечать на запросы, такие системы могут:

• запускать программы
• тестировать интерфейсы
• автоматизировать рабочие процессы
• выполнять длинные цепочки действий без постоянного участия пользователя

В сочетании с функциями вроде Goal Mode это приближает программное обеспечение к модели, где ИИ становится активным участником работы за компьютером, а не просто инструментом для подсказок.