Як OpenAI Codex отримав змогу керувати Mac навіть після блокування — усе, що відомо

Що таке "Computer Use" насправді

Можливість Computer Use дозволяє AI-агенту взаємодіяти з графічними застосунками macOS так, як це робить людина: спостерігати за інтерфейсом та виконувати дії — клацати кнопки, вводити текст у поля, навігувати меню.

Замість того, щоб покладатися лише на API або інструменти командного рядка, система може безпосередньо працювати з графічним інтерфейсом. Це означає, що вона здатна автоматизувати завдання всередині десктопних застосунків, запускати робочі процеси в браузері, тестувати GUI-програми або змінювати налаштування застосунків, які недоступні через інші інтеграції.

Згідно з описами функції, агент сприймає робочий стіл візуально та виконує дії, як-от рухи курсора, кліки та натискання клавіш, працюючи у фоновому режимі.

Віддалене керування після блокування Mac

Ключова зміна в оновленні від 21 травня полягає в тому, що Codex може продовжувати використовувати застосунки macOS навіть після блокування комп'ютера, і ним можна керувати віддалено з підключеного мобільного пристрою через Codex Mobile.

Раніше системи AI "computer use" вимагали:

• Комп'ютер залишався розблокованим
• Екран мав бути увімкненим
• Агент мав спостерігати за живим дисплеєм

Нова функція знімає це обмеження. У примітках до релізу зазначено, що Codex може продовжувати використовувати десктопні застосунки після блокування Mac, що відкриває шлях до довготривалих автоматизованих завдань або сценаріїв віддаленого керування.

Втім, конкретний технічний механізм, який це уможливлює, публічно не задокументовано. Наявні джерела підтверджують функціональність, але не описують, як саме підтримується введення даних та візуальний доступ у macOS, коли дисплей вимкнено.

Як увімкнути Remote Computer Use у застосунку Codex

Користувачі активують функцію через процес налаштування десктопного застосунку Codex.

1. Встановіть плагін Computer Use

У застосунку Codex:

• Відкрийте Налаштування (Cmd + ,)
• Перейдіть до розділу Computer Use
• Натисніть Встановити, щоб інсталювати плагін Computer Use.

2. Надайте дозволи macOS

Під час налаштування macOS запросить системні дозволи. Користувач має схвалити:

• Screen Recording (Запис екрана) — дозволяє Codex переглядати інтерфейси застосунків
• Accessibility (Доступність) — дозволяє Codex керувати елементами інтерфейсу, такими як кліки та введення тексту.

Ці дозволи необхідні, оскільки агент взаємодіє з графічним інтерфейсом безпосередньо.

3. Налаштуйте віддалений доступ до хосту

Щоб дозволити віддалене керування з іншого пристрою:

• Запустіть процес налаштування у застосунку Codex на хост-комп'ютері Mac
• Виберіть опцію підключення мобільного пристрою
• Відскануйте показаний QR-код за допомогою мобільного застосунку ChatGPT, щоб завершити сполучення.

Після підключення користувачі можуть запускати, спрямовувати та перевіряти завдання Codex віддалено зі свого телефона, поки хост-комп'ютер Mac виконує автоматизацію.

Безпекові механізми, вбудовані в Codex

Оскільки AI-агент, який керує комп'ютером, несе очевидні ризики, OpenAI додала кілька рівнів захисту.

Пісочниця (Sandbox)

Codex працює в ізольованому середовищі на рівні ОС, яке обмежує доступ до локальних ресурсів, зазвичай звужуючи дії до поточного робочого простору або дозволеного середовища.

Політика підтвердження

Політика підтвердження (approval policy) визначає, коли агент має зупинитися та запитати дозвіл користувача, перш ніж продовжити. Це дозволяє рутинним операціям виконуватися автоматично, тоді як дії з вищим ризиком потребують підтвердження людини.

Мережевий доступ вимкнено за замовчуванням

За замовчуванням Codex працює без доступу до мережі, що зменшує ймовірність небажаних зовнішніх з'єднань під час автоматизованих завдань.

Явні дозволи застосунків

Система також покладається на запити дозволів macOS — такі як Screen Recording та Accessibility — щоб гарантувати, що користувач явно авторизував керування інтерфейсом.

Крім того, деякі реалізації вимагають, щоб користувач схвалював кожен новий застосунок, перш ніж Codex зможе з ним взаємодіяти.

Регіональні обмеження доступності

На момент запуску Computer Use у застосунку Codex обмежено macOS і недоступно в кількох регіонах.

Документація OpenAI зазначає, що функція недоступна в:

• Європейській економічній зоні (ЄЕЗ)
• Великій Британії
• Швейцарії.

Компанія публічно не надала детального пояснення цих обмежень, хоча регуляторні та комплаєнс-фактори часто є причиною на ранніх етапах впровадження функцій.

Інші функції, анонсовані разом із Remote Computer Use

Те саме оновлення представило кілька додаткових можливостей, які розширюють Codex далеко за межі простої допомоги в кодуванні.

Режим мети (Goal Mode)

Режим мети дозволяє Codex переслідувати постійну ціль протягом тривалого часу, потенційно працюючи годинами або днями, поки завдання не буде виконано або не потребуватиме підтвердження. Користувачі запускають його командою /goal в інтерфейсі Codex.

Appshots

Appshots — це швидкий спосіб надати Codex контекст з іншого застосунку. Натискання обох клавіш Command захоплює активне вікно та надсилає:

• Знімок екрана вікна
• Вилучений текст з інтерфейсу

Це дозволяє Codex розуміти, що відбувається в іншому застосунку, без ручного копіювання чи пояснень.

Що залишається незрозумілим

Попри функціональні можливості, кілька деталей залишаються публічно не задокументованими:

• Точний технічний метод, який дозволяє Codex керувати застосунками macOS, коли Mac заблоковано або дисплей вимкнено
• Внутрішня архітектура, яка використовується для підтримки візуального контексту та керування введенням у такому стані
• Детальні аналізи ризиків для підприємств від сторонніх дослідників безпеки

Наявна документація підтверджує функціональність та процес налаштування, але не пояснює повністю базову архітектуру системи.

Чому Remote Computer Use має значення

Ця функція сигналізує про зсув у бік постійних AI-агентів, які працюють безпосередньо в реальних обчислювальних середовищах. Замість того, щоб давати інструкції та чекати на результати, користувачі можуть дозволити AI запускати програмне забезпечення, тестувати інтерфейси та автоматизувати робочі процеси безперервно у фоновому режимі.

Якщо ця технологія набуде широкого поширення, такі можливості, як Remote Computer Use, можуть розмити межу між традиційними інструментами автоматизації та автономними програмними агентами — особливо з огляду на те, що режим Goal Mode дозволяє Codex виконувати завдання протягом тривалих періодів.