OpenAI Codex nyní umí ovládat macOS aplikace i po zamknutí Macu – co to znamená pro uživatele?

Místo spoléhání se pouze na API nebo příkazový řádek může systém pracovat přímo s grafickým uživatelským rozhraním. To znamená, že dokáže automatizovat úkoly v desktopových aplikacích, spouštět pracovní postupy v prohlížeči, testovat GUI software nebo upravovat nastavení aplikací, která nejsou přístupná přes jiné integrace.

Zprávy popisující tuto funkci uvádějí, že agent vnímá plochu vizuálně a provádí akce, jako jsou pohyby kurzoru, klikání a stisky kláves, a to vše na pozadí.

Ovládání na dálku po zamknutí Macu

Zásadní změnou v aktualizaci z 21. května je, že Codex může pokračovat v používání macOS aplikací i poté, co se Mac zamkne, a lze jej ovládat na dálku z připojeného mobilního zařízení prostřednictvím Codex Mobile.

Starší verze systémů pro „používání počítače“ umělé inteligence obvykle vyžadovaly:

• Aby počítač zůstal odemčený
• Aby obrazovka zůstala zapnutá
• Aby agent mohl sledovat živé zobrazení

Nová funkce toto omezení odstraňuje. Poznámky k vydání uvádějí, že Codex může nadále používat desktopové aplikace i po zamknutí Macu, což umožňuje dlouhodobější automatizované úkoly nebo scénáře dálkového ovládání.

Přesný technický mechanismus, který to umožňuje, však nebyl veřejně zdokumentován. Dostupné zdroje potvrzují samotnou schopnost, ale nepopisují, jak je zachován vstup do macOS a vizuální přístup, když je displej vypnutý.

Jak povolit Remote Computer Use v aplikaci Codex

Uživatelé funkci aktivují prostřednictvím nastavení desktopové aplikace Codex.

1. Instalace pluginu Computer Use

V aplikaci Codex:

• Otevřete Nastavení (Cmd + ,)
• Přejděte do sekce Computer Use
• Klikněte na Instalovat pro instalaci pluginu Computer Use.

2. Udělení oprávnění macOS

Během nastavení si macOS vyžádá systémová oprávnění. Uživatel musí schválit:

• Nahrávání obrazovky (Screen Recording) – umožňuje Codexu vidět rozhraní aplikací
• Usnadnění (Accessibility) – umožňuje Codexu ovládat prvky rozhraní, jako jsou klikání a psaní.

Tato oprávnění jsou nezbytná, protože agent pracuje přímo s grafickým rozhraním.

3. Konfigurace vzdáleného přístupu k hostitelskému počítači

Chcete-li povolit dálkové ovládání z jiného zařízení:

• Spusťte proces nastavení v aplikaci Codex na hostitelském Macu
• Vyberte možnost připojení mobilního zařízení
• Naskenujte zobrazený QR kód pomocí mobilní aplikace ChatGPT pro spárování.

Po připojení mohou uživatelé spouštět, řídit a kontrolovat úkoly Codexu na dálku ze svého telefonu, zatímco hostitelský Mac provádí automatizaci.

Bezpečnostní záruky zabudované v Codexu

Vzhledem k tomu, že AI agent ovládající počítač s sebou nese zjevná rizika, OpenAI přidala několik vrstev ochrany.

Omezení sandboxu

Codex běží v sandboxu vynuceném operačním systémem, který omezuje, k čemu má lokálně přístup – typicky pouze k aktuálnímu pracovnímu prostoru nebo povolenému prostředí.

Zásady schvalování

Zásada schvalování určuje, kdy se agent musí zastavit a požádat uživatele o povolení, než bude pokračovat. To umožňuje běžným operacím probíhat automaticky, zatímco rizikovější akce vyžadují lidské potvrzení.

Síťový přístup ve výchozím nastavení vypnutý

Codex ve výchozím nastavení běží bez povoleného síťového přístupu, což snižuje pravděpodobnost nechtěného externího připojení během automatizovaných úkolů.

Explicitní oprávnění aplikací

Systém se také spoléhá na výzvy macOS k udělení oprávnění – jako je přístup k nahrávání obrazovky a usnadnění – aby bylo zajištěno, že uživatel explicitně autorizuje ovládání rozhraní.

Některé implementace navíc vyžadují, aby uživatel schválil každou novou aplikaci, než s ní Codex může pracovat.

Omezení regionální dostupnosti

Při spuštění je Computer Use v aplikaci Codex omezeno na macOS a není k dispozici v několika regionech.

Dokumentace OpenAI uvádí, že funkce není dostupná v:

• Evropském hospodářském prostoru (EHP)
• Spojeném království
• Švýcarsku.

Společnost neposkytla veřejné podrobné vysvětlení těchto omezení, i když regulační a právní aspekty jsou často faktorem při prvotním zavádění funkcí.

Další funkce oznámené společně s Remote Computer Use

Stejná aktualizace přinesla několik dalších schopností, které rozšiřují Codex nad rámec pouhé pomoci s kódováním.

Režim cílů (Goal Mode)

Režim cílů umožňuje Codexu sledovat trvalý cíl po delší dobu, potenciálně hodiny nebo dny, dokud úkol nedokončí nebo nevyžaduje schválení. Uživatelé jej spouštějí příkazem /goal v rozhraní Codexu.

Appshots

Appshots poskytují rychlý způsob, jak poskytnout Codexu kontext z jiné aplikace. Stisknutím obou kláves Command se zachytí aktivní okno a odešle se:

• Snímek obrazovky okna
• Extrahovaný text z rozhraní

To umožňuje Codexu pochopit, co se děje v jiné aplikaci, bez ručního kopírování nebo vysvětlování.

Co zůstává nejasné

Navzdory schopnostem funkce zůstává několik podrobností veřejně nezdokumentováno:

• Přesná technická metoda, která umožňuje Codexu ovládat macOS aplikace, když je Mac zamknutý nebo displej vypnutý
• Interní architektura použitá k udržení vizuálního kontextu a vstupního ovládání v tomto stavu
• Podrobné analýzy rizik pro podniky od nezávislých bezpečnostních výzkumníků

Dostupná dokumentace potvrzuje funkčnost a proces nastavení, ale plně nevysvětluje základní návrh systému.

Proč na Remote Computer Use záleží

Tato funkce signalizuje posun směrem k trvalým AI agentům, kteří pracují přímo v reálném výpočetním prostředí. Místo zadávání instrukcí a čekání na výsledky mohou uživatelé nechat AI spouštět software, testovat rozhraní a automatizovat pracovní postupy nepřetržitě na pozadí.

Pokud bude široce přijata, schopnosti jako Remote Computer Use by mohly rozmazat hranici mezi tradičními nástroji pro automatizaci a autonomními softwarovými agenty – zejména díky funkcím, jako je Režim cílů, který umožňuje Codexu sledovat úkoly po dlouhou dobu.