In pratica, l'agente può:

• Automatizzare flussi di lavoro all'interno di app desktop
• Eseguire test su interfacce grafiche (GUI)
• Navigare in browser e simulatori
• Modificare impostazioni di sistema non accessibili tramite plugin

L'agente percepisce lo schermo come un flusso visivo e agisce di conseguenza, con lo stesso livello di accesso dell'utente che ha effettuato l'accesso.

La novità: controllo anche da remoto e a Mac bloccato

Il vero salto di qualità, annunciato con l'aggiornamento del 21 maggio, è che Codex può continuare a usare le app del Mac anche dopo che il computer viene bloccato. Inoltre, può essere controllato a distanza da uno smartphone tramite Codex Mobile.

Le versioni precedenti di sistemi simili richiedevano:

• Il computer sbloccato
• Lo schermo acceso
• La sessione utente attiva e visibile

Ora questo limite è stato superato. I documenti ufficiali confermano la funzionalità, ma non spiegano nei dettagli il meccanismo tecnico che permette a Codex di mantenere il controllo visivo e di input quando il display è spento.

Come attivare Remote Computer Use sull'app Codex

L'attivazione è semplice e guidata dall'app stessa.

1. Installa il plug-in Computer Use

Apri l'app Codex, vai su Impostazioni (Cmd + ,), quindi seleziona la sezione Computer Use e clicca su Installa.

2. Concedi i permessi a macOS

Durante l'installazione, macOS richiederà due autorizzazioni fondamentali:

• Registrazione schermo – permette a Codex di vedere le interfacce delle applicazioni
• Accessibilità – consente a Codex di controllare gli elementi dell'interfaccia (clic, digitazione)

Entrambi i permessi sono obbligatori perché l'agente opera direttamente sull'interfaccia grafica.

3. Configura l'accesso remoto

Per controllare Codex da un altro dispositivo (smartphone o tablet):

• Apri l'app Codex sul Mac che farà da host
• Scegli l'opzione per collegare un dispositivo mobile
• Inquadra il codice QR visualizzato con l'app ChatGPT sul telefono

Una volta accoppiato, puoi avviare, dirigere e monitorare le attività di Codex in remoto, mentre il Mac esegue le automazioni in background.

Sicurezza: le protezioni integrate

OpenAI è consapevole dei rischi legati al controllo remoto del computer da parte di un'IA e ha previsto diverse misure di sicurezza.

Sandboxing

Codex opera all'interno di una sandbox imposta dal sistema operativo, che limita l'accesso a file, rete e comandi. Di solito, l'agente può agire solo sull'area di lavoro corrente.

Politiche di approvazione

Una politica di approvazione determina quando l'agente deve fermarsi e chiedere il permesso all'utente prima di proseguire. Le operazioni a basso rischio procedono in automatico, mentre quelle più delicate richiedono una conferma esplicita.

Rete disabilitata di default

Per impostazione predefinita, Codex non ha accesso alla rete, riducendo il rischio di connessioni esterne indesiderate durante le automazioni.

Autorizzazioni esplicite per ogni app

Oltre ai permessi di sistema, Codex richiede l'approvazione dell'utente prima di interagire con ogni nuova applicazione.

Controllo centralizzato per le aziende

Gli amministratori IT possono imporre configurazioni obbligatorie tramite profili MDM (Mobile Device Management) e file di configurazione specifici, garantendo che la sicurezza venga rispettata a livello aziendale.

Restrizioni geografiche: non disponibile in Italia

Al lancio, Computer Use nell'app Codex è limitato a macOS e non è disponibile in diverse regioni.

La funzione non è attiva in:

• Spazio Economico Europeo (SEE), che include Italia e tutti i paesi UE
• Regno Unito
• Svizzera

OpenAI non ha fornito una spiegazione ufficiale dettagliata per queste restrizioni, ma è probabile che siano legate a considerazioni normative e di conformità, tipiche dei primi roll-out di funzionalità complesse.

Altre novità dell'aggiornamento

Oltre al Remote Computer Use, l'update ha introdotto:

Goal Mode

La Modalità Obiettivo consente a Codex di perseguire un compito per ore o giorni, fino al completamento o fino a quando non serve un'approvazione. Si attiva con il comando /goal nell'interfaccia di Codex.

Appshots

Appshots è una scorciatoia rapidissima per dare contesto a Codex. Premendo entrambi i tasti Command (⌘), l'app cattura la finestra attiva e invia a Codex:

• Uno screenshot della finestra
• Il testo estratto dall'interfaccia

Codex può così capire cosa sta succedendo in un'altra app senza che tu debba copiare e incollare manualmente.

Cosa resta poco chiaro

Nonostante le potenzialità, alcuni aspetti tecnici rimangono non documentati pubblicamente:

• Il metodo preciso con cui Codex controlla le app quando il Mac è bloccato e lo schermo spento
• L'architettura interna utilizzata per mantenere il contesto visivo e il controllo degli input in quello stato
• Analisi di rischio dettagliate da parte di ricercatori di sicurezza indipendenti

Perché è importante

Il Remote Computer Use segna un passo avanti verso agenti IA persistenti che operano direttamente in ambienti di calcolo reali. Invece di dare istruzioni e attendere risultati, gli utenti possono lasciare che un'IA esegua software, testi interfacce e automatizzi flussi di lavoro in modo continuo e in background.

Se questa tecnologia verrà adottata su larga scala, potrebbe ridefinire il confine tra gli strumenti di automazione tradizionali e gli agenti software autonomi — specialmente in combinazione con funzionalità come Goal Mode, che permettono a Codex di perseguire obiettivi complessi per lunghi periodi.

In pratica, l'agente può:

• Automatizzare flussi di lavoro all'interno di app desktop
• Eseguire test su interfacce grafiche (GUI)
• Navigare in browser e simulatori
• Modificare impostazioni di sistema non accessibili tramite plugin

L'agente percepisce lo schermo come un flusso visivo e agisce di conseguenza, con lo stesso livello di accesso dell'utente che ha effettuato l'accesso.

La novità: controllo anche da remoto e a Mac bloccato

Il vero salto di qualità, annunciato con l'aggiornamento del 21 maggio, è che Codex può continuare a usare le app del Mac anche dopo che il computer viene bloccato. Inoltre, può essere controllato a distanza da uno smartphone tramite Codex Mobile.

Le versioni precedenti di sistemi simili richiedevano:

• Il computer sbloccato
• Lo schermo acceso
• La sessione utente attiva e visibile

Ora questo limite è stato superato. I documenti ufficiali confermano la funzionalità, ma non spiegano nei dettagli il meccanismo tecnico che permette a Codex di mantenere il controllo visivo e di input quando il display è spento.

Come attivare Remote Computer Use sull'app Codex

L'attivazione è semplice e guidata dall'app stessa.

1. Installa il plug-in Computer Use

Apri l'app Codex, vai su Impostazioni (Cmd + ,), quindi seleziona la sezione Computer Use e clicca su Installa.

2. Concedi i permessi a macOS

Durante l'installazione, macOS richiederà due autorizzazioni fondamentali:

• Registrazione schermo – permette a Codex di vedere le interfacce delle applicazioni
• Accessibilità – consente a Codex di controllare gli elementi dell'interfaccia (clic, digitazione)

Entrambi i permessi sono obbligatori perché l'agente opera direttamente sull'interfaccia grafica.

3. Configura l'accesso remoto

Per controllare Codex da un altro dispositivo (smartphone o tablet):

• Apri l'app Codex sul Mac che farà da host
• Scegli l'opzione per collegare un dispositivo mobile
• Inquadra il codice QR visualizzato con l'app ChatGPT sul telefono

Una volta accoppiato, puoi avviare, dirigere e monitorare le attività di Codex in remoto, mentre il Mac esegue le automazioni in background.

Sicurezza: le protezioni integrate

OpenAI è consapevole dei rischi legati al controllo remoto del computer da parte di un'IA e ha previsto diverse misure di sicurezza.

Sandboxing

Codex opera all'interno di una sandbox imposta dal sistema operativo, che limita l'accesso a file, rete e comandi. Di solito, l'agente può agire solo sull'area di lavoro corrente.

Politiche di approvazione

Una politica di approvazione determina quando l'agente deve fermarsi e chiedere il permesso all'utente prima di proseguire. Le operazioni a basso rischio procedono in automatico, mentre quelle più delicate richiedono una conferma esplicita.

Rete disabilitata di default

Per impostazione predefinita, Codex non ha accesso alla rete, riducendo il rischio di connessioni esterne indesiderate durante le automazioni.

Autorizzazioni esplicite per ogni app

Oltre ai permessi di sistema, Codex richiede l'approvazione dell'utente prima di interagire con ogni nuova applicazione.

Controllo centralizzato per le aziende

Gli amministratori IT possono imporre configurazioni obbligatorie tramite profili MDM (Mobile Device Management) e file di configurazione specifici, garantendo che la sicurezza venga rispettata a livello aziendale.

Restrizioni geografiche: non disponibile in Italia

Al lancio, Computer Use nell'app Codex è limitato a macOS e non è disponibile in diverse regioni.

La funzione non è attiva in:

• Spazio Economico Europeo (SEE), che include Italia e tutti i paesi UE
• Regno Unito
• Svizzera

OpenAI non ha fornito una spiegazione ufficiale dettagliata per queste restrizioni, ma è probabile che siano legate a considerazioni normative e di conformità, tipiche dei primi roll-out di funzionalità complesse.

Altre novità dell'aggiornamento

Oltre al Remote Computer Use, l'update ha introdotto:

Goal Mode

La Modalità Obiettivo consente a Codex di perseguire un compito per ore o giorni, fino al completamento o fino a quando non serve un'approvazione. Si attiva con il comando /goal nell'interfaccia di Codex.

Appshots

Appshots è una scorciatoia rapidissima per dare contesto a Codex. Premendo entrambi i tasti Command (⌘), l'app cattura la finestra attiva e invia a Codex:

• Uno screenshot della finestra
• Il testo estratto dall'interfaccia

Codex può così capire cosa sta succedendo in un'altra app senza che tu debba copiare e incollare manualmente.

Cosa resta poco chiaro

Nonostante le potenzialità, alcuni aspetti tecnici rimangono non documentati pubblicamente:

• Il metodo preciso con cui Codex controlla le app quando il Mac è bloccato e lo schermo spento
• L'architettura interna utilizzata per mantenere il contesto visivo e il controllo degli input in quello stato
• Analisi di rischio dettagliate da parte di ricercatori di sicurezza indipendenti

Perché è importante

Il Remote Computer Use segna un passo avanti verso agenti IA persistenti che operano direttamente in ambienti di calcolo reali. Invece di dare istruzioni e attendere risultati, gli utenti possono lasciare che un'IA esegua software, testi interfacce e automatizzi flussi di lavoro in modo continuo e in background.

Se questa tecnologia verrà adottata su larga scala, potrebbe ridefinire il confine tra gli strumenti di automazione tradizionali e gli agenti software autonomi — specialmente in combinazione con funzionalità come Goal Mode, che permettono a Codex di perseguire obiettivi complessi per lunghi periodi.