OpenAI Codex neemt de controle over je Mac over – ook als het scherm op zwart staat

Codex’ Computer Use-mogelijkheid stelt de AI-agent in staat om te interageren met grafische macOS-applicaties zoals een mens dat zou doen – door de interface te observeren en acties uit te voeren zoals klikken op knoppen, typen in velden en navigeren door menu’s.

In plaats van alleen te vertrouwen op API’s of commandoregel-tools, kan het systeem de grafische gebruikersinterface direct bedienen. Dat betekent dat het taken kan automatiseren in desktop-apps, browserworkflows kan uitvoeren, GUI-software kan testen of applicatie-instellingen kan aanpassen die niet via andere integraties toegankelijk zijn.

Rapporten die de functie beschrijven, leggen uit dat de agent het bureaublad visueel waarneemt en acties onderneemt zoals cursor-bewegingen, klikken en toetsaanslagen, terwijl hij op de achtergrond draait.

Remote Computer Use nadat de Mac is vergrendeld

Een belangrijke wijziging in de update van 21 mei is dat Codex macOS-applicaties kan blijven gebruiken, zelfs nadat de Mac is vergrendeld, en dat hij op afstand kan worden bestuurd vanaf een verbonden mobiel apparaat via Codex Mobile.

Eerdere versies van AI-‘computergebruik’-systemen vereisten doorgaans:

• Dat de computer ontgrendeld bleef
• Dat het scherm aan bleef
• Dat de agent de live-weergave kon observeren

De nieuwe functie verwijdert die beperking. Release notes vermelden dat Codex desktop-apps kan blijven gebruiken nadat de Mac is vergrendeld, wat langere geautomatiseerde taken of externe bedieningsworkflows mogelijk maakt.

Het specifieke technische mechanisme dat dit mogelijk maakt, is echter niet openbaar gedocumenteerd. De beschikbare bronnen bevestigen de mogelijkheid, maar beschrijven niet hoe de macOS-invoer en visuele toegang behouden blijven wanneer het scherm uit staat.

Zo schakel je Remote Computer Use in de Codex-app in

Gebruikers schakelen de functie in via het installatieproces van de Codex-desktopapp.

1. Installeer de Computer Use-plugin

In de Codex-app:

• Open Instellingen (Cmd + ,)
• Ga naar Computer Use
• Klik op Installeren om de Computer Use-plugin te installeren.

2. Verleen macOS-machtigingen

Tijdens de installatie zal macOS om systeem-machtigingen vragen. Gebruikers moeten goedkeuren:

• Schermopname – hiermee kan Codex applicatie-interfaces bekijken
• Toegankelijkheid – hiermee kan Codex UI-elementen zoals klikken en typen bedienen.

Deze machtigingen zijn vereist omdat de agent direct met de grafische interface interageert.

3. Configureer externe toegang tot de hostmachine

Om externe bediening vanaf een ander apparaat mogelijk te maken:

• Start het installatieproces in de Codex-app op de host-Mac
• Kies de optie om een mobiel apparaat te verbinden
• Scan de weergegeven QR-code met de ChatGPT-mobiele app om de koppeling te voltooien.

Zodra de verbinding tot stand is gebracht, kunnen gebruikers Codex-taken starten, sturen en bekijken vanaf hun telefoon, terwijl de host-Mac de automatisering uitvoert.

Veiligheidsmaatregelen in Codex

Omdat een AI-agent die een computer bestuurt duidelijke risico's met zich meebrengt, heeft OpenAI verschillende beschermingslagen toegevoegd.

Sandbox-beperkingen

Codex draait in een door het besturingssysteem afgedwongen sandbox die beperkt wat het lokaal kan benaderen. De acties blijven doorgaans beperkt tot de huidige werkruimte of toegestane omgeving.

Goedkeuringsbeleid

Een goedkeuringsbeleid bepaalt wanneer de agent moet stoppen en toestemming aan de gebruiker moet vragen voordat hij verdergaat. Hierdoor kunnen routinematige handelingen automatisch verlopen, terwijl risicovollere acties menselijke bevestiging vereisen.

Netwerktoegang standaard uitgeschakeld

Standaard draait Codex zonder dat netwerktoegang is ingeschakeld, waardoor de kans op onbedoelde externe verbindingen tijdens geautomatiseerde taken wordt verkleind.

Expliciete app-machtigingen

Het systeem vertrouwt ook op macOS-machtigingsverzoeken – zoals Schermopname en Toegankelijkheid – om ervoor te zorgen dat de gebruiker expliciet toestemming geeft voor interface-bediening.

Bovendien moeten gebruikers bij sommige implementaties elke nieuwe applicatie goedkeuren voordat Codex ermee kan interageren.

Regionale beschikbaarheidsbeperkingen

Bij de lancering is Computer Use in de Codex-app beperkt tot macOS en niet beschikbaar in verschillende regio's.

OpenAI-documentatie vermeldt dat de functie niet beschikbaar is in:

• De Europese Economische Ruimte (EER)
• Het Verenigd Koninkrijk
• Zwitserland.

Het bedrijf heeft geen gedetailleerde uitleg gegeven voor deze beperkingen, hoewel regelgevings- en compliance-overwegingen vaak een rol spelen bij vroege uitrol van functies.

Andere functies die tegelijkertijd zijn aangekondigd

Dezelfde update introduceerde verschillende extra mogelijkheden die Codex verder uitbreiden dan eenvoudige codeer-assistentie.

Doelmodus (Goal Mode)

Doelmodus stelt Codex in staat om een aanhoudend doel over langere perioden na te streven, mogelijk uren of dagen, totdat de taak is voltooid of goedkeuring vereist. Gebruikers starten het met het /goal-commando in de Codex-interface.

Appshots

Appshots bieden een snelle manier om Codex context te geven vanuit een andere applicatie. Door beide Command-toetsen in te drukken, wordt het actieve venster vastgelegd en verzonden:

• Een screenshot van het venster
• Geëxtraheerde tekst uit de interface

Hierdoor kan Codex begrijpen wat er in een andere app gebeurt, zonder handmatig kopiëren of uitleggen.

Wat nog onduidelijk is

Ondanks de mogelijkheden van de functie blijven verschillende details openbaar ongedocumenteerd:

• De precieze technische methode waarmee Codex macOS-apps kan besturen wanneer de Mac is vergrendeld of het scherm uit is
• De interne architectuur die wordt gebruikt om visuele context en invoercontrole in die toestand te behouden
• Gedetailleerde risicoanalyses voor bedrijven van externe beveiligingsonderzoekers

De beschikbare documentatie bevestigt de functionaliteit en het installatieproces, maar geeft geen volledige uitleg over het onderliggende systeemontwerp.

Waarom Remote Computer Use ertoe doet

De functie markeert een verschuiving naar permanente AI-agenten die direct in echte computeromgevingen werken. In plaats van instructies te geven en te wachten op resultaten, kunnen gebruikers een AI software laten runnen, interfaces testen en workflows continu op de achtergrond laten automatiseren.

Als het breed wordt toegepast, zouden mogelijkheden zoals Remote Computer Use de grens kunnen vervagen tussen traditionele automatiseringstools en autonome software-agenten – vooral omdat functies zoals Doelmodus Codex in staat stellen taken over lange tijdsperioden na te streven.