Codexs Computer Use-funktion gør det muligt for AI-agenten at interagere med grafiske macOS-programmer på samme måde som et menneske – ved at observere grænsefladen og udføre handlinger som at klikke på knapper, skrive i felter og navigere i menuer.

I stedet for kun at stole på API'er eller kommandolinjeværktøjer kan systemet betjene den grafiske brugergrænseflade direkte. Det betyder, at det kan automatisere opgaver i skrivebordsprogrammer, køre browser-workflows, teste GUI-software eller justere app-indstillinger, som ikke er tilgængelige via andre integrationer.

Rapporter, der beskriver funktionen, forklarer, at agenten opfatter skrivebordet visuelt og udfører handlinger som cursorbevægelser, klik og tastetryk, mens den kører i baggrunden.

Remote Computer Use efter Mac’en låser

En væsentlig ændring i opdateringen fra 21. maj er, at Codex kan fortsætte med at bruge macOS-programmer, selv efter Mac’en låser, og at den kan styres eksternt fra en tilsluttet mobilenhed via Codex Mobile.

Tidligere versioner af AI-'computer use'-systemer krævede typisk:

• At computeren forblev ulåst
• At skærmen forblev tændt
• At agenten observerede den levende skærm

Den nye funktion fjerner denne begrænsning. Release notes angiver, at Codex kan fortsætte med at bruge skrivebordsprogrammer, efter Mac’en låser, hvilket muliggør længerevarende automatiserede opgaver eller eksterne kontrol-workflows.

Den specifikke tekniske mekanisme, der gør dette muligt, er dog ikke blevet offentligt dokumenteret. De tilgængelige kilder bekræfter funktionaliteten, men beskriver ikke, hvordan macOS-input og visuel adgang opretholdes, når skærmen er slukket.

Sådan aktiverer du Remote Computer Use i Codex-appen

Brugere aktiverer funktionen via opsætningsforløbet i Codex-skrivebordsappen.

1. Installer Computer Use-pluginet

Inde i Codex-appen:

• Åbn Indstillinger (Cmd + ,)
• Gå til Computer Use
• Klik på Installer for at installere Computer Use-pluginet.

2. Giv macOS-tilladelser

Under opsætningen vil macOS bede om systemtilladelser. Brugeren skal godkende:

• Skærmoptagelse – gør det muligt for Codex at se programgrænseflader
• Tilgængelighed – gør det muligt for Codex at styre UI-elementer som klik og tastning.

Disse tilladelser er nødvendige, fordi agenten interagerer direkte med den grafiske grænseflade.

3. Konfigurer fjernadgang til værtsmaskinen

For at tillade fjernstyring fra en anden enhed:

• Start opsætningsforløbet i Codex-appen på værts-Mac’en
• Vælg indstillingen for at tilslutte en mobilenhed
• Scan den viste QR-kode med ChatGPT-mobilappen for at fuldføre parringen.

Når forbindelsen er oprettet, kan brugerne starte, styre og gennemgå Codex-opgaver eksternt fra deres telefon, mens værts-Mac’en kører automatiseringen.

Sikkerhedsforanstaltninger indbygget i Codex

Da en AI-agent, der styrer en computer, indebærer åbenlyse risici, har OpenAI tilføjet flere beskyttelseslag.

Sandbox-begrænsninger

Codex kører i en OS-pålagt sandbox, der begrænser, hvad den kan få adgang til lokalt, typisk til det aktuelle arbejdsområde eller tilladte miljø.

Godkendelsespolitik

En godkendelsespolitik bestemmer, hvornår agenten skal stoppe og bede om brugerens tilladelse, før den fortsætter. Dette gør det muligt for rutinemæssige operationer at forløbe automatisk, mens handlinger med højere risiko kræver menneskelig bekræftelse.

Netværksadgang deaktiveret som standard

Som standard kører Codex uden netværksadgang aktiveret, hvilket reducerer risikoen for utilsigtede eksterne forbindelser under automatiserede opgaver.

Eksplicitte app-tilladelser

Systemet er også afhængigt af macOS-tilladelsespromptninger – såsom Skærmoptagelse og Tilgængelighed – for at sikre, at brugeren eksplicit godkender interface-kontrol.

Derudover kræver nogle implementeringer, at brugeren godkender hver ny app, før Codex kan interagere med den.

Regionale tilgængelighedsbegrænsninger

Ved lanceringen er Computer Use i Codex-appen begrænset til macOS og er ikke tilgængelig i flere regioner.

OpenAI-dokumentationen angiver, at funktionen ikke er tilgængelig i:

• Det Europæiske Økonomiske Samarbejdsområde (EØS)
• Storbritannien
• Schweiz.

Virksomheden har ikke offentligt givet en detaljeret forklaring på disse begrænsninger, selvom regulatoriske og compliance-mæssige overvejelser ofte er faktorer i tidlige funktionslanceringer.

Andre funktioner annonceret sammen med Remote Computer Use

Samme opdatering introducerede flere yderligere funktioner, der udvider Codex ud over simpel kodeassistance.

Mål-tilstand (Goal Mode)

Mål-tilstand gør det muligt for Codex at forfølge et vedvarende mål over længere perioder, potentielt i timer eller dage, indtil opgaven er fuldført eller kræver godkendelse. Brugere starter den med /goal-kommandoen i Codex-grænsefladen.

Appshots

Appshots giver en hurtig måde at give Codex kontekst fra en anden applikation. Ved at trykke på begge Kommando-taster fanges det aktive vindue, og følgende sendes:

• Et skærmbillede af vinduet
• Ekstraheret tekst fra grænsefladen

Dette gør det muligt for Codex at forstå, hvad der sker i en anden app, uden manuel kopiering eller forklaring.

Hvad der stadig er uklart

På trods af funktionens muligheder er flere detaljer stadig ikke offentligt dokumenteret:

• Den præcise tekniske metode, der tillader Codex at styre macOS-apps, når Mac’en er låst, eller skærmen er slukket
• Den interne arkitektur, der bruges til at opretholde visuel kontekst og inputkontrol i denne tilstand
• Detaljerede risikovurderinger for virksomheder fra tredjeparts sikkerhedsforskere

Den tilgængelige dokumentation bekræfter funktionaliteten og opsætningsprocessen, men forklarer ikke fuldt ud det underliggende systemdesign.

Hvorfor Remote Computer Use er vigtigt

Funktionen signalerer et skift mod vedvarende AI-agenter, der opererer direkte i virkelige computer miljøer. I stedet for at give instruktioner og vente på resultater, kan brugere lade en AI køre software, teste grænseflader og automatisere workflows kontinuerligt i baggrunden.

Hvis det bliver bredt anvendt, kan funktioner som Remote Computer Use udviske grænsen mellem traditionelle automatiseringsværktøjer og autonome softwareagenter – især når funktioner som Mål-tilstand gør det muligt for Codex at forfølge opgaver over lange tidsrum.

Codexs Computer Use-funktion gør det muligt for AI-agenten at interagere med grafiske macOS-programmer på samme måde som et menneske – ved at observere grænsefladen og udføre handlinger som at klikke på knapper, skrive i felter og navigere i menuer.

I stedet for kun at stole på API'er eller kommandolinjeværktøjer kan systemet betjene den grafiske brugergrænseflade direkte. Det betyder, at det kan automatisere opgaver i skrivebordsprogrammer, køre browser-workflows, teste GUI-software eller justere app-indstillinger, som ikke er tilgængelige via andre integrationer.

Rapporter, der beskriver funktionen, forklarer, at agenten opfatter skrivebordet visuelt og udfører handlinger som cursorbevægelser, klik og tastetryk, mens den kører i baggrunden.

Remote Computer Use efter Mac’en låser

En væsentlig ændring i opdateringen fra 21. maj er, at Codex kan fortsætte med at bruge macOS-programmer, selv efter Mac’en låser, og at den kan styres eksternt fra en tilsluttet mobilenhed via Codex Mobile.

Tidligere versioner af AI-'computer use'-systemer krævede typisk:

• At computeren forblev ulåst
• At skærmen forblev tændt
• At agenten observerede den levende skærm

Den nye funktion fjerner denne begrænsning. Release notes angiver, at Codex kan fortsætte med at bruge skrivebordsprogrammer, efter Mac’en låser, hvilket muliggør længerevarende automatiserede opgaver eller eksterne kontrol-workflows.

Den specifikke tekniske mekanisme, der gør dette muligt, er dog ikke blevet offentligt dokumenteret. De tilgængelige kilder bekræfter funktionaliteten, men beskriver ikke, hvordan macOS-input og visuel adgang opretholdes, når skærmen er slukket.

Sådan aktiverer du Remote Computer Use i Codex-appen

Brugere aktiverer funktionen via opsætningsforløbet i Codex-skrivebordsappen.

1. Installer Computer Use-pluginet

Inde i Codex-appen:

• Åbn Indstillinger (Cmd + ,)
• Gå til Computer Use
• Klik på Installer for at installere Computer Use-pluginet.

2. Giv macOS-tilladelser

Under opsætningen vil macOS bede om systemtilladelser. Brugeren skal godkende:

• Skærmoptagelse – gør det muligt for Codex at se programgrænseflader
• Tilgængelighed – gør det muligt for Codex at styre UI-elementer som klik og tastning.

Disse tilladelser er nødvendige, fordi agenten interagerer direkte med den grafiske grænseflade.

3. Konfigurer fjernadgang til værtsmaskinen

For at tillade fjernstyring fra en anden enhed:

• Start opsætningsforløbet i Codex-appen på værts-Mac’en
• Vælg indstillingen for at tilslutte en mobilenhed
• Scan den viste QR-kode med ChatGPT-mobilappen for at fuldføre parringen.

Når forbindelsen er oprettet, kan brugerne starte, styre og gennemgå Codex-opgaver eksternt fra deres telefon, mens værts-Mac’en kører automatiseringen.

Sikkerhedsforanstaltninger indbygget i Codex

Da en AI-agent, der styrer en computer, indebærer åbenlyse risici, har OpenAI tilføjet flere beskyttelseslag.

Sandbox-begrænsninger

Codex kører i en OS-pålagt sandbox, der begrænser, hvad den kan få adgang til lokalt, typisk til det aktuelle arbejdsområde eller tilladte miljø.

Godkendelsespolitik

En godkendelsespolitik bestemmer, hvornår agenten skal stoppe og bede om brugerens tilladelse, før den fortsætter. Dette gør det muligt for rutinemæssige operationer at forløbe automatisk, mens handlinger med højere risiko kræver menneskelig bekræftelse.

Netværksadgang deaktiveret som standard

Som standard kører Codex uden netværksadgang aktiveret, hvilket reducerer risikoen for utilsigtede eksterne forbindelser under automatiserede opgaver.

Eksplicitte app-tilladelser

Systemet er også afhængigt af macOS-tilladelsespromptninger – såsom Skærmoptagelse og Tilgængelighed – for at sikre, at brugeren eksplicit godkender interface-kontrol.

Derudover kræver nogle implementeringer, at brugeren godkender hver ny app, før Codex kan interagere med den.

Regionale tilgængelighedsbegrænsninger

Ved lanceringen er Computer Use i Codex-appen begrænset til macOS og er ikke tilgængelig i flere regioner.

OpenAI-dokumentationen angiver, at funktionen ikke er tilgængelig i:

• Det Europæiske Økonomiske Samarbejdsområde (EØS)
• Storbritannien
• Schweiz.

Virksomheden har ikke offentligt givet en detaljeret forklaring på disse begrænsninger, selvom regulatoriske og compliance-mæssige overvejelser ofte er faktorer i tidlige funktionslanceringer.

Andre funktioner annonceret sammen med Remote Computer Use

Samme opdatering introducerede flere yderligere funktioner, der udvider Codex ud over simpel kodeassistance.

Mål-tilstand (Goal Mode)

Mål-tilstand gør det muligt for Codex at forfølge et vedvarende mål over længere perioder, potentielt i timer eller dage, indtil opgaven er fuldført eller kræver godkendelse. Brugere starter den med /goal-kommandoen i Codex-grænsefladen.

Appshots

Appshots giver en hurtig måde at give Codex kontekst fra en anden applikation. Ved at trykke på begge Kommando-taster fanges det aktive vindue, og følgende sendes:

• Et skærmbillede af vinduet
• Ekstraheret tekst fra grænsefladen

Dette gør det muligt for Codex at forstå, hvad der sker i en anden app, uden manuel kopiering eller forklaring.

Hvad der stadig er uklart

På trods af funktionens muligheder er flere detaljer stadig ikke offentligt dokumenteret:

• Den præcise tekniske metode, der tillader Codex at styre macOS-apps, når Mac’en er låst, eller skærmen er slukket
• Den interne arkitektur, der bruges til at opretholde visuel kontekst og inputkontrol i denne tilstand
• Detaljerede risikovurderinger for virksomheder fra tredjeparts sikkerhedsforskere

Den tilgængelige dokumentation bekræfter funktionaliteten og opsætningsprocessen, men forklarer ikke fuldt ud det underliggende systemdesign.

Hvorfor Remote Computer Use er vigtigt

Funktionen signalerer et skift mod vedvarende AI-agenter, der opererer direkte i virkelige computer miljøer. I stedet for at give instruktioner og vente på resultater, kan brugere lade en AI køre software, teste grænseflader og automatisere workflows kontinuerligt i baggrunden.

Hvis det bliver bredt anvendt, kan funktioner som Remote Computer Use udviske grænsen mellem traditionelle automatiseringsværktøjer og autonome softwareagenter – især når funktioner som Mål-tilstand gør det muligt for Codex at forfølge opgaver over lange tidsrum.