OpenAI Codex kan nå styre Mac-en din selv når den er låst – slik fungerer den nye Remote Computer Use-funksjonen

Hva «Computer Use» faktisk gjør

Codexs Computer Use-funksjon gjør at KI-agenten kan samhandle med grafiske macOS-applikasjoner på samme måte som et menneske – ved å observere grensesnittet og utføre handlinger som å klikke på knapper, skrive i tekstfelt og navigere i menyer.

I stedet for å stole kun på API-er eller kommandolinjeverktøy, kan systemet styre det grafiske brukergrensesnittet direkte. Det betyr at det kan automatisere oppgaver i skrivebordsapper, kjøre nettleserarbeidsflyter, teste GUI-programvare eller justere applikasjonsinnstillinger som ikke er tilgjengelige via andre integrasjoner.

Rapporter som beskriver funksjonen, forklarer at agenten oppfatter skrivebordet visuelt og utfører handlinger som musepekerbevegelser, klikk og tastetrykk mens den kjører i bakgrunnen.

Remote Computer Use etter at Mac-en låses

En stor endring i oppdateringen 21. mai er at Codex kan fortsette å bruke macOS-applikasjoner selv etter at Mac-en låses, og at den kan styres eksternt fra en tilkoblet mobilenhet via Codex Mobile.

Tidligere versjoner av KI-systemer for «Computer Use» krevde vanligvis:

• At datamaskinen var ulåst
• At skjermen var på
• At agenten kunne observere den levende skjermen

Den nye funksjonen fjerner denne begrensningen. Versjonsnotatene sier at Codex kan fortsette å bruke skrivebordsapper etter at Mac-en låses, noe som muliggjør lengre automatiserte oppgaver eller ekstern kontroll.

Den spesifikke tekniske mekanismen som gjør dette mulig, er imidlertid ikke offentlig dokumentert. De tilgjengelige kildene bekrefter funksjonen, men beskriver ikke hvordan macOS-input og visuell tilgang opprettholdes når skjermen er av.

Slik aktiverer du Remote Computer Use i Codex-appen

Brukere aktiverer funksjonen gjennom oppsettet i Codex-skrivebordsappen.

1. Installer Computer Use-pluginen

Inne i Codex-appen:

• Åpne Innstillinger (Cmd + ,)
• Gå til Computer Use
• Klikk Installer for å installere Computer Use-pluginen.

2. Gi macOS-tillatelser

Under oppsettet vil macOS be om systemtillatelser. Du må godkjenne:

• Skjermopptak – lar Codex se applikasjonsgrensesnitt
• Tilgjengelighet – lar Codex styre UI-elementer som klikk og tasting.

Disse tillatelsene er nødvendige fordi agenten samhandler direkte med det grafiske grensesnittet.

3. Konfigurer ekstern tilgang til vertsmaskinen

For å tillate ekstern styring fra en annen enhet:

• Start oppsettet i Codex-appen på Mac-en som skal styres
• Velg alternativet for å koble til en mobilenhet
• Skann QR-koden som vises, med ChatGPT-mobilappen for å fullføre sammenkoblingen.

Når tilkoblingen er opprettet, kan du starte, styre og følge med på Codex-oppgaver eksternt fra mobilen mens Mac-en kjører automatiseringen.

Sikkerhetstiltak i Codex

Fordi en KI-agent som styrer en datamaskin har åpenbare risikoer, har OpenAI lagt inn flere beskyttelseslag.

Sandkassebegrensninger

Codex kjører i en OS-håndhevet sandkasse som begrenser hva den har tilgang til lokalt, og begrenser handlingene til det gjeldende arbeidsområdet eller tillatte miljøet.

Godkjenningsregler

En godkjenningspolicy avgjør når agenten må stoppe og be om brukerens tillatelse før den fortsetter. Dette gjør at rutinemessige operasjoner kan kjøre automatisk, mens høyrisiko-handlinger krever menneskelig bekreftelse.

Nettverk er som standard deaktivert

Som standard kjører Codex uten nettverkstilgang, noe som reduserer sjansen for uønskede eksterne tilkoblinger under automatiserte oppgaver.

Eksplisitte apptillatelser

Systemet bruker også macOS-tillatelsesprompter – som skjermopptak og tilgjengelighet – for å sikre at brukeren uttrykkelig autoriserer grensesnittkontroll.

I tillegg krever noen implementeringer at brukeren godkjenner hver nye app før Codex kan samhandle med den.

Regionale begrensninger ved lansering

Ved lansering er Computer Use i Codex-appen begrenset til macOS og er ikke tilgjengelig i flere regioner.

OpenAIs dokumentasjon sier at funksjonen ikke er tilgjengelig i:

• Det europeiske økonomiske samarbeidsområdet (EØS)
• Storbritannia
• Sveits.

Selskapet har ikke offentlig forklart årsaken til disse begrensningene i detalj, men regulatoriske og etterlevelsesmessige hensyn er ofte en faktor ved tidlige lanseringer av nye funksjoner.

Andre nyheter som ble lansert samtidig

Samme oppdatering introduserte flere nye funksjoner som utvider Codex utover ren kodeassistanse.

Målmodus (Goal Mode)

Målmodus lar Codex jobbe mot et vedvarende mål over lengre perioder, potensielt i timer eller dager, til oppgaven er fullført eller krever godkjenning. Brukere starter den med /goal-kommandoen i Codex-grensesnittet.

Appshots

Appshots er en rask måte å gi Codex kontekst fra en annen applikasjon på. Ved å trykke begge Kommando-tastene tar du et bilde av det aktive vinduet og sender:

• Et skjermbilde av vinduet
• Utvunnet tekst fra grensesnittet

Dette lar Codex forstå hva som skjer i en annen app uten manuell kopiering eller forklaring.

Hva som fortsatt er uklart

Til tross for funksjonens egenskaper, er flere detaljer fortsatt ikke offentlig dokumentert:

• Den nøyaktige tekniske metoden som lar Codex styre macOS-apper når Mac-en er låst eller skjermen er av
• Den interne arkitekturen som brukes for å opprettholde visuell kontekst og input-kontroll i denne tilstanden
• Detaljerte risikovurderinger fra tredjeparts sikkerhetsforskere

Den tilgjengelige dokumentasjonen bekrefter funksjonaliteten og oppsettsprosessen, men forklarer ikke fullt ut den underliggende systemdesignen.

Hvorfor Remote Computer Use er viktig

Funksjonen signaliserer et skifte mot vedvarende KI-agenter som opererer direkte i virkelige datamiljøer. I stedet for å gi instruksjoner og vente på resultater, kan brukere la en KI kjøre programvare, teste grensesnitt og automatisere arbeidsflyter kontinuerlig i bakgrunnen.

Hvis funksjonen blir utbredt, kan evner som Remote Computer Use viske ut grensen mellom tradisjonelle automatiseringsverktøy og selvstendige programvareagenter – spesielt ettersom funksjoner som Målmodus lar Codex jobbe med oppgaver over lange tidsrom.