OpenAI Codex kan nu styra din Mac – även när den är låst

Istället för att enbart förlita sig på API:er eller kommandoradsverktyg kan systemet hantera det grafiska användargränssnittet direkt. Det innebär att det kan automatisera uppgifter i skrivbordsappar, köra webbläsarflöden, testa GUI-programvara eller justera appinställningar som inte är exponerade via andra integrationer.

Rapporter om funktionen förklarar att agenten uppfattar skrivbordet visuellt och utför åtgärder som musrörelser, klick och tangenttryckningar medan den körs i bakgrunden.

Fjärrstyrning även när Macen är låst

En stor förändring i uppdateringen från 21 maj är att Codex kan fortsätta använda macOS-applikationer även efter att datorn låsts, och att den kan fjärrstyras från en mobil enhet via Codex Mobile.

Tidigare versioner av AI-baserade ”Computer Use”-system krävde vanligtvis:

• Att datorn förblev upplåst
• Att skärmen var på
• Att agenten kunde observera den levande bilden

Den nya funktionen tar bort den begränsningen. Versionsanteckningarna säger att Codex kan fortsätta använda skrivbordsappar efter att Macen låsts, vilket möjliggör längre automatiseringsuppgifter eller fjärrstyrningsflöden.

Den specifika tekniska mekanismen som möjliggör detta har dock inte offentliggjorts. De tillgängliga källorna bekräftar funktionen men beskriver inte hur macOS-indata och visuell åtkomst upprätthålls när skärmen är avstängd.

Så här aktiverar du Remote Computer Use i Codex-appen

Användare aktiverar funktionen via installationsflödet i Codex skrivbordsapp.

1. Installera Computer Use-pluginet

I Codex-appen:

• Öppna Inställningar (Cmd + ,)
• Gå till Computer Use
• Klicka på Installera för att installera Computer Use-pluginet.

2. Ge macOS-behörigheter

Under installationen kommer macOS att begära systemomfattande behörigheter. Användaren måste godkänna:

• Skärminspelning – låter Codex visa applikationsgränssnitt
• Hjälpmedel – låter Codex styra UI-element som klick och tangenttryckningar.

Dessa behörigheter krävs eftersom agenten interagerar med det grafiska gränssnittet direkt.

3. Konfigurera fjärråtkomst till värddatorn

För att tillåta fjärrstyrning från en annan enhet:

• Starta installationsflödet i Codex-appen på din Mac
• Välj alternativet för att ansluta en mobil enhet
• Skanna den QR-kod som visas med ChatGPT-mobilappen för att slutföra ihopparningen.

När anslutningen är klar kan användare starta, styra och granska Codex-uppgifter på distans från sin telefon medan värddatorn kör automatiseringen.

Säkerhetsfunktioner inbyggda i Codex

Eftersom en AI-agent som styr en dator medför uppenbara risker, har OpenAI lagt till flera skyddslager.

Sandlådebegränsningar

Codex körs i en OS-förstärkt sandlåda som begränsar vad den kan komma åt lokalt, vanligtvis till den aktuella arbetsytan eller den tillåtna miljön.

Godkännandepolicys

En godkännandepolicy avgör när agenten måste stanna och be om användarens tillåtelse innan den fortsätter. Detta gör att rutinmässiga operationer kan utföras automatiskt medan högriskåtgärder kräver mänsklig bekräftelse.

Nätverksåtkomst inaktiverad som standard

Som standard körs Codex utan nätverksåtkomst aktiverad, vilket minskar risken för oavsiktliga externa anslutningar under automatiserade uppgifter.

Explicita appbehörigheter

Systemet förlitar sig också på macOS-behörighetsförfrågningar – som Skärminspelning och Hjälpmedelsåtkomst – för att säkerställa att användaren uttryckligen godkänner gränssnittskontroll.

Dessutom kräver vissa implementationer att användaren godkänner varje ny applikation innan Codex kan interagera med den.

Regionala begränsningar

Vid lanseringen är Computer Use i Codex-appen begränsad till macOS och finns inte i flera regioner.

OpenAI:s dokumentation anger att funktionen inte är tillgänglig i:

• Europeiska ekonomiska samarbetsområdet (EES)
• Storbritannien
• Schweiz.

Företaget har inte offentligt förklarat orsaken till dessa begränsningar, även om regelefterlevnad ofta är en faktor vid tidiga lanseringar av funktioner.

Andra funktioner som lanserades tillsammans med Remote Computer Use

Samma uppdatering introducerade flera ytterligare funktioner som utökar Codex bortom enkel kodningshjälp.

Mål-läge (Goal Mode)

Mål-läge låter Codex arbeta mot ett ihållande mål under långa perioder, potentiellt i timmar eller dagar, tills uppgiften är slutförd eller kräver godkännande. Användare startar det med kommandot /goal i Codex-gränssnittet.

Appshots

Appshots är ett snabbt sätt att ge Codex kontext från en annan applikation. Genom att trycka på båda Kommandotangenterna fångas det aktiva fönstret och skickar:

• En skärmdump av fönstret
• Extraherad text från gränssnittet

Detta låter Codex förstå vad som händer i en annan app utan manuell kopiering eller förklaring.

Det som fortfarande är oklart

Trots funktionens kapacitet finns flera detaljer som inte offentliggjorts:

• Den exakta tekniska metoden som gör att Codex kan styra macOS-appar när datorn är låst eller skärmen avstängd
• Den interna arkitekturen som används för att upprätthålla visuell kontext och indatakontroll i det tillståndet
• Detaljerade riskanalyser från tredjeparts säkerhetsforskare

Den tillgängliga dokumentationen bekräftar funktionaliteten och installationsprocessen men förklarar inte fullt ut den underliggande systemdesignen.

Varför Remote Computer Use är viktigt

Funktionen signalerar en förskjutning mot ihållande AI-agenter som arbetar direkt i verkliga datormiljöer. Istället för att ge instruktioner och vänta på resultat kan användare låta en AI köra programvara, testa gränssnitt och automatisera arbetsflöden kontinuerligt i bakgrunden.

Om funktionen blir allmänt använd kan den sudda ut gränsen mellan traditionella automatiseringsverktyg och autonoma programvaruagenter – särskilt i kombination med funktioner som Mål-läge som låter Codex arbeta mot mål över långa tidsperioder.