Codex Remote Computer Use: Wie eine KI macOS‑Apps sogar bei gesperrtem Mac bedienen kann

KI steuert Desktop‑Apps direkt

OpenAI hat seiner Codex‑Desktop‑App eine neue Fähigkeit hinzugefügt: Remote Computer Use. Damit kann ein KI‑Agent macOS‑Programme bedienen, Aufgaben automatisieren und Workflows ausführen – selbst dann, wenn der Mac bereits gesperrt wurde und der Bildschirm aus ist.

Die Funktion ist Teil eines größeren Trends hin zu sogenannten persistenten KI‑Agenten, die nicht nur auf Anfragen reagieren, sondern aktiv in realen Softwareumgebungen arbeiten.

Was „Computer Use“ konkret bedeutet

Mit der Computer‑Use‑Funktion kann Codex grafische Benutzeroberflächen direkt bedienen. Die KI beobachtet dabei die Oberfläche eines Programms und führt Aktionen aus – ähnlich wie ein Mensch mit Maus und Tastatur.

Typische Aktionen sind zum Beispiel:

• Klicks auf Buttons oder Menüs
• Eingaben in Textfelder
• Navigation durch Programmoberflächen

Dadurch kann Codex Aufgaben erledigen, die sonst nur über die grafische Oberfläche möglich wären, etwa:

• GUI‑Tests von Desktop‑Software
• Automatisierte Browser‑Workflows
• Änderungen in Programmeinstellungen ohne API‑Zugriff

Technisch betrachtet verarbeitet der Agent visuelle Informationen vom Bildschirm und führt darauf basierend Cursorbewegungen, Klicks und Tastatureingaben aus.

Neu: Steuerung sogar nach dem Sperren des Macs

Mit dem Update vom 21. Mai hat OpenAI eine wichtige Einschränkung entfernt: Codex kann Desktop‑Apps jetzt weiter bedienen, auch nachdem der Mac gesperrt wurde.

Frühere Ansätze für KI‑gestützte Computersteuerung hatten meist klare Voraussetzungen:

• Der Computer musste entsperrt bleiben
• Der Bildschirm musste eingeschaltet sein
• Die KI musste den sichtbaren Bildschirm beobachten können

Die neue Version erlaubt dagegen Hintergrund‑Automatisierungen über längere Zeiträume. Nutzer können Codex sogar remote über ihr Smartphone steuern, wenn sie Codex Mobile mit dem Mac verbunden haben.

Die genaue technische Umsetzung – also wie macOS‑Eingaben und visuelle Kontextdaten weiterhin verfügbar bleiben, obwohl der Bildschirm gesperrt ist – hat OpenAI öffentlich bisher nicht detailliert beschrieben. Die Dokumentation bestätigt die Funktion, erklärt aber nicht den zugrunde liegenden Mechanismus.

Einrichtung: So aktiviert man Remote Computer Use

Die Aktivierung erfolgt über die Codex‑Desktop‑App.

1. Computer‑Use‑Plugin installieren

1. Codex öffnen
2. Settings (Cmd + ,) aufrufen
3. Bereich Computer Use öffnen
4. Install wählen, um das Plugin zu installieren.

2. macOS‑Berechtigungen erlauben

Beim Einrichten fordert macOS zwei wichtige Systemrechte an:

• Screen Recording – damit Codex die Benutzeroberfläche sehen kann
• Accessibility – damit Codex Klicks und Tastatureingaben ausführen darf

Ohne diese Berechtigungen kann die KI keine GUI‑Interaktionen durchführen.

3. Remote‑Zugriff über Smartphone verbinden

Für die mobile Steuerung wird der Mac mit der ChatGPT‑App gekoppelt:

1. Setup in der Codex‑App starten
2. Option zur Verbindung eines mobilen Geräts auswählen
3. QR‑Code mit der ChatGPT‑App auf dem Smartphone scannen

Danach lassen sich Aufgaben starten, steuern oder freigeben – auch wenn der Mac nicht aktiv genutzt wird.

Sicherheitsmechanismen

Da eine KI mit direkter Computersteuerung erhebliche Risiken birgt, hat OpenAI mehrere Schutzmechanismen integriert.

Sandbox‑Isolation

Codex läuft in einer vom Betriebssystem erzwungenen Sandbox, die den Zugriff auf Dateien und Ressourcen einschränkt – meist auf den aktuellen Arbeitsbereich.

Genehmigungsrichtlinien

Ein Approval‑System legt fest, wann der Agent automatisch handeln darf und wann er vor einer Aktion eine Nutzerbestätigung einholen muss.

Netzwerkzugang standardmäßig deaktiviert

Der Agent startet standardmäßig ohne Internetzugriff, um ungewollte externe Kommunikation zu verhindern.

Explizite App‑Freigaben

Zusätzlich verlangt macOS explizite Nutzerfreigaben für Screen‑Recording‑ und Accessibility‑Zugriff. Einige Implementierungen verlangen außerdem eine separate Freigabe für jede Anwendung, die Codex steuern soll.

Regionale Einschränkungen

Zum Start ist die Computer‑Use‑Funktion nur eingeschränkt verfügbar.

Laut OpenAI steht sie nicht zur Verfügung in:

• dem Europäischen Wirtschaftsraum (EWR)
• dem Vereinigten Königreich
• der Schweiz.

Der genaue Grund wurde nicht offiziell erläutert, wahrscheinlich spielen regulatorische oder Compliance‑Fragen eine Rolle.

Weitere neue Funktionen im selben Update

Neben Remote Computer Use wurden mehrere zusätzliche Features eingeführt.

Goal Mode

Mit Goal Mode kann Codex über längere Zeit an einem Ziel arbeiten – teilweise über Stunden oder Tage hinweg.

Der Modus wird in der App mit dem Befehl /goal gestartet und verfolgt eine Aufgabe so lange, bis sie abgeschlossen ist oder eine Genehmigung benötigt.

Appshots

Appshots sollen Codex schnell Kontext aus anderen Programmen liefern.

Durch gleichzeitiges Drücken beider Command‑Tasten wird das aktive Fenster an Codex übergeben, inklusive:

• Screenshot des Fensters
• extrahiertem Text aus der Oberfläche

Damit kann die KI verstehen, was in einer Anwendung passiert, ohne dass Nutzer Inhalte manuell kopieren oder beschreiben müssen.

Offene Fragen zur Technik

Trotz der neuen Möglichkeiten bleiben einige Details unklar:

• Wie Codex Eingaben und Bildschirmkontext erhält, wenn der Mac gesperrt ist
• Welche interne Architektur die Hintergrundsteuerung ermöglicht
• Welche Risiken unabhängige Sicherheitsanalysen langfristig identifizieren könnten

Die vorhandene Dokumentation bestätigt die Funktionen und die Einrichtung, erklärt aber nicht vollständig die technische Umsetzung.

Warum diese Funktion wichtig ist

Remote Computer Use deutet auf einen größeren Wandel hin: KI‑Agenten arbeiten nicht mehr nur mit Text oder APIs, sondern direkt in realen Softwareumgebungen.

Anstatt eine Aufgabe zu beschreiben und auf ein Ergebnis zu warten, können Nutzer einen Agenten künftig:

• Programme bedienen lassen
• Tests automatisieren
• Workflows im Hintergrund ausführen lassen

Zusammen mit Funktionen wie Goal Mode könnte sich Codex damit von einem klassischen Coding‑Assistenten zu einem dauerhaft arbeitenden Software‑Agenten entwickeln.