Codex Remote Computer Use: Wie eine KI macOS‑Apps sogar bei gesperrtem Mac bedienen kann
Mit „Remote Computer Use“ kann die Codex‑App macOS‑Programme automatisiert bedienen und Aufgaben weiter ausführen, selbst wenn der Mac gesperrt ist. Die Funktion wird über das Computer‑Use‑Plugin aktiviert und benötigt macOS‑Berechtigungen für Bildschirmaufnahme und Bedienungshilfen.
How does OpenAI’s new “Remote Computer Use” feature in the Codex desktop app (released May 21) allow the AI agent to control macOS applicatiOpenAI’s Codex desktop app can automate macOS apps through its Computer Use capability and continue running tasks even after the Mac locks.
KI-Prompt
Create a landscape editorial hero image for this Studio Global article: How does OpenAI’s new “Remote Computer Use” feature in the Codex desktop app (released May 21) allow the AI agent to control macOS applicati. Article summary: OpenAI says Codex’s new Computer Use capability lets the agent “see and operate graphical applications,” and the app also supports enabling remote access for a host device through a setup flow in the Codex app, but the e. Topic tags: general, documentation, general web. Reference image context from search candidates: Reference image 1: visual subject "# Codex can now control other desktop devices via Computer Use. OpenAI is developing Computer Use for Codex remote control that could work even when a laptop is locked or asleep; C" source context "Codex can now control other desktop devices via Computer Use" Reference image 2: visual subject "Codex Can Now Contro
openai.com
KI steuert Desktop‑Apps direkt
OpenAI hat seiner Codex‑Desktop‑App eine neue Fähigkeit hinzugefügt: Remote Computer Use. Damit kann ein KI‑Agent macOS‑Programme bedienen, Aufgaben automatisieren und Workflows ausführen – selbst dann, wenn der Mac bereits gesperrt wurde und der Bildschirm aus ist.
Die Funktion ist Teil eines größeren Trends hin zu sogenannten persistenten KI‑Agenten, die nicht nur auf Anfragen reagieren, sondern aktiv in realen Softwareumgebungen arbeiten.
Was „Computer Use“ konkret bedeutet
Mit der Computer‑Use‑Funktion kann Codex grafische Benutzeroberflächen direkt bedienen. Die KI beobachtet dabei die Oberfläche eines Programms und führt Aktionen aus – ähnlich wie ein Mensch mit Maus und Tastatur.
Typische Aktionen sind zum Beispiel:
Klicks auf Buttons oder Menüs
Eingaben in Textfelder
Navigation durch Programmoberflächen
Dadurch kann Codex Aufgaben erledigen, die sonst nur über die grafische Oberfläche möglich wären, etwa:
GUI‑Tests von Desktop‑Software
Automatisierte Browser‑Workflows
Änderungen in Programmeinstellungen ohne API‑Zugriff
Technisch betrachtet verarbeitet der Agent visuelle Informationen vom Bildschirm und führt darauf basierend Cursorbewegungen, Klicks und Tastatureingaben aus.
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
Wie lautet die kurze Antwort auf „Codex Remote Computer Use: Wie eine KI macOS‑Apps sogar bei gesperrtem Mac bedienen kann“?
Mit „Remote Computer Use“ kann die Codex‑App macOS‑Programme automatisiert bedienen und Aufgaben weiter ausführen, selbst wenn der Mac gesperrt ist.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Mit „Remote Computer Use“ kann die Codex‑App macOS‑Programme automatisiert bedienen und Aufgaben weiter ausführen, selbst wenn der Mac gesperrt ist. Die Funktion wird über das Computer‑Use‑Plugin aktiviert und benötigt macOS‑Berechtigungen für Bildschirmaufnahme und Bedienungshilfen.
Was soll ich als nächstes in der Praxis tun?
OpenAI integriert Sicherheitsmaßnahmen wie Sandbox‑Isolation, Genehmigungsabfragen und deaktivierten Netzwerkzugang – die Funktion ist zum Start jedoch nicht in EWR‑Ländern, Großbritannien und der Schweiz verfügbar.
Mit dem Update vom 21. Mai hat OpenAI eine wichtige Einschränkung entfernt: Codex kann Desktop‑Apps jetzt weiter bedienen, auch nachdem der Mac gesperrt wurde.
Frühere Ansätze für KI‑gestützte Computersteuerung hatten meist klare Voraussetzungen:
Der Computer musste entsperrt bleiben
Der Bildschirm musste eingeschaltet sein
Die KI musste den sichtbaren Bildschirm beobachten können
Die neue Version erlaubt dagegen Hintergrund‑Automatisierungen über längere Zeiträume. Nutzer können Codex sogar remote über ihr Smartphone steuern, wenn sie Codex Mobile mit dem Mac verbunden haben.
Die genaue technische Umsetzung – also wie macOS‑Eingaben und visuelle Kontextdaten weiterhin verfügbar bleiben, obwohl der Bildschirm gesperrt ist – hat OpenAI öffentlich bisher nicht detailliert beschrieben. Die Dokumentation bestätigt die Funktion, erklärt aber nicht den zugrunde liegenden Mechanismus.
Einrichtung: So aktiviert man Remote Computer Use
Die Aktivierung erfolgt über die Codex‑Desktop‑App.
1. Computer‑Use‑Plugin installieren
Codex öffnen
Settings (Cmd + ,) aufrufen
Bereich Computer Use öffnen
Install wählen, um das Plugin zu installieren.
2. macOS‑Berechtigungen erlauben
Beim Einrichten fordert macOS zwei wichtige Systemrechte an:
Screen Recording – damit Codex die Benutzeroberfläche sehen kann
Accessibility – damit Codex Klicks und Tastatureingaben ausführen darf
Ohne diese Berechtigungen kann die KI keine GUI‑Interaktionen durchführen.
3. Remote‑Zugriff über Smartphone verbinden
Für die mobile Steuerung wird der Mac mit der ChatGPT‑App gekoppelt:
Setup in der Codex‑App starten
Option zur Verbindung eines mobilen Geräts auswählen
QR‑Code mit der ChatGPT‑App auf dem Smartphone scannen
Danach lassen sich Aufgaben starten, steuern oder freigeben – auch wenn der Mac nicht aktiv genutzt wird.
Sicherheitsmechanismen
Da eine KI mit direkter Computersteuerung erhebliche Risiken birgt, hat OpenAI mehrere Schutzmechanismen integriert.
Sandbox‑Isolation
Codex läuft in einer vom Betriebssystem erzwungenen Sandbox, die den Zugriff auf Dateien und Ressourcen einschränkt – meist auf den aktuellen Arbeitsbereich.
Genehmigungsrichtlinien
Ein Approval‑System legt fest, wann der Agent automatisch handeln darf und wann er vor einer Aktion eine Nutzerbestätigung einholen muss.
Netzwerkzugang standardmäßig deaktiviert
Der Agent startet standardmäßig ohne Internetzugriff, um ungewollte externe Kommunikation zu verhindern.
Explizite App‑Freigaben
Zusätzlich verlangt macOS explizite Nutzerfreigaben für Screen‑Recording‑ und Accessibility‑Zugriff. Einige Implementierungen verlangen außerdem eine separate Freigabe für jede Anwendung, die Codex steuern soll.
Regionale Einschränkungen
Zum Start ist die Computer‑Use‑Funktion nur eingeschränkt verfügbar.
Laut OpenAI steht sie nicht zur Verfügung in:
dem Europäischen Wirtschaftsraum (EWR)
dem Vereinigten Königreich
der Schweiz.
Der genaue Grund wurde nicht offiziell erläutert, wahrscheinlich spielen regulatorische oder Compliance‑Fragen eine Rolle.
Weitere neue Funktionen im selben Update
Neben Remote Computer Use wurden mehrere zusätzliche Features eingeführt.
Goal Mode
Mit Goal Mode kann Codex über längere Zeit an einem Ziel arbeiten – teilweise über Stunden oder Tage hinweg.
Der Modus wird in der App mit dem Befehl /goal gestartet und verfolgt eine Aufgabe so lange, bis sie abgeschlossen ist oder eine Genehmigung benötigt.
Appshots
Appshots sollen Codex schnell Kontext aus anderen Programmen liefern.
Durch gleichzeitiges Drücken beider Command‑Tasten wird das aktive Fenster an Codex übergeben, inklusive:
Screenshot des Fensters
extrahiertem Text aus der Oberfläche
Damit kann die KI verstehen, was in einer Anwendung passiert, ohne dass Nutzer Inhalte manuell kopieren oder beschreiben müssen.
Offene Fragen zur Technik
Trotz der neuen Möglichkeiten bleiben einige Details unklar:
Wie Codex Eingaben und Bildschirmkontext erhält, wenn der Mac gesperrt ist
Welche interne Architektur die Hintergrundsteuerung ermöglicht
Welche Risiken unabhängige Sicherheitsanalysen langfristig identifizieren könnten
Die vorhandene Dokumentation bestätigt die Funktionen und die Einrichtung, erklärt aber nicht vollständig die technische Umsetzung.
Warum diese Funktion wichtig ist
Remote Computer Use deutet auf einen größeren Wandel hin: KI‑Agenten arbeiten nicht mehr nur mit Text oder APIs, sondern direkt in realen Softwareumgebungen.
Anstatt eine Aufgabe zu beschreiben und auf ein Ergebnis zu warten, können Nutzer einen Agenten künftig:
Programme bedienen lassen
Tests automatisieren
Workflows im Hintergrund ausführen lassen
Zusammen mit Funktionen wie Goal Mode könnte sich Codex damit von einem klassischen Coding‑Assistenten zu einem dauerhaft arbeitenden Software‑Agenten entwickeln.
Comments
0 comments