Fitur Remote Computer Use di OpenAI Codex: AI Bisa Mengoperasikan Mac Meski Layar Terkunci
Update Codex menghadirkan Remote Computer Use yang memungkinkan AI mengoperasikan aplikasi macOS di latar belakang bahkan setelah Mac terkunci. Fitur diaktifkan melalui plugin Computer Use serta izin macOS seperti Screen Recording dan Accessibility.
How does OpenAI’s new “Remote Computer Use” feature in the Codex desktop app (released May 21) allow the AI agent to control macOS applicatiOpenAI’s Codex desktop app can automate macOS apps through its Computer Use capability and continue running tasks even after the Mac locks.
AI Perintah
Create a landscape editorial hero image for this Studio Global article: How does OpenAI’s new “Remote Computer Use” feature in the Codex desktop app (released May 21) allow the AI agent to control macOS applicati. Article summary: OpenAI says Codex’s new Computer Use capability lets the agent “see and operate graphical applications,” and the app also supports enabling remote access for a host device through a setup flow in the Codex app, but the e. Topic tags: general, documentation, general web. Reference image context from search candidates: Reference image 1: visual subject "# Codex can now control other desktop devices via Computer Use. OpenAI is developing Computer Use for Codex remote control that could work even when a laptop is locked or asleep; C" source context "Codex can now control other desktop devices via Computer Use" Reference image 2: visual subject "Codex Can Now Contro
openai.com
OpenAI merilis pembaruan besar untuk aplikasi desktop Codex yang memperkenalkan kemampuan bernama Remote Computer Use. Dengan fitur ini, agen AI dapat mengoperasikan aplikasi macOS—bahkan ketika komputer terkunci dan layar mati.
Tujuan utamanya adalah membuat Codex berfungsi sebagai agen pengembang yang terus berjalan (persistent agent). Alih‑alih hanya menjawab prompt, AI kini dapat berinteraksi langsung dengan lingkungan perangkat lunak nyata di komputer pengguna. Dokumentasi resmi OpenAI menjelaskan cara mengaktifkan fitur tersebut serta izin sistem yang dibutuhkan, meskipun mekanisme teknis yang memungkinkan kontrol saat layar terkunci belum dijelaskan secara publik.
Apa Itu “Computer Use” di Codex
Fitur Computer Use memungkinkan Codex berinteraksi dengan aplikasi grafis di macOS seperti halnya manusia menggunakan komputer—melihat tampilan layar, menggerakkan kursor, mengklik tombol, mengetik di kolom teks, dan menavigasi menu.
Alih‑alih hanya memanfaatkan API atau perintah terminal, pendekatan ini memungkinkan AI mengendalikan antarmuka grafis (GUI) secara langsung. Ini membuatnya berguna untuk berbagai tugas seperti:
otomatisasi workflow di aplikasi desktop
pengujian aplikasi GUI
menjalankan proses di browser
mengubah pengaturan aplikasi yang tidak tersedia melalui integrasi API
Beberapa laporan menjelaskan bahwa agen AI “mengamati” desktop sebagai aliran input visual, lalu melakukan tindakan seperti klik dan pengetikan saat berjalan di latar belakang.
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
Apa jawaban singkat untuk "Fitur Remote Computer Use di OpenAI Codex: AI Bisa Mengoperasikan Mac Meski Layar Terkunci"?
Update Codex menghadirkan Remote Computer Use yang memungkinkan AI mengoperasikan aplikasi macOS di latar belakang bahkan setelah Mac terkunci.
Apa poin penting yang harus divalidasi terlebih dahulu?
Update Codex menghadirkan Remote Computer Use yang memungkinkan AI mengoperasikan aplikasi macOS di latar belakang bahkan setelah Mac terkunci. Fitur diaktifkan melalui plugin Computer Use serta izin macOS seperti Screen Recording dan Accessibility.
Apa yang harus saya lakukan selanjutnya dalam latihan?
OpenAI menambahkan lapisan keamanan seperti sandbox, kebijakan persetujuan tindakan, dan akses jaringan yang dinonaktifkan secara default.
Perubahan paling menonjol pada update 21 Mei adalah kemampuan Codex untuk tetap menggunakan aplikasi macOS setelah Mac terkunci. Sistem juga dapat dikendalikan dari jarak jauh melalui ponsel menggunakan Codex Mobile.
Sebelumnya, sebagian besar sistem otomatisasi berbasis AI memiliki keterbatasan penting:
komputer harus tetap terbuka (tidak terkunci)
layar harus tetap aktif
agen AI harus melihat tampilan layar secara langsung
Fitur baru ini menghapus batasan tersebut. Menurut catatan rilis, Codex dapat melanjutkan tugas otomatis di aplikasi desktop meskipun sesi pengguna telah terkunci. Hal ini memungkinkan workflow otomatis berjalan lebih lama tanpa pengawasan langsung.
Namun, cara teknis persis bagaimana Codex mempertahankan akses visual dan input ketika layar mati belum dijelaskan dalam dokumentasi publik. Sumber yang tersedia hanya mengonfirmasi bahwa kemampuan tersebut ada, tanpa menjelaskan arsitektur internalnya.
Cara Mengaktifkan Remote Computer Use
Fitur ini diaktifkan melalui aplikasi Codex di Mac.
1. Instal plugin Computer Use
Di aplikasi Codex:
buka Settings (Cmd + ,)
pilih menu Computer Use
klik Install untuk memasang plugin Computer Use.
Plugin ini memungkinkan Codex berinteraksi dengan aplikasi desktop.
2. Berikan izin macOS
Saat instalasi, macOS akan meminta beberapa izin sistem penting:
Screen Recording – agar Codex dapat melihat antarmuka aplikasi
Accessibility – agar Codex dapat mengontrol elemen UI seperti klik dan pengetikan.
Tanpa dua izin ini, AI tidak dapat mengendalikan aplikasi secara langsung.
3. Hubungkan dengan perangkat mobile
Untuk mengontrol komputer dari jarak jauh:
mulai proses setup di aplikasi Codex di Mac
pilih opsi untuk menghubungkan perangkat mobile
pindai QR code yang muncul menggunakan aplikasi ChatGPT di ponsel.
Setelah terhubung, pengguna dapat memulai, memantau, dan mengarahkan tugas Codex dari smartphone sementara Mac menjalankan otomatisasi di latar belakang.
Lapisan Keamanan yang Disediakan
Memberi AI kendali terhadap komputer jelas membawa risiko. Karena itu OpenAI menambahkan beberapa mekanisme perlindungan.
Sandbox sistem operasi
Codex berjalan dalam sandbox yang ditegakkan oleh sistem operasi, yang membatasi akses ke file, perintah, dan sumber daya tertentu—biasanya hanya dalam workspace yang diizinkan.
Kebijakan persetujuan (approval policy)
Sistem approval policy menentukan kapan agen harus berhenti dan meminta izin pengguna sebelum melanjutkan tindakan tertentu.
Ini memungkinkan tugas rutin berjalan otomatis, tetapi operasi berisiko tetap memerlukan konfirmasi manusia.
Akses jaringan dimatikan secara default
Secara default, agen Codex berjalan tanpa akses jaringan, sehingga mengurangi kemungkinan koneksi eksternal yang tidak diinginkan selama otomatisasi.
Izin aplikasi eksplisit
macOS juga menampilkan dialog izin seperti Screen Recording dan Accessibility untuk memastikan pengguna secara eksplisit mengizinkan kontrol antarmuka.
Dalam beberapa kasus, pengguna juga harus menyetujui setiap aplikasi baru sebelum Codex dapat mengoperasikannya.
Pembatasan Wilayah
Saat peluncuran, fitur Computer Use hanya tersedia di macOS dan belum tersedia di beberapa wilayah.
Menurut dokumentasi OpenAI, fitur ini tidak tersedia di:
European Economic Area (EEA)
Inggris
Swiss.
Perusahaan belum menjelaskan secara rinci alasan pembatasan ini, tetapi peluncuran fitur baru sering kali dipengaruhi faktor regulasi dan kepatuhan regional.
Fitur Baru Lain yang Dirilis Bersamaan
Update yang sama juga membawa beberapa kemampuan baru untuk memperluas peran Codex sebagai agen AI.
Goal Mode
Goal Mode memungkinkan Codex bekerja menuju tujuan jangka panjang secara otomatis. Agen dapat menjalankan proses selama berjam‑jam atau bahkan berhari‑hari hingga tugas selesai atau memerlukan persetujuan pengguna.
Mode ini diaktifkan dengan perintah /goal di antarmuka Codex.
Appshots
Fitur Appshots memudahkan pengguna memberikan konteks dari aplikasi lain.
Dengan menekan kedua tombol Command secara bersamaan, Codex akan menerima:
screenshot jendela aplikasi aktif
teks yang diekstrak dari tampilan tersebut
Ini membantu AI memahami konteks aplikasi tanpa pengguna harus menyalin dan menjelaskan isi layar secara manual.
Hal yang Masih Belum Dijelaskan
Walaupun fitur ini sudah tersedia, beberapa detail penting belum dipublikasikan secara terbuka, antara lain:
metode teknis yang memungkinkan kontrol aplikasi ketika Mac terkunci atau layar mati
arsitektur internal yang mempertahankan konteks visual dan kontrol input
analisis risiko keamanan mendalam dari peneliti independen
Dokumentasi resmi saat ini lebih fokus pada cara penggunaan dan pengaturan fitur, bukan detail implementasi teknisnya.
Mengapa Fitur Ini Penting
Remote Computer Use menunjukkan arah baru bagi agen AI yang dapat bekerja secara terus‑menerus di lingkungan komputer nyata.
Alih‑alih hanya memberikan instruksi dan menunggu hasil, pengguna dapat membiarkan AI menjalankan perangkat lunak, menguji antarmuka, atau mengotomatiskan workflow selama berjam‑jam di latar belakang.
Jika teknologi seperti ini semakin matang, batas antara alat otomatisasi tradisional dan agen perangkat lunak otonom bisa semakin kabur—terutama ketika digabungkan dengan fitur seperti Goal Mode yang memungkinkan AI mengejar tujuan dalam jangka waktu panjang.
Comments
0 comments