Daripada hanya bergantung pada API atau alat baris arahan, sistem ini boleh mengendalikan antara muka pengguna grafik secara langsung. Ini bermakna ia boleh mengautomasikan tugas dalam aplikasi desktop, menjalankan aliran kerja penyemak imbas, menguji perisian GUI, atau melaraskan tetapan aplikasi yang tidak boleh diakses melalui integrasi lain.

Laporan yang menerangkan fungsi ini menyatakan bahawa ejen melihat desktop secara visual dan melakukan tindakan seperti pergerakan kursor, klik, dan ketukan kekunci semasa berjalan di latar belakang.

Remote Computer Use Selepas Mac Dikunci

Perubahan besar dalam kemas kini 21 Mei ialah Codex boleh terus menggunakan aplikasi macOS walaupun Mac dikunci, dan ia boleh dikawal dari jauh dari peranti mudah alih yang dipautkan melalui Codex Mobile.

Versi awal sistem 'computer use' AI biasanya memerlukan:

• Komputer kekal tidak dikunci
• Skrin kekal menyala
• Ejen memerhati paparan langsung

Fungsi baru ini menghapuskan had tersebut. Nota keluaran menyatakan bahawa Codex boleh terus menggunakan aplikasi desktop selepas Mac dikunci, membolehkan tugas automasi yang lebih lama atau aliran kerja kawalan jauh.

Walau bagaimanapun, mekanisme teknikal khusus yang membolehkan ini tidak didokumentasikan secara umum. Sumber yang ada mengesahkan keupayaan ini tetapi tidak menerangkan bagaimana input macOS dan akses visual dikekalkan apabila skrin dimatikan.

Cara Aktifkan Remote Computer Use dalam Aplikasi Codex

Pengguna boleh mengaktifkan fungsi ini melalui persediaan aplikasi desktop Codex.

1. Pasang plugin Computer Use

Di dalam aplikasi Codex:

• Buka Settings (Cmd + ,)
• Pergi ke Computer Use
• Klik Install untuk memasang plugin Computer Use.

2. Berikan kebenaran macOS

Semasa persediaan, macOS akan meminta kebenaran peringkat sistem. Pengguna mesti meluluskan:

• Screen Recording – membolehkan Codex melihat antara muka aplikasi
• Accessibility – membolehkan Codex mengawal elemen UI seperti klik dan taip.

Kebenaran ini diperlukan kerana ejen berinteraksi secara langsung dengan antara muka grafik.

3. Konfigurasikan akses jauh ke mesin hos

Untuk membolehkan kawalan jauh dari peranti lain:

• Mulakan aliran persediaan dalam aplikasi Codex pada Mac hos
• Pilih pilihan untuk menyambungkan peranti mudah alih
• Imbas kod QR yang dipaparkan menggunakan aplikasi mudah alih ChatGPT untuk melengkapkan pemasangan.

Setelah disambungkan, pengguna boleh memulakan, mengarah, dan menyemak tugas Codex dari jauh dari telefon mereka sementara Mac hos menjalankan automasi.

Perlindungan Keselamatan Terbina dalam Codex

Oleh kerana ejen AI yang mengawal komputer membawa risiko yang jelas, OpenAI menambah beberapa lapisan perlindungan.

Sekatan Sandbox

Codex berjalan dalam sandbox yang dikuatkuasakan oleh OS yang mengehadkan apa yang boleh diakses secara setempat, biasanya mengehadkan tindakan ke ruang kerja semasa atau persekitaran yang dibenarkan.

Polisi Kelulusan

Polisi kelulusan menentukan bila ejen mesti berhenti dan meminta kebenaran pengguna sebelum meneruskan. Ini membolehkan operasi rutin berjalan secara automatik manakala tindakan berisiko tinggi memerlukan pengesahan manusia.

Akses Rangkaian Dimatikan Secara Lalai

Secara lalai, Codex berjalan tanpa akses rangkaian diaktifkan, mengurangkan kemungkinan sambungan luar yang tidak disengajakan semasa tugas automatik.

Kebenaran Aplikasi Eksplisit

Sistem ini juga bergantung pada gesaan kebenaran macOS — seperti akses Screen Recording dan Accessibility — untuk memastikan pengguna secara eksplisit memberi kuasa untuk kawalan antara muka.

Selain itu, beberapa pelaksanaan memerlukan pengguna meluluskan setiap aplikasi baharu sebelum Codex boleh berinteraksi dengannya.

Sekatan Ketersediaan Serantau

Pada pelancaran, Computer Use dalam aplikasi Codex terhad kepada macOS dan tidak tersedia di beberapa wilayah.

Dokumentasi OpenAI menyatakan fungsi ini tidak tersedia di:

• Kawasan Ekonomi Eropah (EEA)
• United Kingdom
• Switzerland.

Syarikat itu tidak memberikan penjelasan terperinci secara umum tentang sekatan ini, walaupun faktor regulasi dan pematuhan sering menjadi pertimbangan dalam pelancaran awal ciri.

Ciri Lain Diumumkan Bersama Remote Computer Use

Kemas kini yang sama memperkenalkan beberapa keupayaan tambahan yang memperluaskan Codex melangkaui bantuan pengekodan mudah.

Goal Mode

Goal Mode membolehkan Codex mengejar objektif berterusan dalam tempoh yang lama, berpotensi berjalan selama berjam-jam atau berhari-hari sehingga tugas selesai atau memerlukan kelulusan. Pengguna memulakannya dengan arahan /goal dalam antara muka Codex.

Appshots

Appshots menyediakan cara pantas untuk memberi Codex konteks daripada aplikasi lain. Menekan kedua-dua kekunci Command akan menangkap tetingkap aktif dan menghantar:

• Tangkapan skrin tetingkap
• Teks yang diekstrak daripada antara muka

Ini membolehkan Codex memahami apa yang berlaku dalam aplikasi lain tanpa perlu menyalin atau menerangkan secara manual.

Apa Yang Masih Tidak Jelas

Walaupun terdapat keupayaan ciri ini, beberapa butiran masih tidak didokumentasikan secara umum:

• Kaedah teknikal tepat yang membolehkan Codex mengawal aplikasi macOS apabila Mac dikunci atau skrin dimatikan
• Seni bina dalaman yang digunakan untuk mengekalkan konteks visual dan kawalan input dalam keadaan itu
• Analisis risiko perusahaan terperinci daripada penyelidik keselamatan pihak ketiga

Dokumentasi yang ada mengesahkan fungsi dan proses persediaan tetapi tidak menjelaskan sepenuhnya reka bentuk sistem yang mendasarinya.

Mengapa Remote Computer Use Penting

Ciri ini menandakan peralihan ke arah ejen AI berterusan yang beroperasi secara langsung dalam persekitaran pengkomputeran sebenar. Daripada memberi arahan dan menunggu keputusan, pengguna boleh membiarkan AI menjalankan perisian, menguji antara muka, dan mengautomasikan aliran kerja secara berterusan di latar belakang.

Jika digunakan secara meluas, keupayaan seperti Remote Computer Use boleh mengaburkan garis antara alat automasi tradisional dan ejen perisian autonomi — terutamanya dengan ciri seperti Goal Mode yang membolehkan Codex mengejar tugas dalam jangka masa yang panjang.

Daripada hanya bergantung pada API atau alat baris arahan, sistem ini boleh mengendalikan antara muka pengguna grafik secara langsung. Ini bermakna ia boleh mengautomasikan tugas dalam aplikasi desktop, menjalankan aliran kerja penyemak imbas, menguji perisian GUI, atau melaraskan tetapan aplikasi yang tidak boleh diakses melalui integrasi lain.

Laporan yang menerangkan fungsi ini menyatakan bahawa ejen melihat desktop secara visual dan melakukan tindakan seperti pergerakan kursor, klik, dan ketukan kekunci semasa berjalan di latar belakang.

Remote Computer Use Selepas Mac Dikunci

Perubahan besar dalam kemas kini 21 Mei ialah Codex boleh terus menggunakan aplikasi macOS walaupun Mac dikunci, dan ia boleh dikawal dari jauh dari peranti mudah alih yang dipautkan melalui Codex Mobile.

Versi awal sistem 'computer use' AI biasanya memerlukan:

• Komputer kekal tidak dikunci
• Skrin kekal menyala
• Ejen memerhati paparan langsung

Fungsi baru ini menghapuskan had tersebut. Nota keluaran menyatakan bahawa Codex boleh terus menggunakan aplikasi desktop selepas Mac dikunci, membolehkan tugas automasi yang lebih lama atau aliran kerja kawalan jauh.

Walau bagaimanapun, mekanisme teknikal khusus yang membolehkan ini tidak didokumentasikan secara umum. Sumber yang ada mengesahkan keupayaan ini tetapi tidak menerangkan bagaimana input macOS dan akses visual dikekalkan apabila skrin dimatikan.

Cara Aktifkan Remote Computer Use dalam Aplikasi Codex

Pengguna boleh mengaktifkan fungsi ini melalui persediaan aplikasi desktop Codex.

1. Pasang plugin Computer Use

Di dalam aplikasi Codex:

• Buka Settings (Cmd + ,)
• Pergi ke Computer Use
• Klik Install untuk memasang plugin Computer Use.

2. Berikan kebenaran macOS

Semasa persediaan, macOS akan meminta kebenaran peringkat sistem. Pengguna mesti meluluskan:

• Screen Recording – membolehkan Codex melihat antara muka aplikasi
• Accessibility – membolehkan Codex mengawal elemen UI seperti klik dan taip.

Kebenaran ini diperlukan kerana ejen berinteraksi secara langsung dengan antara muka grafik.

3. Konfigurasikan akses jauh ke mesin hos

Untuk membolehkan kawalan jauh dari peranti lain:

• Mulakan aliran persediaan dalam aplikasi Codex pada Mac hos
• Pilih pilihan untuk menyambungkan peranti mudah alih
• Imbas kod QR yang dipaparkan menggunakan aplikasi mudah alih ChatGPT untuk melengkapkan pemasangan.

Setelah disambungkan, pengguna boleh memulakan, mengarah, dan menyemak tugas Codex dari jauh dari telefon mereka sementara Mac hos menjalankan automasi.

Perlindungan Keselamatan Terbina dalam Codex

Oleh kerana ejen AI yang mengawal komputer membawa risiko yang jelas, OpenAI menambah beberapa lapisan perlindungan.

Sekatan Sandbox

Codex berjalan dalam sandbox yang dikuatkuasakan oleh OS yang mengehadkan apa yang boleh diakses secara setempat, biasanya mengehadkan tindakan ke ruang kerja semasa atau persekitaran yang dibenarkan.

Polisi Kelulusan

Polisi kelulusan menentukan bila ejen mesti berhenti dan meminta kebenaran pengguna sebelum meneruskan. Ini membolehkan operasi rutin berjalan secara automatik manakala tindakan berisiko tinggi memerlukan pengesahan manusia.

Akses Rangkaian Dimatikan Secara Lalai

Secara lalai, Codex berjalan tanpa akses rangkaian diaktifkan, mengurangkan kemungkinan sambungan luar yang tidak disengajakan semasa tugas automatik.

Kebenaran Aplikasi Eksplisit

Sistem ini juga bergantung pada gesaan kebenaran macOS — seperti akses Screen Recording dan Accessibility — untuk memastikan pengguna secara eksplisit memberi kuasa untuk kawalan antara muka.

Selain itu, beberapa pelaksanaan memerlukan pengguna meluluskan setiap aplikasi baharu sebelum Codex boleh berinteraksi dengannya.

Sekatan Ketersediaan Serantau

Pada pelancaran, Computer Use dalam aplikasi Codex terhad kepada macOS dan tidak tersedia di beberapa wilayah.

Dokumentasi OpenAI menyatakan fungsi ini tidak tersedia di:

• Kawasan Ekonomi Eropah (EEA)
• United Kingdom
• Switzerland.

Syarikat itu tidak memberikan penjelasan terperinci secara umum tentang sekatan ini, walaupun faktor regulasi dan pematuhan sering menjadi pertimbangan dalam pelancaran awal ciri.

Ciri Lain Diumumkan Bersama Remote Computer Use

Kemas kini yang sama memperkenalkan beberapa keupayaan tambahan yang memperluaskan Codex melangkaui bantuan pengekodan mudah.

Goal Mode

Goal Mode membolehkan Codex mengejar objektif berterusan dalam tempoh yang lama, berpotensi berjalan selama berjam-jam atau berhari-hari sehingga tugas selesai atau memerlukan kelulusan. Pengguna memulakannya dengan arahan /goal dalam antara muka Codex.

Appshots

Appshots menyediakan cara pantas untuk memberi Codex konteks daripada aplikasi lain. Menekan kedua-dua kekunci Command akan menangkap tetingkap aktif dan menghantar:

• Tangkapan skrin tetingkap
• Teks yang diekstrak daripada antara muka

Ini membolehkan Codex memahami apa yang berlaku dalam aplikasi lain tanpa perlu menyalin atau menerangkan secara manual.

Apa Yang Masih Tidak Jelas

Walaupun terdapat keupayaan ciri ini, beberapa butiran masih tidak didokumentasikan secara umum:

• Kaedah teknikal tepat yang membolehkan Codex mengawal aplikasi macOS apabila Mac dikunci atau skrin dimatikan
• Seni bina dalaman yang digunakan untuk mengekalkan konteks visual dan kawalan input dalam keadaan itu
• Analisis risiko perusahaan terperinci daripada penyelidik keselamatan pihak ketiga

Dokumentasi yang ada mengesahkan fungsi dan proses persediaan tetapi tidak menjelaskan sepenuhnya reka bentuk sistem yang mendasarinya.

Mengapa Remote Computer Use Penting

Ciri ini menandakan peralihan ke arah ejen AI berterusan yang beroperasi secara langsung dalam persekitaran pengkomputeran sebenar. Daripada memberi arahan dan menunggu keputusan, pengguna boleh membiarkan AI menjalankan perisian, menguji antara muka, dan mengautomasikan aliran kerja secara berterusan di latar belakang.

Jika digunakan secara meluas, keupayaan seperti Remote Computer Use boleh mengaburkan garis antara alat automasi tradisional dan ejen perisian autonomi — terutamanya dengan ciri seperti Goal Mode yang membolehkan Codex mengejar tugas dalam jangka masa yang panjang.