AI는 다음과 같은 방식으로 앱을 제어한다.

• 화면 인터페이스를 시각적으로 인식
• 마우스 커서 이동
• 버튼 클릭
• 텍스트 입력
• 메뉴 탐색

즉 API나 CLI 없이도 GUI 기반 애플리케이션을 직접 자동화할 수 있다. 예를 들어 다음과 같은 작업이 가능하다.

• 데스크톱 앱 테스트
• 브라우저 워크플로 자동화
• 설정 변경 자동화
• GUI 기반 데이터 처리

보안 분석 자료에 따르면 Codex는 화면을 시각적 입력 스트림으로 인식하고 클릭·타이핑 같은 동작을 수행한다.

Mac이 잠겨도 계속 동작하는 Remote Computer Use

2026년 5월 21일 업데이트의 핵심은 Mac이 잠긴 뒤에도 Codex가 앱을 계속 사용할 수 있다는 점이다.

기존의 AI 기반 컴퓨터 자동화 시스템은 다음 조건이 필요했다.

• 컴퓨터가 잠겨 있지 않아야 함
• 화면이 켜져 있어야 함
• AI가 실시간 화면을 볼 수 있어야 함

Remote Computer Use는 이 제한을 제거했다. Codex는 Mac이 잠긴 이후에도 작업을 계속 수행하며, Codex Mobile을 통해 스마트폰에서 원격 제어할 수도 있다.

다만 OpenAI는 Mac이 잠긴 상태에서도 입력과 화면 컨텍스트를 유지하는 정확한 기술적 방식은 공개하지 않았다. 현재 문서에서는 기능 존재와 사용 방법만 확인된다.

Codex에서 Remote Computer Use 활성화 방법

이 기능은 Codex 데스크톱 앱에서 설정을 통해 사용할 수 있다.

1. Computer Use 플러그인 설치

Codex 앱에서:

• Settings (Cmd + ,) 열기
• Computer Use 메뉴 이동
• Install 버튼 클릭

이 과정으로 Computer Use 플러그인이 설치된다.

2. macOS 권한 허용

설치 과정에서 macOS가 다음 권한을 요청한다.

• Screen Recording: Codex가 화면 인터페이스를 볼 수 있게 함
• Accessibility: 클릭·키보드 입력 등 UI 제어 허용

GUI 기반 제어를 위해 두 권한이 필수다.

3. 모바일 원격 연결 설정

다른 기기에서 Mac을 제어하려면 다음 단계를 진행한다.

• Codex 앱에서 모바일 연결 설정 시작
• 화면에 표시되는 QR 코드 확인
• 스마트폰의 ChatGPT 앱으로 QR 코드 스캔

이후 사용자는 휴대폰에서 Codex 작업을 시작·조정·승인할 수 있다.

Codex에 적용된 보안 장치

AI가 컴퓨터를 직접 조작하는 만큼 여러 보안 제어가 포함되어 있다.

OS 샌드박스

Codex는 운영체제 수준의 샌드박스에서 실행되어 접근 가능한 영역이 제한된다. 일반적으로 현재 작업 공간 범위로 제한된다.

승인 정책(Approval Policy)

Codex는 특정 작업을 실행하기 전에 사용자 승인을 요구하도록 설정할 수 있다.

• 저위험 작업: 자동 실행
• 고위험 작업: 사용자 승인 필요

이 정책을 통해 자동화와 통제를 동시에 유지한다.

기본 네트워크 차단

Codex는 기본적으로 네트워크 접근이 비활성화된 상태로 실행된다. 외부 연결로 인한 위험을 줄이기 위한 설계다.

앱별 권한 승인

또한 macOS 권한 시스템을 활용해 사용자에게 다음 권한을 명시적으로 요청한다.

• Screen Recording
• Accessibility

일부 구현에서는 새 앱을 조작할 때마다 사용자 승인이 필요하다.

지역별 기능 제한

현재 Computer Use 기능은 macOS에서만 제공되며 일부 지역에서는 사용할 수 없다.

출시 시점 기준 제한 지역:

• 유럽경제지역(EEA)
• 영국
• 스위스

OpenAI는 정확한 이유를 공개하지 않았지만 일반적으로 초기 기능 출시에서는 규제 및 컴플라이언스 문제가 영향을 미치는 경우가 많다.

함께 발표된 주요 기능

이번 업데이트에는 Remote Computer Use 외에도 여러 기능이 추가됐다.

Goal Mode

Goal Mode는 Codex가 특정 목표를 장기간 수행하도록 하는 기능이다.

• /goal 명령으로 시작
• 몇 시간 또는 며칠 동안 작업 지속 가능
• 작업 완료 또는 승인 요청 시 중단

즉 Codex가 장기적인 목표 기반 작업을 수행하는 에이전트로 동작한다.

Appshots

Appshots는 다른 앱의 상황을 Codex에게 빠르게 전달하는 기능이다.

Mac에서 Command 키 두 개를 동시에 누르면 다음 정보가 Codex에 전달된다.

• 현재 앱 창의 스크린샷
• 인터페이스에서 추출된 텍스트

이 덕분에 사용자는 별도로 설명하지 않아도 Codex가 앱 상태를 이해할 수 있다.

아직 공개되지 않은 부분

기능은 공개됐지만 몇 가지 핵심 기술 요소는 여전히 알려지지 않았다.

• Mac이 잠긴 상태에서도 앱을 제어하는 내부 기술 구조
• 화면이 꺼진 상태에서 시각 컨텍스트를 유지하는 방식
• 독립 보안 연구자들의 상세 보안 평가

현재 공개된 자료는 기능과 설정 방법을 설명하지만 구체적인 내부 아키텍처는 공개되지 않았다.

왜 중요한 기능인가

Remote Computer Use는 AI 도구의 역할을 크게 확장한다.

기존에는 사용자가 명령을 보내고 결과를 기다리는 방식이었다면, 이제는 AI가 실제 컴퓨터 환경에서 지속적으로 작업을 수행하는 에이전트로 동작할 수 있다.

Goal Mode와 같은 기능까지 결합되면 Codex는 다음과 같은 역할을 수행할 수 있다.

• 장시간 자동화 워크플로 실행
• GUI 기반 소프트웨어 테스트
• 앱 간 반복 작업 자동화

이런 변화는 전통적인 자동화 도구와 자율형 AI 에이전트의 경계를 점점 흐리게 만들고 있다.

AI는 다음과 같은 방식으로 앱을 제어한다.

• 화면 인터페이스를 시각적으로 인식
• 마우스 커서 이동
• 버튼 클릭
• 텍스트 입력
• 메뉴 탐색

즉 API나 CLI 없이도 GUI 기반 애플리케이션을 직접 자동화할 수 있다. 예를 들어 다음과 같은 작업이 가능하다.

• 데스크톱 앱 테스트
• 브라우저 워크플로 자동화
• 설정 변경 자동화
• GUI 기반 데이터 처리

보안 분석 자료에 따르면 Codex는 화면을 시각적 입력 스트림으로 인식하고 클릭·타이핑 같은 동작을 수행한다.

Mac이 잠겨도 계속 동작하는 Remote Computer Use

2026년 5월 21일 업데이트의 핵심은 Mac이 잠긴 뒤에도 Codex가 앱을 계속 사용할 수 있다는 점이다.

기존의 AI 기반 컴퓨터 자동화 시스템은 다음 조건이 필요했다.

• 컴퓨터가 잠겨 있지 않아야 함
• 화면이 켜져 있어야 함
• AI가 실시간 화면을 볼 수 있어야 함

Remote Computer Use는 이 제한을 제거했다. Codex는 Mac이 잠긴 이후에도 작업을 계속 수행하며, Codex Mobile을 통해 스마트폰에서 원격 제어할 수도 있다.

다만 OpenAI는 Mac이 잠긴 상태에서도 입력과 화면 컨텍스트를 유지하는 정확한 기술적 방식은 공개하지 않았다. 현재 문서에서는 기능 존재와 사용 방법만 확인된다.

Codex에서 Remote Computer Use 활성화 방법

이 기능은 Codex 데스크톱 앱에서 설정을 통해 사용할 수 있다.

1. Computer Use 플러그인 설치

Codex 앱에서:

• Settings (Cmd + ,) 열기
• Computer Use 메뉴 이동
• Install 버튼 클릭

이 과정으로 Computer Use 플러그인이 설치된다.

2. macOS 권한 허용

설치 과정에서 macOS가 다음 권한을 요청한다.

• Screen Recording: Codex가 화면 인터페이스를 볼 수 있게 함
• Accessibility: 클릭·키보드 입력 등 UI 제어 허용

GUI 기반 제어를 위해 두 권한이 필수다.

3. 모바일 원격 연결 설정

다른 기기에서 Mac을 제어하려면 다음 단계를 진행한다.

• Codex 앱에서 모바일 연결 설정 시작
• 화면에 표시되는 QR 코드 확인
• 스마트폰의 ChatGPT 앱으로 QR 코드 스캔

이후 사용자는 휴대폰에서 Codex 작업을 시작·조정·승인할 수 있다.

Codex에 적용된 보안 장치

AI가 컴퓨터를 직접 조작하는 만큼 여러 보안 제어가 포함되어 있다.

OS 샌드박스

Codex는 운영체제 수준의 샌드박스에서 실행되어 접근 가능한 영역이 제한된다. 일반적으로 현재 작업 공간 범위로 제한된다.

승인 정책(Approval Policy)

Codex는 특정 작업을 실행하기 전에 사용자 승인을 요구하도록 설정할 수 있다.

• 저위험 작업: 자동 실행
• 고위험 작업: 사용자 승인 필요

이 정책을 통해 자동화와 통제를 동시에 유지한다.

기본 네트워크 차단

Codex는 기본적으로 네트워크 접근이 비활성화된 상태로 실행된다. 외부 연결로 인한 위험을 줄이기 위한 설계다.

앱별 권한 승인

또한 macOS 권한 시스템을 활용해 사용자에게 다음 권한을 명시적으로 요청한다.

• Screen Recording
• Accessibility

일부 구현에서는 새 앱을 조작할 때마다 사용자 승인이 필요하다.

지역별 기능 제한

현재 Computer Use 기능은 macOS에서만 제공되며 일부 지역에서는 사용할 수 없다.

출시 시점 기준 제한 지역:

• 유럽경제지역(EEA)
• 영국
• 스위스

OpenAI는 정확한 이유를 공개하지 않았지만 일반적으로 초기 기능 출시에서는 규제 및 컴플라이언스 문제가 영향을 미치는 경우가 많다.

함께 발표된 주요 기능

이번 업데이트에는 Remote Computer Use 외에도 여러 기능이 추가됐다.

Goal Mode

Goal Mode는 Codex가 특정 목표를 장기간 수행하도록 하는 기능이다.

• /goal 명령으로 시작
• 몇 시간 또는 며칠 동안 작업 지속 가능
• 작업 완료 또는 승인 요청 시 중단

즉 Codex가 장기적인 목표 기반 작업을 수행하는 에이전트로 동작한다.

Appshots

Appshots는 다른 앱의 상황을 Codex에게 빠르게 전달하는 기능이다.

Mac에서 Command 키 두 개를 동시에 누르면 다음 정보가 Codex에 전달된다.

• 현재 앱 창의 스크린샷
• 인터페이스에서 추출된 텍스트

이 덕분에 사용자는 별도로 설명하지 않아도 Codex가 앱 상태를 이해할 수 있다.

아직 공개되지 않은 부분

기능은 공개됐지만 몇 가지 핵심 기술 요소는 여전히 알려지지 않았다.

• Mac이 잠긴 상태에서도 앱을 제어하는 내부 기술 구조
• 화면이 꺼진 상태에서 시각 컨텍스트를 유지하는 방식
• 독립 보안 연구자들의 상세 보안 평가

현재 공개된 자료는 기능과 설정 방법을 설명하지만 구체적인 내부 아키텍처는 공개되지 않았다.

왜 중요한 기능인가

Remote Computer Use는 AI 도구의 역할을 크게 확장한다.

기존에는 사용자가 명령을 보내고 결과를 기다리는 방식이었다면, 이제는 AI가 실제 컴퓨터 환경에서 지속적으로 작업을 수행하는 에이전트로 동작할 수 있다.

Goal Mode와 같은 기능까지 결합되면 Codex는 다음과 같은 역할을 수행할 수 있다.

• 장시간 자동화 워크플로 실행
• GUI 기반 소프트웨어 테스트
• 앱 간 반복 작업 자동화

이런 변화는 전통적인 자동화 도구와 자율형 AI 에이전트의 경계를 점점 흐리게 만들고 있다.