인텔리전스 인디드(Intelligence Indeed)는 2026년 8월 자사 컴퓨터 사용 AI 제품이 OSWorld에서 90.2%의 과제 성공률을 기록했다고 발표했다. 회사 발표에서는 이 제품을 Z-Agent로, 다른 보도에서는 InAgent로 부른다. 회사 측은 이 기록이 OSWorld에서 처음으로 90%를 넘은 사례이며, 에이전트 프레임워크 하위 리더보드에서도 1위였다고 밝혔다. 1822

이 수치가 시사하는 핵심은 단일 AI 모델이 데스크톱 자동화를 완전히 해결했다는 뜻이 아니다. 오히려 에이전트의 실전 성능은 모델을 둘러싼 실행 하네스(harness), 즉 계획을 통제된 행동으로 옮기고 결과를 확인하며 실패를 복구하는 런타임 소프트웨어에 크게 좌우되고 있다는 점이다.

InAgent가 보고한 성적

보도에 인용된 InAgent의 OSWorld 평가 세부 결과는 다음과 같다.

• 전체 과제 성공률: 90.2%
• 여러 애플리케이션을 넘나드는 과제: 84.7%
• 이미지 편집기 GIMP 과제: 92.3%
• 시스템 수준 과제: 100% 22

다만 이는 회사와 관련 보도가 제시한 결과이며, 독립 검증이나 감사가 완료된 결과로 제시된 것은 아니다. 제공된 자료에는 어떤 기반 모델, 프롬프트, 행동 도구, 평가 설정, 하네스 구성요소가 각각의 성적에 얼마나 기여했는지를 분리해 공개한 기술 보고서도 없다. 벤치마크 점수는 모델의 ‘순수 지능’만이 아니라 모델과 시스템의 결합 구성을 평가한다는 점이 중요하다.

또한 ‘당시 최초·선두’라는 주장과 영구적인 리더보드 1위는 구분해야 한다. 2026년 9월의 한 외부 리더보드 스냅샷에서는 OSWorld-Verified에서 Qwen3.8 Max가 86.1%를 기록한 선두 시스템으로 표시됐다. 리더보드 순위와 평가 구성은 시간에 따라 달라질 수 있다는 뜻이다. 3

OSWorld가 까다로운 이유

OSWorld는 스크린샷을 보고 답하거나 가상 웹페이지를 클릭하는 수준이 아니라, AI 에이전트가 실제 컴퓨터 환경에서 작업하도록 설계된 벤치마크다. 원래 구성은 369개의 현실형 과제로, Chromium, LibreOffice, GIMP, Thunderbird, VLC, Visual Studio Code와 운영체제 작업, 다중 애플리케이션 작업을 포함한다. 평가는 미리 구성된 환경 상태에서 실행되며, 최종 시스템 상태를 확인하는 방식으로 이뤄진다. 214

일반적으로 쓰이는 361개 과제 구성은 수동 설정이 필요할 수 있는 Google Drive 과제 8개를 제외한 것이다. 14

따라서 높은 점수를 얻으려면 에이전트는 단순히 버튼을 맞혀 클릭해서는 안 된다. 여러 단계의 진행 상황을 유지하고, 앱과 파일 상태를 조작하며, 끝났을 때 컴퓨터가 요구된 최종 상태에 도달하도록 만들어야 한다.

초기 성적과 비교하면 90.2%라는 주장이 눈에 띄는 이유도 분명하다. OSWorld의 최초 공개 기준에서 사람은 72.36%를 넘는 과제를 완료한 반면, 최고 모델은 12.24%에 그쳤다. 14 그러나 이를 일반적인 사무 능력의 보편적 척도로 받아들여서는 안 된다. 과제 구성, 초기 환경, 행동 횟수 제한, 도구, 하네스 설계에 따라 성능은 달라진다.

프롬프트에서 하네스로: 무엇이 달라지나

프롬프트 엔지니어링은 모델에게 무엇을 하라고 지시하는 일이다. 컨텍스트 엔지니어링은 모델이 어떤 정보를 보게 할지 다룬다. 반면 하네스 엔지니어링은 에이전트가 관찰하고, 행동하고, 상태를 보존하고, 완료를 검증하고, 실패에서 회복하는 방식을 통제하는 실행 시스템 자체를 설계하는 일이다.

에이전트 시스템 설계에 관한 한 연구 조사는 실행 하네스를 에이전트의 인식, 행동, 오류 감지 및 복구 능력을 좌우하는 인프라로 설명한다. 여기에는 관찰 정보 설계, 행동 공간, 실행 샌드박스, 컨텍스트 관리, 검증 루프 등이 포함된다. 28

컴퓨터를 조작하는 에이전트의 하네스에는 보통 다음 여섯 가지 역할이 필요하다.

1. 업무를 검증 가능한 하위 목표로 분해한다. 예를 들어 ‘주문 정보를 수정하라’는 지시를 레코드 찾기, 필드 검증, 수정, 증빙 첨부, 저장 여부 확인으로 나눈다.
2. 적절한 실행 경로를 고른다. 허용되는 API·명령어·구조화 도구가 있다면 마우스 클릭보다 우선할 수 있으며, 기계가 읽을 수 있는 인터페이스가 없는 단계는 GUI로 처리한다.
3. 지속 가능한 상태를 유지한다. 완료한 단계, 현재 열려 있는 앱, 선택한 항목, 파일, 재시도 안전성 등을 기록한다.
4. 기록의 원천에서 결과를 검증한다. 모델이 성공했다고 말하는 것만으로는 부족하다. API 응답, 데이터베이스 값, 저장 파일, 앱 상태를 확인해야 한다.
5. 안전하게 복구한다. 오래된 페이지, 클릭 실패, 팝업, 시간 초과, 부분 제출, 인증 중단에 대한 재시도·되돌리기·사람 이관 정책이 필요하다.
6. 권한과 관측 가능성을 통제한다. 로그, 행동 추적, 승인 게이트, 제한된 자격증명으로 영향력 큰 작업을 검토 가능하고 더 안전하게 만든다.

이 계층이 성능을 크게 바꿀 수 있다는 실증 결과도 있다. 한 연구는 에이전트형 하네스 엔지니어링을 10회 반복해 Terminal-Bench 2의 pass@1을 69.7%에서 77.0%로 높였으며, 인용된 사람이 설계한 하네스 기준선 71.9%도 넘어섰다고 보고했다. 다른 벤치마크인 만큼 InAgent의 OSWorld 성적을 검증하는 결과는 아니지만, 모델을 바꾸지 않고도 런타임 설계만으로 큰 개선이 가능하다는 근거가 된다. 29

API와 GUI를 함께 쓰는 전략의 의미

InAgent의 상업적 매력으로 거론되는 것은 혼합형 접근이다. 신뢰할 수 있는 프로그래밍 인터페이스가 있는 곳에서는 API를 쓰고, 적절한 API가 없는 애플리케이션에서는 사람이 하듯 GUI를 조작하는 방식이다. 22

이는 기업 현장의 현실적인 문제에 맞닿아 있다. 현대 SaaS는 API를 제공하는 경우가 많지만, 오래된 데스크톱 프로그램, 협력사 포털, 사내 전용 시스템은 사람이 화면에서 처리하는 방식 외에는 실질적인 경로가 없을 수 있다.

원칙적으로 에이전트는 단계마다 더 신뢰도 높은 길을 택할 수 있다.

• 구조화된 조회·수정은 API나 명령어로 처리한다.
• 레거시 또는 폐쇄형 화면에서는 GUI 조작을 사용한다.
• 가능한 경우 결정론적인 원천 시스템에서 결과를 확인한다.

OSWorld-MCP 연구도 특정 환경에서는 도구 호출이 컴퓨터 사용 과제의 성공률을 높일 수 있음을 보여준다. 해당 실험에서 MCP 도구를 추가했을 때 OpenAI o3의 성공률은 15단계 조건에서 8.3%에서 17.6%로, Claude 4 Sonnet은 50단계 조건에서 38.9%에서 45.0%로 상승했다. 24

물론 GUI 자동화의 취약점은 남는다. 인터페이스 변경, 지연, 팝업, 모호한 클릭 대상, 접근 제어, 다중인증(MFA), 되돌리기 어려운 작업이 문제를 일으킬 수 있다. 혼합 실행은 이런 위험을 줄일 수 있지만 없애지는 못한다.

90.2%가 실제 도입에서 뜻하는 것

90.2%의 완료율은 반대로 말하면 9.8%의 벤치마크 과제가 성공적으로 끝나지 못했다는 뜻이다. 비슷한 과제가 가정상 1만 건이라면 약 980건의 예외가 발생할 수 있으며, 겉으로는 성공처럼 보이지만 업무 결과가 잘못된 ‘조용한 오류’는 별도로 고려해야 한다.

그렇다고 이 점수가 의미 없다는 뜻은 아니다. 강한 통제가 가능한 범위가 분명하고 반복 가능한 업무에서는 컴퓨터 사용 에이전트가 실제 효용에 가까워지고 있음을 시사한다. 다만 결제, 법정 신고, 안전 필수 운영, 고객에게 직접 영향을 주는 변경을 사람의 감독 없이 자동화해도 된다는 허가는 아니다.

운영 환경에서 기업은 화려한 통과율 하나보다 다음을 점검해야 한다.

• 자사 업무에서의 완료율과 정확성
• 실패 양상과 복구 가능성
• 비용, 지연 시간, 행동 횟수
• 권한 경계와 승인 지점
• 완료된 행동이 실제로 의도한 시스템 상태를 바꿨다는 증거
• 예외 큐의 규모와 처리 절차

더 어렵고 최신인 OSWorld 2.0도 신중함이 필요한 이유를 보여준다. 이 벤치마크는 장기 작업 108개로 구성됐으며, 주된 500단계 이진 완료 지표에서 최고 결과는 20.6%였다. 작업이 길고 현실적일수록 에이전트가 광범위한 전문 수준의 컴퓨터 사용에는 아직 거리가 있다는 신호다. 17

진짜 이정표는 ‘실행 엔지니어링’

InAgent의 90.2% 성적은 에이전트 시스템 엔지니어링의 이정표로 읽는 편이 정확하다. 더 나은 프롬프트와 풍부한 컨텍스트는 여전히 중요하다. 하지만 신뢰할 수 있는 자동화는 점점 모델 바깥의 장치, 즉 업무 분해, 도구 선택, 지속 상태, 검증 가능한 완료 조건, 제한된 권한, 복구 경로에서 나온다.

기업이 던져야 할 질문은 단순히 어느 모델이 벤치마크 선두인지가 아니다. 특정 업무를 측정 가능한 정확도로 수행하고, 부작용을 통제하며, 진행할 수 없을 때 안전하게 사람에게 넘길 수 있는지가 더 중요하다. 높은 OSWorld 점수는 그 가능성을 판단하는 자료가 될 수 있지만, 그 사실만으로 이를 증명하지는 못한다.

인텔리전스 인디드(Intelligence Indeed)는 2026년 8월 자사 컴퓨터 사용 AI 제품이 OSWorld에서 90.2%의 과제 성공률을 기록했다고 발표했다. 회사 발표에서는 이 제품을 Z-Agent로, 다른 보도에서는 InAgent로 부른다. 회사 측은 이 기록이 OSWorld에서 처음으로 90%를 넘은 사례이며, 에이전트 프레임워크 하위 리더보드에서도 1위였다고 밝혔다. 1822

이 수치가 시사하는 핵심은 단일 AI 모델이 데스크톱 자동화를 완전히 해결했다는 뜻이 아니다. 오히려 에이전트의 실전 성능은 모델을 둘러싼 실행 하네스(harness), 즉 계획을 통제된 행동으로 옮기고 결과를 확인하며 실패를 복구하는 런타임 소프트웨어에 크게 좌우되고 있다는 점이다.

InAgent가 보고한 성적

보도에 인용된 InAgent의 OSWorld 평가 세부 결과는 다음과 같다.

• 전체 과제 성공률: 90.2%
• 여러 애플리케이션을 넘나드는 과제: 84.7%
• 이미지 편집기 GIMP 과제: 92.3%
• 시스템 수준 과제: 100% 22

다만 이는 회사와 관련 보도가 제시한 결과이며, 독립 검증이나 감사가 완료된 결과로 제시된 것은 아니다. 제공된 자료에는 어떤 기반 모델, 프롬프트, 행동 도구, 평가 설정, 하네스 구성요소가 각각의 성적에 얼마나 기여했는지를 분리해 공개한 기술 보고서도 없다. 벤치마크 점수는 모델의 ‘순수 지능’만이 아니라 모델과 시스템의 결합 구성을 평가한다는 점이 중요하다.

또한 ‘당시 최초·선두’라는 주장과 영구적인 리더보드 1위는 구분해야 한다. 2026년 9월의 한 외부 리더보드 스냅샷에서는 OSWorld-Verified에서 Qwen3.8 Max가 86.1%를 기록한 선두 시스템으로 표시됐다. 리더보드 순위와 평가 구성은 시간에 따라 달라질 수 있다는 뜻이다. 3

OSWorld가 까다로운 이유

OSWorld는 스크린샷을 보고 답하거나 가상 웹페이지를 클릭하는 수준이 아니라, AI 에이전트가 실제 컴퓨터 환경에서 작업하도록 설계된 벤치마크다. 원래 구성은 369개의 현실형 과제로, Chromium, LibreOffice, GIMP, Thunderbird, VLC, Visual Studio Code와 운영체제 작업, 다중 애플리케이션 작업을 포함한다. 평가는 미리 구성된 환경 상태에서 실행되며, 최종 시스템 상태를 확인하는 방식으로 이뤄진다. 214

일반적으로 쓰이는 361개 과제 구성은 수동 설정이 필요할 수 있는 Google Drive 과제 8개를 제외한 것이다. 14

따라서 높은 점수를 얻으려면 에이전트는 단순히 버튼을 맞혀 클릭해서는 안 된다. 여러 단계의 진행 상황을 유지하고, 앱과 파일 상태를 조작하며, 끝났을 때 컴퓨터가 요구된 최종 상태에 도달하도록 만들어야 한다.

초기 성적과 비교하면 90.2%라는 주장이 눈에 띄는 이유도 분명하다. OSWorld의 최초 공개 기준에서 사람은 72.36%를 넘는 과제를 완료한 반면, 최고 모델은 12.24%에 그쳤다. 14 그러나 이를 일반적인 사무 능력의 보편적 척도로 받아들여서는 안 된다. 과제 구성, 초기 환경, 행동 횟수 제한, 도구, 하네스 설계에 따라 성능은 달라진다.

프롬프트에서 하네스로: 무엇이 달라지나

프롬프트 엔지니어링은 모델에게 무엇을 하라고 지시하는 일이다. 컨텍스트 엔지니어링은 모델이 어떤 정보를 보게 할지 다룬다. 반면 하네스 엔지니어링은 에이전트가 관찰하고, 행동하고, 상태를 보존하고, 완료를 검증하고, 실패에서 회복하는 방식을 통제하는 실행 시스템 자체를 설계하는 일이다.

에이전트 시스템 설계에 관한 한 연구 조사는 실행 하네스를 에이전트의 인식, 행동, 오류 감지 및 복구 능력을 좌우하는 인프라로 설명한다. 여기에는 관찰 정보 설계, 행동 공간, 실행 샌드박스, 컨텍스트 관리, 검증 루프 등이 포함된다. 28

컴퓨터를 조작하는 에이전트의 하네스에는 보통 다음 여섯 가지 역할이 필요하다.

1. 업무를 검증 가능한 하위 목표로 분해한다. 예를 들어 ‘주문 정보를 수정하라’는 지시를 레코드 찾기, 필드 검증, 수정, 증빙 첨부, 저장 여부 확인으로 나눈다.
2. 적절한 실행 경로를 고른다. 허용되는 API·명령어·구조화 도구가 있다면 마우스 클릭보다 우선할 수 있으며, 기계가 읽을 수 있는 인터페이스가 없는 단계는 GUI로 처리한다.
3. 지속 가능한 상태를 유지한다. 완료한 단계, 현재 열려 있는 앱, 선택한 항목, 파일, 재시도 안전성 등을 기록한다.
4. 기록의 원천에서 결과를 검증한다. 모델이 성공했다고 말하는 것만으로는 부족하다. API 응답, 데이터베이스 값, 저장 파일, 앱 상태를 확인해야 한다.
5. 안전하게 복구한다. 오래된 페이지, 클릭 실패, 팝업, 시간 초과, 부분 제출, 인증 중단에 대한 재시도·되돌리기·사람 이관 정책이 필요하다.
6. 권한과 관측 가능성을 통제한다. 로그, 행동 추적, 승인 게이트, 제한된 자격증명으로 영향력 큰 작업을 검토 가능하고 더 안전하게 만든다.

이 계층이 성능을 크게 바꿀 수 있다는 실증 결과도 있다. 한 연구는 에이전트형 하네스 엔지니어링을 10회 반복해 Terminal-Bench 2의 pass@1을 69.7%에서 77.0%로 높였으며, 인용된 사람이 설계한 하네스 기준선 71.9%도 넘어섰다고 보고했다. 다른 벤치마크인 만큼 InAgent의 OSWorld 성적을 검증하는 결과는 아니지만, 모델을 바꾸지 않고도 런타임 설계만으로 큰 개선이 가능하다는 근거가 된다. 29

API와 GUI를 함께 쓰는 전략의 의미

InAgent의 상업적 매력으로 거론되는 것은 혼합형 접근이다. 신뢰할 수 있는 프로그래밍 인터페이스가 있는 곳에서는 API를 쓰고, 적절한 API가 없는 애플리케이션에서는 사람이 하듯 GUI를 조작하는 방식이다. 22

이는 기업 현장의 현실적인 문제에 맞닿아 있다. 현대 SaaS는 API를 제공하는 경우가 많지만, 오래된 데스크톱 프로그램, 협력사 포털, 사내 전용 시스템은 사람이 화면에서 처리하는 방식 외에는 실질적인 경로가 없을 수 있다.

원칙적으로 에이전트는 단계마다 더 신뢰도 높은 길을 택할 수 있다.

• 구조화된 조회·수정은 API나 명령어로 처리한다.
• 레거시 또는 폐쇄형 화면에서는 GUI 조작을 사용한다.
• 가능한 경우 결정론적인 원천 시스템에서 결과를 확인한다.

OSWorld-MCP 연구도 특정 환경에서는 도구 호출이 컴퓨터 사용 과제의 성공률을 높일 수 있음을 보여준다. 해당 실험에서 MCP 도구를 추가했을 때 OpenAI o3의 성공률은 15단계 조건에서 8.3%에서 17.6%로, Claude 4 Sonnet은 50단계 조건에서 38.9%에서 45.0%로 상승했다. 24

물론 GUI 자동화의 취약점은 남는다. 인터페이스 변경, 지연, 팝업, 모호한 클릭 대상, 접근 제어, 다중인증(MFA), 되돌리기 어려운 작업이 문제를 일으킬 수 있다. 혼합 실행은 이런 위험을 줄일 수 있지만 없애지는 못한다.

90.2%가 실제 도입에서 뜻하는 것

90.2%의 완료율은 반대로 말하면 9.8%의 벤치마크 과제가 성공적으로 끝나지 못했다는 뜻이다. 비슷한 과제가 가정상 1만 건이라면 약 980건의 예외가 발생할 수 있으며, 겉으로는 성공처럼 보이지만 업무 결과가 잘못된 ‘조용한 오류’는 별도로 고려해야 한다.

그렇다고 이 점수가 의미 없다는 뜻은 아니다. 강한 통제가 가능한 범위가 분명하고 반복 가능한 업무에서는 컴퓨터 사용 에이전트가 실제 효용에 가까워지고 있음을 시사한다. 다만 결제, 법정 신고, 안전 필수 운영, 고객에게 직접 영향을 주는 변경을 사람의 감독 없이 자동화해도 된다는 허가는 아니다.

운영 환경에서 기업은 화려한 통과율 하나보다 다음을 점검해야 한다.

• 자사 업무에서의 완료율과 정확성
• 실패 양상과 복구 가능성
• 비용, 지연 시간, 행동 횟수
• 권한 경계와 승인 지점
• 완료된 행동이 실제로 의도한 시스템 상태를 바꿨다는 증거
• 예외 큐의 규모와 처리 절차

더 어렵고 최신인 OSWorld 2.0도 신중함이 필요한 이유를 보여준다. 이 벤치마크는 장기 작업 108개로 구성됐으며, 주된 500단계 이진 완료 지표에서 최고 결과는 20.6%였다. 작업이 길고 현실적일수록 에이전트가 광범위한 전문 수준의 컴퓨터 사용에는 아직 거리가 있다는 신호다. 17

진짜 이정표는 ‘실행 엔지니어링’

InAgent의 90.2% 성적은 에이전트 시스템 엔지니어링의 이정표로 읽는 편이 정확하다. 더 나은 프롬프트와 풍부한 컨텍스트는 여전히 중요하다. 하지만 신뢰할 수 있는 자동화는 점점 모델 바깥의 장치, 즉 업무 분해, 도구 선택, 지속 상태, 검증 가능한 완료 조건, 제한된 권한, 복구 경로에서 나온다.

기업이 던져야 할 질문은 단순히 어느 모델이 벤치마크 선두인지가 아니다. 특정 업무를 측정 가능한 정확도로 수행하고, 부작용을 통제하며, 진행할 수 없을 때 안전하게 사람에게 넘길 수 있는지가 더 중요하다. 높은 OSWorld 점수는 그 가능성을 판단하는 자료가 될 수 있지만, 그 사실만으로 이를 증명하지는 못한다.