자동 모드는 모든 명령마다 인간의 승인을 요청하는 기존 방식을 대체한다. 대신 전용 분류기 모델이 쉘 명령, 파일 쓰기 등 각 도구 호출을 사용자의 요청과 환경 맥락에 비춰 평가하고 실행을 결정한다 . 분류기가 위험하다고 판단한 작업은 차단하고, 저위험 작업은 방해 없이 진행한다 .

변화를 이끈 '승인 피로'

앤트로픽의 내부 텔레메트리에 따르면 사용자들은 명령의 실제 위험도와 관계없이 무려 97%의 권한 요청을 승인한 것으로 나타났다 . 장기 세션에서 특히 두드러진 이 '습관적 클릭' 현상이 승인 피로(approval fatigue)의 핵심 증거였다 .

앤트로픽의 통제된 연구에서 인간의 거부율은 초기 13.6%에서 50회 이상 프롬프트를 반복한 후에는 약 5% 로 추락했다. 이는 수동 승인 모델이 시간이 지남에 따라 심각하게 저하된다는 점을 확인시켜 주었다 .

1,053명 연구: 89% vs 13.6%

앤트로픽이 실시한 이중 맹검 테스트 결과는 다음과 같다 :

• 인간 차단율: 1,053명의 유료 전문 테스터 중 단 143명(13.6%) 만이 심어진 위험 명령을 차단했다. 50회 이상 프롬프트 후에는 약 5%로 떨어졌다.
• 자동 모드 차단율: AI 분류기는 동일한 명령을 89% 차단했다. 총 937개의 위험 명령을 막아냈다.
• 실제 운영 환경에서도 수동 승인 세션에서 의도하지 않은 피해가 발생할 확률이 자동 모드 세션보다 2배 더 높았다 .

잔여 위험: 11% 미스율과 프롬프트 인젝션

• 11% 미스율: 분류기가 약 11%의 위험 명령을 놓칠 수 있다 .
• 적대적 평가: 제3자 레드팀(red-teaming)을 통해 미스율을 더 낮췄지만 완전히 제거하지는 못했다 .
• 프롬프트 인젝션: 테스트에서 프롬프트 인젝션 공격은 단 한 건도 탐지하지 못했다. 다만 이는 테스트 설계의 한계일 가능성도 있다 .
• 예외 케이스: 분류기의 학습 데이터 범위를 벗어나는 매우 새로운 형태나 난독화된 악성 명령은 여전히 위험 요소다 .

보호 장치 및 재정의 기능

• 분류기는 각 도구 호출을 개별 평가한다. 자동 모드가 모든 권한을 일괄 부여하는 것은 아니다 .
• 사용자는 세션 내에서 언제든지 수동 승인 모드로 전환할 수 있다 .
• Team 및 Enterprise 관리자는 조직 전체의 기본 모드(수동 또는 자동)를 고정해 사용자 수준의 기본값을 재정의할 수 있다 .
• 앤트로픽의 외부 레드팀 프로그램은 지속적으로 분류기를 테스트하고 강화하고 있다 .
• Enterprise 계정은 당분간 선택 사항이며, 약 한 달 후 기본값 전환이 예정되어 있다 .

요금제별 전환 및 가격 영향

주요 가격 참고사항: 앤트로픽은 해당 요금제 사용자에게 분류기 토큰에 대한 추가 요금을 부과하지 않기로 결정했다. 이 비용은 기존 구독 요금에 흡수된다 .

자동 모드는 모든 명령마다 인간의 승인을 요청하는 기존 방식을 대체한다. 대신 전용 분류기 모델이 쉘 명령, 파일 쓰기 등 각 도구 호출을 사용자의 요청과 환경 맥락에 비춰 평가하고 실행을 결정한다 . 분류기가 위험하다고 판단한 작업은 차단하고, 저위험 작업은 방해 없이 진행한다 .

변화를 이끈 '승인 피로'

앤트로픽의 내부 텔레메트리에 따르면 사용자들은 명령의 실제 위험도와 관계없이 무려 97%의 권한 요청을 승인한 것으로 나타났다 . 장기 세션에서 특히 두드러진 이 '습관적 클릭' 현상이 승인 피로(approval fatigue)의 핵심 증거였다 .

앤트로픽의 통제된 연구에서 인간의 거부율은 초기 13.6%에서 50회 이상 프롬프트를 반복한 후에는 약 5% 로 추락했다. 이는 수동 승인 모델이 시간이 지남에 따라 심각하게 저하된다는 점을 확인시켜 주었다 .

1,053명 연구: 89% vs 13.6%

앤트로픽이 실시한 이중 맹검 테스트 결과는 다음과 같다 :

• 인간 차단율: 1,053명의 유료 전문 테스터 중 단 143명(13.6%) 만이 심어진 위험 명령을 차단했다. 50회 이상 프롬프트 후에는 약 5%로 떨어졌다.
• 자동 모드 차단율: AI 분류기는 동일한 명령을 89% 차단했다. 총 937개의 위험 명령을 막아냈다.
• 실제 운영 환경에서도 수동 승인 세션에서 의도하지 않은 피해가 발생할 확률이 자동 모드 세션보다 2배 더 높았다 .

잔여 위험: 11% 미스율과 프롬프트 인젝션

• 11% 미스율: 분류기가 약 11%의 위험 명령을 놓칠 수 있다 .
• 적대적 평가: 제3자 레드팀(red-teaming)을 통해 미스율을 더 낮췄지만 완전히 제거하지는 못했다 .
• 프롬프트 인젝션: 테스트에서 프롬프트 인젝션 공격은 단 한 건도 탐지하지 못했다. 다만 이는 테스트 설계의 한계일 가능성도 있다 .
• 예외 케이스: 분류기의 학습 데이터 범위를 벗어나는 매우 새로운 형태나 난독화된 악성 명령은 여전히 위험 요소다 .

보호 장치 및 재정의 기능

• 분류기는 각 도구 호출을 개별 평가한다. 자동 모드가 모든 권한을 일괄 부여하는 것은 아니다 .
• 사용자는 세션 내에서 언제든지 수동 승인 모드로 전환할 수 있다 .
• Team 및 Enterprise 관리자는 조직 전체의 기본 모드(수동 또는 자동)를 고정해 사용자 수준의 기본값을 재정의할 수 있다 .
• 앤트로픽의 외부 레드팀 프로그램은 지속적으로 분류기를 테스트하고 강화하고 있다 .
• Enterprise 계정은 당분간 선택 사항이며, 약 한 달 후 기본값 전환이 예정되어 있다 .

요금제별 전환 및 가격 영향

주요 가격 참고사항: 앤트로픽은 해당 요금제 사용자에게 분류기 토큰에 대한 추가 요금을 부과하지 않기로 결정했다. 이 비용은 기존 구독 요금에 흡수된다 .