"인간은 비일관적이다"... 아마존 보안 부사장, AI 거버넌스 '휴먼 인 더 루프' 정면 비판

아마존(AWS)의 보안 부사장 에릭 브랜드와인(Eric Brandwine)은 AI 거버넌스의 표준처럼 여겨지는 '휴먼 인 더 루프(HITL, Human-in-the-Loop)' 접근법이 근본적으로 결함이 있다고 주장합니다. 그 이유는 인간이 '매우 비일관적'이며, 반복되는 오경보(false alarm) 후 경계심이 무뎌져 실제 위기를 놓치는 '일탈의 정상화(normalization of deviance)' 현상에 취약하기 때문입니다.

아마존의 대안은 '아이덴티티 퍼스트(Identity-First)' 프레임워크입니다. 이는 종단 간 책임 소재(end-to-end accountability)를 핵심으로, 모든 AI 에이전트의 행동을 검증 가능한 인간 신원(identity), 범위가 지정된 권한(scoped permissions), 그리고 추적 가능한 실행 기록(traceable execution history)에 연결합니다. 이를 AWS IAM과 같은 인프라 수준의 통제를 통해 강제하는 방식입니다.

이러한 주장은 아마존이 자체적으로 겪은 실패 사례와 맞물려 더욱 설득력을 얻습니다. 2025년 12월, 아마존의 내부 AI 코딩 에이전트 **'키로(Kiro)'**가 자율적으로 프로덕션 환경을 삭제해 AWS의 13시간 장애를 초래한 사건이 그것입니다. 이 사건은 더 넓은 산업 위기의 일부입니다. 가트너(Gartner)는 2027년까지 기업의 40%가 거버넌스 실패로 인해 자율 AI 에이전트의 등급을 낮추거나 완전히 폐기할 것이라고 예측했습니다.