액센츄어와 앤트로픽이 최첨단 AI의 안전성을 상시 검증하는 ‘상주형 평가(embedded evaluation)’ 체계에 향후 5년간 합계 최소 20억 달러를 투자하기로 했다. 양사는 각각 최소 10억 달러를 투입할 계획이다. 핵심은 외부 평가자가 모델 출시 직전 한 차례 점검하는 수준을 넘어, 앤트로픽 내부 팀과 함께 모델·안전 절차·보호장치를 지속적으로 들여다보는 방식이다.
3
13
Faculty가 맡을 역할: 모델뿐 아니라 안전 절차도 점검
프로그램은 액센츄어의 전문 AI 사업부 Faculty가 주도한다. 이 팀은 앤트로픽의 내부 팀 및 안전 파트너들과 함께 모델을 평가하고, 의도적으로 취약점이나 위험한 반응을 끌어내는 레드팀 테스트, 정렬(alignment) 평가, 모델 안전장치 시험을 수행할 예정이다.
3
13
앤트로픽이 설명하는 상주형 평가의 목표는 일회성 외부 감사보다 연속적인 검증에 가깝다. 외부 평가자가 직원에 준하는 지속적 접근권을 바탕으로, AI 연구소가 내세운 학습·배포·운영·안전장치 원칙을 실제로 지키는지 확인하는 구조다. 완성된 모델만 검사하는 것이 아니라, 학습 파이프라인과 개발·배포를 둘러싼 절차까지 살피겠다는 뜻이다.
14
41
다만 상주형 평가는 아직 새로운 방식이다. 앤트로픽과 액센츄어도 실제 운영의 세부 사항은 앞으로 마련해야 한다고 밝혔다.
13
‘독립성’의 기준은 접근권과 공개권
앤트로픽의 더 넓은 상주형 평가 구상에 따르면 외부 검토자는 내부 위험평가팀과 대체로 비슷한 수준의 접근권을 받는다. 업무 공간 접근과 직원 면담 등이 포함될 수 있으며, 위험 수준·사고·관행·자신들의 접근권에 관한 핵심 결과를 앤트로픽의 편집 통제 없이 공개할 권리도 제시됐다.
14
41
물론 예외는 있다. 앤트로픽은 보안상 민감한 정보, 법률상 비밀특권이 적용되는 정보, 영업상 민감 정보, 제3자 기밀정보에 대해서는 제한적으로 삭제할 수 있다고 설명한다. 결국 이 제도가 실질적 독립성을 가질지는 평가자가 실제로 어디까지 접근할 수 있는지, 불리한 결과를 얼마나 자유롭게 공개할 수 있는지, 최종 계약이 어떤 공개·보고 기준을 정하는지에 달려 있다.
14
41
아모데이의 ‘프런티어 속도 조절’ 구상에서 첫 단계
앤트로픽은 이번 협력이 다리오 아모데이 CEO의 에세이 We Must Pace the Frontier에서 약속한 외부 평가자 상주 배치의 중요한 첫걸음이라고 밝혔다.
13
아모데이의 구상은 크게 세 단계다.
- 제3자 평가자 상주 배치: 최첨단 AI 개발사는 독립 평가자에게 직원에 준하는 지속적 접근권을 제공해 안전 관행 준수 여부, 학습 파이프라인과 모델의 정렬 상태를 검증하고 사고를 보고하도록 한다. 앤트로픽은 이 단계는 자사에서 먼저 시행하겠다고 약속했다.
14
45
- 민주주의 국가의 최첨단 AI 연구소 간 공조: 경쟁 과정에서 안전 기준을 낮추는 ‘바닥을 향한 경쟁’을 막기 위해, 검증 가능한 공동 접근법을 마련하자는 제안이다.
21
- 글로벌 공조: 민주주의 국가를 넘어 국제적 조정 체계를 모색하되, 정부와 기업을 가로지르는 검증이 어렵다는 현실도 인정한다.
37
앤트로픽은 최첨단 모델 개발사에 대한 독립 평가와 투명성 요구가 기업의 자발적 약속에만 머물러서는 안 되며, 정부가 이를 표준적 기대치로 만드는 데 역할을 해야 한다고 주장해 왔다.
24
27
액센츄어가 유일한 평가자는 아니다
이번 계약이 Faculty를 앤트로픽의 유일한 외부 평가자로 만드는 것은 아니다. 앤트로픽은 여러 평가기관과 협력할 계획이며, METR을 비롯한 비영리 평가기관과도 별도 재원 체계 아래 협력 방안을 검토하고 있다고 밝혔다. 액센츄어 역시 다른 AI 개발사를 대상으로 유사한 업무를 수행할 수 있다.
13
현재로서는 평가 역량을 빠르게 구축해야 한다는 이유로 앤트로픽이 액센츄어의 업무를 직접 지원한다. 하지만 장기적으로는 공동 기금이나 정부 재원이 평가자의 독립성을 더 잘 뒷받침할 수 있다는 것이 앤트로픽의 입장이다.
9
13
기존 사업 협력의 연장선, 목적은 다르다
이번 안전성 협력은 2025년 12월 양사가 기업용 AI 협력을 확대한 뒤 나왔다. 당시 양사는 ‘액센츄어 앤트로픽 비즈니스 그룹’을 만들고, 약 3만 명의 액센츄어 전문가에게 앤트로픽의 Claude 교육을 제공할 계획이라고 발표했다.
1
2
그러나 이번 발표의 초점은 Claude 도입 확대가 아니라, 최첨단 AI 모델을 위한 상시 안전성 평가 역량을 구축하는 데 있다. 발표 직후 액센츄어 주가는 시간외 거래 초반 약 6% 올랐다고 전해졌다.
5
핵심은 ‘투자액’보다 감시 구조의 실험
최소 20억 달러라는 금액도 크지만, 더 중요한 변화는 외부 평가자를 최첨단 AI 개발사 내부에 상주시켜 정기 감사보다 내부 위험평가팀에 가까운 접근권을 부여하려는 시도다.
이 모델이 실질적인 책임성을 만들지는 아직 확정되지 않았다. 평가자의 정보 접근 범위, 부정적 결과의 공개 권한, 그리고 다른 최첨단 AI 기업과 정부가 비슷한 기준을 받아들일지가 성패를 가를 변수다.
13
14