Sampura Research는 왜 ‘AI를 감독하는 AI’ 대신 인간과 AI의 협업을 택했나

Sampura Research는 어떤 조직인가

Sampura Research는 전 구글 딥마인드 연구자 리슈브 자인(Rishub Jain)과 조시 제이컵(Josh Jacob)이 설립한 런던 소재 AI 안전 비영리단체다. 사용자 질문에는 알렉스 애덤스(Alex Adams)가 공동창립자로 포함돼 있지만, Sampura의 자체 발표문은 자인과 제이컵만 창립자로 소개하며 애덤스는 발표문에 대한 피드백을 제공한 인물로 언급한다. 또한 공개 출범일은 8월 24일이 아니라 2026년 8월 25일로 확인된다. 4

Sampura는 Coefficient Giving으로부터 첫해 700만 달러와 추가 400만 달러를 포함해 총 1,100만 달러의 지원을 약정받았다고 밝혔다. 런던에서 창립 기술 인력을 채용하는 것도 시작할 예정이다. 4

‘AI가 AI를 감독한다’는 방식에 대한 문제 제기

AI 업계에서 말하는 ‘확장 가능한 감독(scalable oversight)’은 강력해지는 AI를 사람이 일일이 검토하기 어렵다는 현실에서 출발한다. 그래서 대규모언어모델(LLM)을 평가자로 활용해 다른 AI의 답변이나 행동을 빠르고 저렴하게 판정하려는 접근이 확산되고 있다.

Sampura의 주장은 인간을 평가 과정에서 완전히 빼서는 안 된다는 것이다. 연구진은 인간이 여전히 다음과 같은 고유한 강점을 가질 수 있다고 본다. 4

• AI가 특정 상황에서는 뛰어나지만 다른 상황에서는 예상 밖으로 취약해지는 ‘들쭉날쭉한 실패’를 발견할 수 있다.
• 평가 대상 모델과 AI 평가자가 서로의 약점을 이용해 결과를 조작하는 상황에서 독립적인 견제 역할을 할 수 있다.
• 새로운 기술이나 사회적 가치가 등장했을 때, 기존 데이터에 없는 기준을 놓고 판단할 수 있다.

즉 Sampura가 제안하는 것은 모든 작업을 사람이 직접 확인하는 체계가 아니다. AI의 속도와 규모를 활용하되, 위험이 크거나 AI 평가자의 확신이 낮은 지점에 인간의 판단을 배치하는 방식이다.

‘하이브리드 심판’은 어떻게 작동하나

Sampura가 말하는 ‘심판(judge)’은 AI의 대화 응답이나 에이전트의 작업 경로가 정확하고 안전한지 평가하는 사람, AI, 또는 둘의 결합 시스템을 뜻한다. 4

구상에는 몇 가지 방법이 포함된다.

1. 불확실성에 따른 인간 이관: AI 평가자의 확신 수준을 추정하고, 판단이 불확실한 사례만 사람에게 넘긴다.
2. 작업 분배 라우터: 전체 과업이나 세부 과업을 인간과 AI 가운데 누가 맡을지 결정한다.
3. 업무별 AI 보조: 사람이 평가할 때 해당 과업에 특화된 AI 지원을 제공한다.

이 구조의 목표는 인간의 검토량을 무작정 늘리는 것이 아니라, 인간의 개입이 안전성 측면에서 가장 큰 효과를 내는 지점을 찾는 데 있다.

벤치마크와 공개 리더보드

Sampura는 출범 후 첫 6개월 동안 인간과 AI 심판의 성능을 비교하고 개선하는 공개 연구 프로그램을 운영할 계획이다. 여기에는 20개가 넘는 하위 데이터셋과 지속적으로 업데이트되는 공개 리더보드가 포함된다. 평가 항목으로는 기만 탐지, 문화적 편향, 안전하지 않은 에이전트 행동 등이 제시됐다. 4

단순한 정적 테스트만 하지는 않는다. 감독받는 모델이 강화학습 과정에서 평가자의 기준을 역으로 최적화해 허점을 파고드는 상황도 시험할 예정이다. 이는 실제 목표를 달성하지 않고 평가 점수만 높이는 ‘보상 해킹(reward hacking)’을 얼마나 잘 감지하는지 확인하기 위한 중요한 절차다.

Sampura는 연구 논문뿐 아니라 코드, 데이터셋, 리더보드도 공개하겠다고 밝혔다. 따라서 성과가 이어진다면 특정 기업 내부의 비공개 안전 평가가 아니라, 외부 연구자들이 재현하고 비교할 수 있는 평가 기반을 제공할 가능성이 있다. 다만 실제 품질과 독립성은 향후 공개 결과를 통해 검증돼야 한다.

‘반항하는 AI’보다 넓은 위험을 겨냥한다

Sampura의 연구 범위는 흔히 말하는 ‘통제 불능 AI’ 시나리오에만 머물지 않는다. 편향, 아동과의 위험한 상호작용, 동반자형 AI에 대한 과도한 의존 같은 문제도 포함한다. 이후에는 AI의 결과물을 판정하는 데서 나아가, 평가에 사용되는 지시문·루브릭·테스트 사례를 만들고 검증하는 작업까지 확장할 계획이다. 4

이런 접근은 문제가 발생한 뒤 찾는 것보다, 어떤 실패가 일어날 수 있는지 사전에 설계하고 시험하는 데 초점을 둔다. 그러나 현재 발표된 내용은 연구 계획이다. Sampura가 이미 강력한 AI를 안전하게 격리하거나 통제할 수 있는 능력을 입증했다는 의미는 아니다.

실제 배치에서 검증해야 할 것들

Sampura가 넘어야 할 가장 중요한 단계는 연구실 안에서 더 나은 심판을 만드는 데 그치지 않고, 실제 AI 개발과 배포의 안전성을 개선하는지 입증하는 것이다. 연구진은 다음과 같은 질문을 검토할 예정이다. 4

• 더 나은 심판이 실제로 보상 해킹을 줄이는가?
• 모델이 변화하고 적응할 때 심판은 언제 재훈련해야 하는가?
• 인간 검토의 비용·속도·품질 사이에서 가장 효율적인 균형점은 어디인가?

초기에는 제3자 평가자와 함께 배치 환경을 스트레스 테스트한 뒤, 장기적으로는 프런티어 AI 연구소의 모델 훈련, 평가, 모니터링에 활용되는 것을 목표로 할 수 있다. 여기서 ‘할 수 있다’는 표현이 중요한 이유는, 발표문이 구체적인 도입 계약이나 상용 배치를 확정한 것은 아니기 때문이다.

인재 확보가 중요한 이유

AI 안전 연구는 자금뿐 아니라 숙련된 평가 인력 자체가 병목이 되고 있다. AI 모델을 독립적으로 평가하는 비영리 연구기관 METR은 평가 실행 직무의 연봉을 28만 5,548~50만 3,116달러로 제시했고, 탁월한 지원자에게는 이보다 높은 수준도 검토할 수 있다고 밝혔다. 9

이 사례는 전문적인 AI 평가 인력이 얼마나 희소한지를 보여준다. Sampura가 런던에서 기술 인력을 모집하는 이유도 이와 무관하지 않다. 다만 Sampura가 최소 6명의 연구자를 연봉 10만~29만 파운드에 채용한다는 구체적인 주장은 확인된 1차 자료만으로는 뒷받침되지 않는다. 자체 발표문에는 런던에서 창립 기술 인력을 채용한다고만 적혀 있다. 4

AI 개발 속도 논쟁과 Sampura의 위치

2026년 7월에는 프런티어 AI 개발이 인간의 안전한 감독 능력을 앞지를 경우 개발 속도를 늦출 수 있는 국제적 장치를 마련해야 한다는 공개서한에 1,100명 이상의 AI 업계 종사자가 서명했다. 1

Sampura의 연구는 이 논쟁에 필요한 기술적 기반과 연결된다. 신뢰할 수 있고 감사 가능한 평가가 있어야 ‘현재의 감독 능력으로 충분한가’를 판단할 수 있기 때문이다. 그러나 Sampura 하나만으로는 국제 공조, 법적 권한, 모델에 대한 접근권, 규제 집행력을 만들 수 없다. 따라서 이 조직의 역할은 거버넌스를 대신하는 것이 아니라, 거버넌스가 작동하기 위해 필요한 평가 도구를 보완하는 데 가깝다.

딥마인드 인력 이탈이 보여주는 맥락과 한계

자인의 딥마인드 퇴사는 여러 연구자들의 연쇄 이탈이 보도된 시기와 겹친다. 다만 ‘6일 동안 핵심 연구자 5명이 빠져나갔다’는 표현은 신뢰도가 낮은 2차 보도에 주로 기반한 것으로 보이며, 독립적으로 확립된 사실로 단정해서는 안 된다. 5

마찬가지로 현재 자료만으로 AI 기업들이 ‘자신들이 만든 것을 아직 통제하지 못한다’는 광범위한 주장까지 입증됐다고 보기도 어렵다. 보다 신중한 결론은 다음과 같다. 고도화되는 AI 모델을 강건하게 감독할 방법은 아직 입증 과정에 있고, 전문 평가 인력은 부족하다. Sampura Research는 AI가 AI를 안전하게 감독할 수 있다고 가정하기보다, 인간의 판단을 더 확장 가능하고 회복력 있게 만드는 방법을 연구하려는 시도다.