AI가 AI를 심판해도 될까? 샘푸라 리서치가 인간을 남겨두려는 이유

샘푸라 리서치(Sampura Research)는 런던에 기반을 둔 AI 안전 비영리 연구기관이다. 이들이 던지는 질문은 간단하지만 근본적이다. 점점 더 강력해지는 AI 시스템이 제대로, 그리고 안전하게 작동하는지 누가 판단해야 하는가?

샘푸라의 답은 사람을 감독 과정에서 빼는 것이 아니다. 자동화할 수 있는 부분은 AI에 맡기되, 해석과 가치 판단이 필요한 순간에는 사람이 계속 개입하는 인간·AI 협력형 감독을 설계하자는 것이다. 샘푸라는 Coefficient Giving으로부터 첫해 연구비 700만 달러와 추가 약정 400만 달러를 포함해 총 1,100만 달러 규모의 초기 지원금을 받았다고 밝혔다. 1

공식 출범 발표일은 일부 초기 소개와 달리 2026년 8월 25일이다. 발표문에는 Rishub Jain과 Josh Jacob이 설립자로 명시돼 있다. 과거 소셜미디어 게시물에는 Alex Adams가 함께 언급됐지만, 세 사람이 모두 공식 공동 설립자였다는 점은 출범 발표만으로 확인되지 않는다. 112

샘푸라가 말하는 ‘AI 심판’이란

샘푸라의 용어에서 ‘심판(judge)’은 다른 AI 시스템의 행동이 올바르고 정렬돼 있는지 평가하는 사람, AI 모델 또는 양자의 결합 시스템을 뜻한다. 평가 대상은 단일 답변일 수도 있고, 대화 전체나 여러 단계를 거치는 AI 에이전트의 수행 과정일 수도 있다. 1

이 구분이 중요한 이유는 AI의 능력과 AI를 평가하는 능력이 서로 다른 문제이기 때문이다. 모델이 유창하게 답하거나 복잡한 업무를 수행하더라도 평가자를 오도하거나, 보상 함수의 허점을 파고들거나, 긴 작업 과정에서 안전하지 않은 행동을 할 수 있다. 샘푸라는 바로 이런 실패를 발견하고 측정하는 감독 시스템을 연구한다.

샘푸라는 이 연구 방향을 **‘확장 가능한 감독을 위한 인간·AI 상호보완성’**이라고 부른다. 자동화가 안정적인 영역에서는 AI를 활용하면서도, 판단과 맥락 해석, 가치에 민감한 결정에서는 인간의 역할을 유지하겠다는 의미다. 1

왜 AI만으로 AI를 감독하지 않나

AI를 감독자로 활용하면 빠르고 저렴하게 대규모 평가를 할 수 있다. 하지만 샘푸라는 속도가 곧 신뢰성을 의미하지는 않는다고 본다. 공식 발표문이 제시한 주요 위험은 다음과 같다.

• 고르지 않은 능력: AI의 성능은 ‘울퉁불퉁(jagged)’할 수 있다. 어떤 과제에는 강하지만, 다른 과제에서는 예상 밖으로 취약할 수 있다는 뜻이다.
• 겹치는 실패 방식: 인간 평가자와 AI 평가자가 비슷한 오류를 범할 수 있다. 특히 모델이 평가 절차를 공략하도록 최적화될 때 이런 문제가 커질 수 있다.
• 조작과 공모: 감독받는 AI가 자동화된 평가자를 속이거나 영향을 주거나, 평가 과정의 약점을 이용할 가능성이 있다.
• 새롭고 모호한 상황: 기존에 학습한 선호를 기계적으로 적용하는 것만으로는 부족하고, 인간이 가치와 맥락을 숙고해야 하는 사례가 생길 수 있다.

그렇다고 인간 심판이 언제나 AI보다 낫다는 뜻은 아니다. 핵심은 인간과 AI 중 하나를 고르는 것이 아니라, 압박과 최적화 상황에서도 어떤 조합이 가장 신뢰할 만한지 검증하는 것이다. 1

심판의 성능은 어떻게 시험하나

샘푸라의 첫 6개월 프로그램은 20개가 넘는 하위 데이터셋으로 구성된 다양한 심판 리더보드를 만드는 데 초점을 맞춘다. 평가 영역에는 기만 행위 탐지, 문화적 편향, AI 에이전트의 안전하지 않은 행동 등이 포함될 예정이다. 1

시험은 정적인 질문·답변 평가에 그치지 않는다. 샘푸라는 감독받는 모델이 강화학습 과정에서 심판을 직접 상대로 최적화하는 시나리오도 계획하고 있다. 평가받는 시스템이 심판의 약점을 찾아 공략할 유인을 가진 상황에서 심판이 계속 제대로 작동하는지 확인하기 위해서다. 1

연구에서 비교할 대상은 크게 세 가지다.

1. 인간 심판: 사람이 직접 모델의 행동을 평가한다.
2. AI 단독 심판: 빠르고 대규모로 운영할 수 있는 AI 평가자다.
3. 하이브리드 심판: 인간과 AI가 평가 업무를 나누거나 서로의 판단을 보완한다.

목표는 하나의 좁은 벤치마크에서 높은 점수를 얻는 데 있지 않다. 샘푸라는 다양한 시험에서 안정적인 성능을 보이고, 감독 대상 모델이 평가의 허점을 공략하는 능력이 향상되더라도 계속 작동하는 심판을 만들겠다고 밝혔다. 1

인간과 AI의 역할을 나누는 방법

샘푸라가 제시한 하이브리드 감독 방식에는 여러 형태가 있다.

• AI가 자신의 판단 신뢰도를 추정하고, 불확실한 사례를 사람에게 넘긴다.
• 라우팅 시스템이 특정 감독 과제 전체를 인간 또는 AI 평가자에게 배정한다.
• 복잡한 과제를 작은 하위 과제로 나눈 뒤, 각각을 사람이나 기계에 분배한다.
• 어려운 평가를 더 빠르고 일관되게 수행할 수 있도록 인간 평가자에게 전용 인터페이스와 도구를 제공한다.

이 방식에서 인간의 참여는 ‘있다’ 또는 ‘없다’로 나뉘는 절대적인 조건이 아니다. 자동화 검토가 저렴하고 안정적인 사례가 있는 반면, 시간이 더 걸리더라도 사람이 살펴봐야 하는 사례가 있을 수 있다. 따라서 실제 쟁점은 ‘인간 대 AI’가 아니라 정확성, 비용, 속도, 그리고 의도적인 평가 공략에 대한 내구성을 어떻게 조합하느냐에 있다. 1

이후 연구가 향하는 곳

샘푸라는 더 강한 심판을 만든 뒤, 이들이 모델 훈련 과정에서 발생하는 **보상 해킹(reward hacking)**을 줄일 수 있는지 시험할 계획이다. 또한 인간이 어느 정도까지 개입해야 하는지, 기반 모델이 감독 시스템의 허점을 학습할 때 심판을 어떻게 적응시킬지, 심판을 단순한 출력 분류 이상으로 활용할 수 있는지도 연구 대상으로 삼고 있다. 1

여기에는 AI 시스템을 훈련·평가할 때 사용하는 사양, 지침, 평가 기준, 테스트 사례를 작성하거나 검토하는 일이 포함될 수 있다. 샘푸라는 연구 결과를 논문, 코드, 데이터셋, 리더보드 형태로 공개하겠다고 밝혔다. 1

다만 현재 확인 가능한 출범 자료가 뒷받침하는 것은 데이터셋, 벤치마크, 업무 분배, 인간 평가 지원에 관한 전반적인 연구 프로그램이다. ‘미래 지향적 위해(forward-looking harm)’ 데이터셋이나 특정 오픈소스 인간 평가 플랫폼이 공식 발표된 제품이라는 점까지는 확인되지 않는다. 이런 구체적인 프로젝트 명칭은 발표된 사실이 아니라 검증되지 않은 설명으로 봐야 한다.

런던에서 인재를 뽑는 이유

샘푸라는 런던에서 창립 기술 인력을 채용하고 있다고 밝혔다. 이 프로그램을 운영하려면 머신러닝, 평가 설계, 인간·컴퓨터 상호작용, 데이터 운영, 실제 배포 등 여러 분야의 전문성이 필요하다. 1 과거 공개 게시물에는 연구원 6명 이상을 추가로 채용하고 연봉으로 10만~29만 파운드를 제시한다는 내용이 있었지만, 이 구체적인 급여와 채용 규모는 비영리기관의 공식 출범 발표에서 확인되지 않았다. 1213

AI 평가 분야 전체가 제한된 전문 인력 풀을 두고 경쟁하고 있다는 점도 변수다. AI 평가 연구기관 METR의 기술직 채용 공고는 기본 연봉으로 28만5,548~50만3,116달러를 제시하며, 예외적으로 경험이 많은 지원자에게는 이보다 높은 보상도 검토할 수 있다고 밝히고 있다. 18

이 격차는 샘푸라가 마주한 과제를 보여준다. 신뢰할 수 있는 AI 감독에는 기술 연구뿐 아니라 실제 환경에서의 세밀한 평가가 필요하지만, 이 문제를 다루는 기관들은 같은 소수의 인재를 확보하기 위해 경쟁하고 있다.

AI의 속도를 감독이 따라갈 수 있을까

샘푸라의 출범은 AI 개발 속도가 이를 감시하고 통제하려는 시스템을 앞지를 수 있다는 우려가 커지는 가운데 이뤄졌다. 2026년 7월에는 주요 AI 기업 직원 1,100명 이상이 미국 정부에 국제적 기술·거버넌스 수단 마련을 지원해 달라는 공개서한에 서명했다. 필요하다면 최첨단 AI 개발의 속도를 의도적으로 조절할 수 있는 장치를 만들자는 내용이다. 이 서한은 AI 개발을 당장 중단하자는 요구는 아니었다. 40

AI 업계의 인재 이동도 이어졌다. 로이터는 2026년 구글 AI 부문의 리더십 변화와 함께 주요 엔지니어·연구자들이 다른 기업과 스타트업으로 이동했다고 보도했다. 49 이는 샘푸라가 등장한 배경을 이해하는 데 참고가 되지만, 비영리기관이 근본적인 AI 안전 문제를 해결했다는 증거는 아니다.

지금 샘푸라가 말할 수 있는 것과 말할 수 없는 것

현재 가장 강하게 확인되는 사실은 샘푸라가 AI 감독을 위한 측정·판단 인프라를 구축하려는 초기 단계의 연구기관이라는 점이다. 이들이 만드는 벤치마크와 하이브리드 평가 방식은 향후 AI 연구소, 독립 평가기관, 모델 행동을 시험하는 조직에서 활용될 가능성이 있다. 1

하지만 이것이 샘푸라가 최첨단 AI 시스템을 직접 통제하거나 안전하게 가둘 수 있다는 의미는 아니다. 당장의 역할은 유능하고 적응적이며, 평가를 통과하기 위해 평가 시스템의 허점을 공략할 유인까지 가진 모델을 어떻게 감독해야 하는지 조사하는 데 있다.

샘푸라의 핵심 가설은 분명하다. AI 안전을 확장하려면 자동화가 필요하지만, 가장 중요한 판단에서 인간을 완전히 배제하는 자동화여서는 안 된다.