AI가 정답을 맞혔는지가 아니라, 어떻게 발견했는지를 평가한다… Apodex의 TRACES

기존 AI 벤치마크는 대체로 질문과 입력, 정답을 미리 정해 놓고 시스템의 답변을 정답표와 비교한다. Apodex의 TRACES는 다른 길을 택했다. 완성된 AI ‘헤비듀티 솔버’를 실행 가능하고 상태가 유지되는 환경에 투입한 뒤, 아직 결론이 확정되지 않은 과학 문제를 어떻게 조사하는지 관찰한다. AI는 도구를 사용하고, 피드백을 받고, 실패한 접근을 수정하며, 기존에 확립되지 않은 결론을 향해 나아갈 수 있다.

이 차이가 중요한 이유는 그럴듯한 최종 답변이 우연히 맞았을 수도 있고, 근거가 부족하거나 재현이 불가능할 수도 있기 때문이다. TRACES는 결과뿐 아니라 그 결과에 이르는 탐구 과정까지 평가하도록 설계됐다.

TRACES가 측정하려는 것

TRACES는 Apodex가 ‘발견 지향 AI(discoverative AI)’라고 부르는 시스템을 구축하고 평가하기 위한 프레임워크인 Apodex Discovery의 일부다. 이 시스템은 이미 알려진 정보를 검색하거나 다시 표현하는 데 그치지 않고, 잠재적으로 새로운 결론에 도달하는 것을 목표로 한다. TRACES는 실행 가능한 환경, 에피소드, 과제, 숨겨진 검증기를 활용해 열린 탐구를 평가 가능한 형태로 바꾼다.

평가 대상은 단순한 기반 모델이 아니다. 모델과 함께 이를 조율하는 하네스(harness), 외부 도구, 메모리, 조사 과정을 통제하는 정책까지 포함한 ‘완성형 솔버’ 전체가 평가 단위가 된다.

정답표 중심 벤치마크와 무엇이 다른가

일반적인 벤치마크는 질문과 사용할 수 있는 입력, 기대되는 답을 미리 정한다. 반면 TRACES는 먼저 현실의 목표를 제시하고, 솔버가 이를 실행 가능한 조사 과제로 구체화하도록 한다. 솔버는 환경과 상호작용하고, 행동을 선택하며, 과학·계산 도구를 호출하고, 실험 또는 검증기와 유사한 피드백을 받는다.

평가는 다음과 같은 긴 순환 과정으로 이어진다.

1. 가설을 세우거나 다듬는다.
2. 행동 또는 도구 호출을 선택한다.
3. 그 결과로 얻은 증거와 피드백을 관찰한다.
4. 오류나 논리의 약점을 찾는다.
5. 접근법을 수정하고 대안을 시험한다.
6. 증거의 강도와 한계에 맞춰 결론을 제시한다.

따라서 TRACES는 최종 출력이 참고 답안과 얼마나 비슷한지만 기록하지 않는다. 조사 과정 전체의 궤적을 살핀다. 특히 아직 확정된 정답이 없어 전통적인 방식의 ‘정답’ 자체를 만들기 어려운 과학 문제에서 이런 접근은 중요하다.

TRACES의 6가지 평가 기준

TRACES라는 이름은 조사 과정 검증을 위한 6개 차원을 뜻한다. 일부 자료에서는 이를 HDS6라고도 부른다.

• Tools(도구): 관련 외부 도구나 과학·계산 도구를 적절히 선택하고 사용하며, 결과를 올바르게 해석하는가?
• Repair(수정): 피드백을 받은 뒤 실패 지점을 찾아 작업을 고칠 수 있는가?
• Alternatives(대안): 경쟁하는 가설을 검토하고, 근거에 따라 유지·기각·수정하는가?
• Coherence(일관성): 조사 전반에서 연결되고 일관된 추론 흐름을 유지하는가?
• Evidence(근거): 주장이 관찰 결과와 도구 출력, 실험 결과에 기반하는가?
• Scope(범위): 실제 증거가 뒷받침하는 범위 안에서만 주장을 제한하는가?

이 6개 기준은 자신감 있게 추측하는 시스템과, 근거를 추적할 수 있는 신뢰할 만한 조사 과정을 구분하기 위한 것이다. 최종 정답이 아직 존재하지 않더라도 솔버의 논리와 탐구 방식의 품질을 검토할 수 있다는 점이 핵심이다.

출발점과 초기 규모

Apodex Discovery는 열린 과학적 발견을 평가하려면 잘 정의된 문제, 현실에 기반한 환경, 검증 메커니즘, 그리고 작업을 수정할 수 있는 반복 루프가 필요하다고 본다. TRACES는 이 접근법을 실제 벤치마크로 구현한 결과다.

Apodex는 문제를 발굴하는 과정에서 16개 부문에 걸친 561개 산업을 조사하고, 423개의 가치 높은 현실 문제를 모았다고 밝혔다. 이 가운데 초기 공개 버전에는 20개 문제가 선정됐다.

공개 자료에서 확인되는 문제 사례는 다음과 같다.

• AAV 캡시드 설계
• 임상시험 분석
• 약물 재창출 및 제형 변경
• 대규모언어모델(LLM) 학습과 시스템

이 사례들은 TRACES가 여러 과학·기술 영역을 아우르려 한다는 점을 보여준다. 다만 제공된 자료만으로는 초기 공개 버전에 포함된 모든 과제와 분야의 전체 목록을 확정하기 어렵다.

자율형 AI 시대에 과정 평가가 중요한 이유

AI 시스템은 가설 생성, 연구 방향 선택, 실험 결과 분석, 반복적인 연구 설계 지원 등에 점점 더 활용되거나 활용이 제안되고 있다. 이런 환경에서는 유창한 문장 생성만으로 충분하지 않다. 무엇을 시험할지 선택하고, 결과를 해석하고, 실수를 되돌리며, 증거보다 앞서 나가지 않는 판단이 필요하다.

TRACES는 과학적 조사를 상호작용 과정으로 다룬다. 추적 가능한 증거와 적절한 수정 과정을 거쳐 유용한 결과에 도달한 솔버는, 타당한 경로 없이 비슷한 결론만 내놓은 시스템과 다르다는 전제다.

물론 이 방식이 인간의 감독을 없애는 것은 아니다. 연구자와 분야별 전문가는 여전히 목표와 제약 조건을 설정하고, 윤리적·실무적 위험을 판단하며, 가정과 증거를 검증해야 한다. 또한 특정 결론이 실제 행동으로 이어질 만큼 충분한지 결정하는 일도 사람의 몫이다. TRACES가 조사 궤적과 근거, 제한된 주장을 강조하는 이유는 검토자가 검증하기 어려운 최종 주장 하나가 아니라 더 많은 정보를 살펴볼 수 있게 하기 위해서다.

참여 방법

Apodex의 공개 발표는 솔버 시스템과 과학 문제를 모두 대상으로 공개 모집을 진행한다고 설명한다.

솔버를 제출하려는 팀은 기반 모델만 내는 것이 아니라 실제 조사에 사용되는 전체 시스템을 제시해야 한다. 여기에는 모델, 오케스트레이션·하네스 계층, 도구, 메모리, 제어 정책이 포함된다.

문제 제안은 실행 가능하고 검증 가능한 환경으로 구현될 수 있어야 한다. 즉, 솔버가 무엇을 관찰하고 행동할 수 있는지, 어떤 피드백을 받는지, 중간 결과와 최종 주장을 어떤 명시적 성공 기준으로 확인할지 정의할 수 있어야 한다.

핵심은 ‘정답’에서 ‘탐구의 품질’로

TRACES는 AI 벤치마크의 질문을 ‘AI가 기대한 답을 냈는가?’에서 ‘AI가 근거에 기반한 규율 있는 조사를 수행했는가?’로 바꾼다. 이는 고정된 정답표를 사용하는 테스트보다 과학적 발견에 더 가까운 평가 방식이다.

다만 과정 점수가 좋아졌다고 해서 AI가 만든 발견이 안전하거나 유용하며 즉시 실제 현장에 적용할 수 있다는 뜻은 아니다. TRACES는 평가의 폭을 넓히지만, 최종적인 과학적 판단과 현실 적용 여부를 대신 결정하지는 않는다. 인간의 검증과 감독은 여전히 필수적이다.