텐센트 OpenSearch-VL, 멀티모달 AI 검색 에이전트의 공개 레시피

텐센트의 OpenSearch-VL은 일반 이용자가 바로 대화창에서 쓰는 챗봇이라기보다, 멀티모달 AI 검색 에이전트를 만들기 위한 오픈소스 훈련 레시피에 가깝다. 여기서 멀티모달이란 텍스트뿐 아니라 이미지 같은 여러 형태의 정보를 함께 다루는 방식을 뜻한다. 목표는 비전-언어 모델이 한 장의 이미지 안에서만 답을 찾는 수준을 넘어, 부족한 증거를 스스로 찾고 도구를 호출하며 여러 단계를 거쳐 추론하도록 만드는 것이다 . arXiv에는 이 논문이 2026년 5월 6일 제출된 것으로 올라와 있고, 출시 보도는 텐센트 혼원(Tencent Hunyuan)이 UCLA와 홍콩중문대 등과 협력해 공개했다고 전했다 .

왜 주목받나: ‘이미지 이해’에서 ‘증거 수집’으로

OpenSearch-VL이 겨냥하는 문제는 재현 가능성의 공백이다. 초기 보도는 멀티모달 대형언어모델의 다음 과제를 “이미지를 수동적으로 이해하는 것”에서 “능동적으로 증거를 찾고 추론하는 것”으로 설명하면서, 고품질 경로 데이터, 자동화된 경로 합성 방식, 상세한 훈련 레시피의 부족이 병목이었다고 짚었다 .

OpenSearch-VL의 해법은 이 과정을 더 구체적으로 공개하는 것이다. 논문은 멀티모달 딥서치를 위한 데이터, 도구 오케스트레이션, 지도 미세조정(SFT), 강화학습(RL), 평가 방식을 하나의 에이전트 구축 레시피로 제시한다 .

이미지 검색 에이전트는 무엇을 더 하나

일반적인 비전-언어 모델은 이미지에 무엇이 보이는지 설명하거나, 보이는 픽셀을 근거로 질문에 답하는 데 그칠 수 있다. 반면 OpenSearch-VL은 도구를 반복 호출하는 구조를 염두에 둔다. 논문은 에이전트가 웹 검색, 역이미지 검색, OCR, 크롭, 선명화, 초해상도, 원근 보정 도구를 호출할 수 있다고 설명한다 .

이 차이는 검색 과제에서 중요하다. 이미지 속 단서가 작거나 흐릿한 글자일 수도 있고, 잘린 랜드마크나 각도가 어긋난 물체일 수도 있다. 때로는 이미지 안의 단서만으로는 부족해 외부 검색으로 확인해야 한다. OpenSearch-VL의 설정에서는 모델이 어떤 증거가 빠졌는지 판단하고, 검색 또는 이미지 처리 도구를 적용한 뒤, 그 결과를 다음 추론 단계에 반영하도록 설계된다 .

훈련법: SFT, RL, 그리고 실패를 감안한 도구 사용

논문에는 두 종류의 경로 데이터셋이 포함된다. SearchVL-SFT는 3만6,000개의 지도 미세조정 경로를, SearchVL-RL은 8,000개의 강화학습 경로를 담고 있다 . 또 Multi-round Fault-Aware GRPO라는 훈련 방법도 제시한다. 이는 여러 단계에 걸친 도구 사용 과정에서 중간 행동이 실패하거나, 일부만 도움이 되거나, 수정이 필요한 상황을 다루도록 설계된 방식이다 .

여기서 핵심은 “무엇이 보이는가”만 배우는 것이 아니라 “언제 더 찾아볼 것인가”를 배우는 데 있다. 멀티모달 검색 에이전트는 언제 웹 검색을 할지, 언제 이미지를 자를지, 언제 OCR로 글자를 읽을지, 언제 증거 수집을 멈출지를 판단해야 한다. OpenSearch-VL은 이런 결정을 암묵적인 프롬프트 요령에 맡기기보다, 훈련 가능한 경로 예시로 묶어 제시한다 .

성능 주장은 강하지만, 아직은 검증 단계

논문의 성능 주장은 눈에 띈다. 저자들은 7개 멀티모달 딥서치 벤치마크에서 평균 10%포인트가 넘는 향상을 보고했으며, 일부 과제에서는 주요 폐쇄형 상용 모델과 비교 가능한 수준이라고 밝혔다 .

다만 이것이 곧 OpenAI나 Google 시스템과의 제품 수준 동등성을 입증했다는 뜻은 아니다. 현재 제시된 근거는 저자들의 논문과 출시 보도에 가깝고, 독립 연구진의 재현 결과나 실제 상용 시스템을 같은 조건에서 비교한 공개 감사 자료는 아니다 . 따라서 OpenSearch-VL은 기술적으로 유용하고 유망한 공개 시도로 볼 수 있지만, 실제 서비스 환경에서의 신뢰성, 지연시간, 안전성, 장시간 검색 중 오류 복구 능력까지 검증됐다고 보기는 이르다.

OpenAI·Google의 폐쇄형 시스템과 무엇이 다른가

OpenAI나 Google의 폐쇄형 멀티모달 검색·추론 시스템과 비교할 때, 현재 확인 가능한 가장 큰 차이는 공개성이다. OpenSearch-VL은 공개 레시피이자 오픈소스 훈련 방식으로 제시되는 반면, 인용된 자료만으로는 해당 폐쇄형 상용 제품들의 동등한 훈련 스택이 공개돼 있다고 볼 수 없다 .

이 때문에 OpenSearch-VL은 연구자와 개발자에게 특히 의미가 있다. 멀티모달 검색 에이전트가 어떻게 훈련되는지, 도구 사용 경로가 어떻게 구성되는지, 여러 단계의 시각 추론이 어디서 실패하는지를 직접 살펴볼 수 있기 때문이다. 벤치마크 결과는 OpenSearch-VL을 진지한 공개형 도전자로 보이게 하지만, 공개된 근거만으로 폐쇄형 시스템과의 실제 운영 환경 성능 차이를 결론 내리기는 어렵다 .

다음에 볼 포인트

앞으로 중요한 검증은 실전형 테스트다. 외부 연구자들이 논문 속 벤치마크 결과를 재현할 수 있는지, 평가 세트를 넘어 다른 분야에서도 같은 레시피가 통하는지, 더 긴 실제 검색 과정에서 도구 오류를 안정적으로 다루는지가 관건이다.

현재로서는 OpenSearch-VL의 가장 큰 기여는 투명성이다. 멀티모달 검색 에이전트를 어떻게 만들고 훈련할 수 있는지에 대한 구체적인 공개 레시피를 제공했고, 공개형 AI 시스템이 폐쇄형 AI 검색 제품과의 격차를 줄일 수 있는지 시험할 더 명확한 출발점을 마련했다 .