Mistral Agentic Search, 복잡한 기업 문서 검색을 AI 조사 업무로 바꾸다

모델은 질문을 좁혀 가면서 이 작업을 여러 차례 반복할 수 있다. 즉, ‘그럴듯한 구절을 찾고 끝내는’ 방식이 아니라 찾기 → 원문 확인 → 관련 근거 추가 탐색 → 정확한 표현 검증의 순환 구조를 갖는다. 이는 모델이 작업 중 외부 함수를 호출하고 그 결과를 다시 받아 다음 추론을 이어 가는 Mistral의 에이전트 구조와도 맞닿아 있다.

복잡한 기업 문서에서 반복 검색이 유리한 이유

첫 검색이 빗나가도 다시 찾을 수 있다

일회성 RAG의 성능은 질문 표현, 문서 분할 방식, 검색 색인, 순위화 결과에 크게 좌우된다. 첫 검색이 일부 근거만 반환하면 모델은 정정에 필요한 자료를 아예 보지 못할 수 있다.

반면 반복형 에이전트는 검색어를 바꾸거나, 다른 문서를 열거나, 처음 찾은 구절 주변의 섹션을 살펴볼 수 있다. 첫 번째로 발견한 답에 고정되지 않고 탐색을 계속할 여지가 생기는 것이다.

표와 각주의 관계를 보존하기 쉽다

재무 공시의 숫자는 제목, 표의 열과 행, 페이지 위치, 각주, 인접 설명과 함께 봐야 의미가 완성되는 경우가 많다. 텍스트를 잘게 나눈 청크만 모아 놓으면 이런 관계가 흐려질 수 있다.

문서 구조를 탐색하고 필요한 부분을 직접 읽는 방식은 모델이 각각의 문장을 고립된 텍스트 조각으로 다루지 않고 문서 안에서 확인하도록 돕는다.

정확한 증거 확인이 가능하다

의미 기반 검색은 비슷한 개념을 찾는 데 강하지만, 회사명·회계 용어·날짜·식별자·반복 공시처럼 정확한 일치가 중요한 경우에는 별도의 확인 절차가 필요하다. Grep과 같은 기능은 특정 단어나 패턴이 실제 문서에 등장하는지 재확인하는 역할을 한다. 검색, grep, read, 문서 트리 탐색을 조합하는 파일 기반 검색 방식은 Mistral 외의 에이전트 문서 시스템에서도 활용된다.

여러 문서를 비교하는 질문에 적합하다

기업용 질문은 한 문서에서 수치를 찾은 뒤 다른 문서에서 그 수치의 정의나 변경 내역을 확인해야 하는 경우가 많다. 모델 주도의 반복 검색은 문서 발견과 증거 검증을 오가며 여러 파일을 비교할 수 있다.

Mistral이 공개한 벤치마크 결과

Mistral은 복잡한 문서 질의응답을 평가하기 위해 FinanceBench와 OfficeQA Pro 결과를 강조하고 있다.

FinanceBench: 정답률 26.7%에서 86%로

FinanceBench는 368건의 금융 공시로 구성되며, 전체 문서 분량은 약 5만3,900쪽이다. Mistral에 따르면 Mistral Medium 3.5는 단일 검색 방식에서 **26.7%**의 정답률을 기록했지만, Agentic Search를 적용했을 때 **86%**를 기록했다. 단순 계산으로 59.3%포인트 상승이며, 기존 결과 대비 약 3.2배다.

Mistral은 제3자 오픈소스 텍스트 모델로 설명한 GLM-5.2도 함께 시험했다. 해당 비교에서 GLM-5.2의 정답률은 단일 검색 방식의 **6.3%**에서 Agentic Search 적용 후 **51.9%**로 높아졌다.

OfficeQA Pro: 45.6%포인트 상승

OfficeQA Pro는 표가 많고 여러 문서를 함께 확인해야 하는 질문을 다루는 벤치마크다. 평가 대상은 스캔된 미국 재무부 회보 문서 696건이다.

Mistral과 Mistral 관계자 Ina Koleva가 공유한 결과에 따르면, 일회성 RAG와 비교했을 때 정답률은 **6.3%에서 51.9%**로 올라갔다. 상승 폭은 45.6%포인트다.

다만 이런 수치가 모든 기업 환경에서 그대로 재현된다는 뜻은 아니다. 문서 파싱과 OCR 품질, 청킹, 색인, 모델 선택, 프롬프트, 도구 호출 제한, 평가 방법에 따라 결과는 달라질 수 있다. OfficeQA Pro 연구도 문서 표현과 파싱 방식이 정확도뿐 아니라 지연 시간, 도구 호출 횟수, 비용에 실질적인 영향을 준다고 지적한다.

정확도만으로는 기업 도입을 결정할 수 없다

Mistral은 주요 벤치마크에서 Agentic Search가 정확도를 높이는 동시에 호출 횟수, 토큰 사용량, 지연 시간도 줄였다고 설명한다. 그러나 여러 단계의 검색 시스템은 도구 호출과 문서 처리를 기다려야 한다.

FinanceBench 결과를 분석한 2차 자료는 전체 루프의 평균 지연 시간을 71초, 90번째 백분위수(p90)를 154초로 제시했다. 이 수치는 Mistral의 1차 자료에 포함된 공식 수치로 확인된 것은 아니므로 참고용으로 다뤄야 한다.

기업이 실제로 비교해야 할 항목은 ‘에이전트형인가 아닌가’가 아니다. 다음 질문이 더 중요하다.

• 올바른 근거를 얼마나 자주 찾는가?
• 페이지, 표, 인용 맥락을 일관되게 보존하는가?
• 평균 응답 시간과 최악의 응답 시간은 어느 정도인가?
• 질문 하나에 도구 호출과 토큰이 얼마나 필요한가?
• 권한 관리, 색인, OCR, 감사 로그를 기존 시스템과 연결할 수 있는가?
• 문서 처리와 모델 추론은 어디에서 이뤄지는가?

Agentic Search는 모델이 필요한 부분만 읽게 해 불필요한 컨텍스트 사용을 줄일 수 있다. 반대로 추론 단계와 도구 호출이 늘어나면 지연 시간과 비용이 커질 가능성도 있다. 따라서 적합한 설계는 질문의 복잡도와 오류 발생 시 위험에 따라 달라진다.

어떤 Mistral 제품에서 이용할 수 있나

Mistral은 Agentic Search를 Search Toolkit과 Libraries를 통해 제공한다고 밝혔다. Mistral의 문서에는 Libraries에 업로드한 파일을 검색하는 문서 라이브러리 기능이 내장 도구로 소개돼 있으며, Agents API는 대화 중 에이전트가 도구를 호출하도록 지원한다.

이 제품의 핵심적인 위치는 소비자용 챗봇 기능에만 머물지 않고, 기업용 애플리케이션·에이전트·검색 파이프라인 안에 결합할 수 있는 검색 구성요소라는 점이다.

모델 유연성이 갖는 의미

Mistral은 Mistral Medium 3.5와 GLM-5.2를 모두 사용해 Agentic Search를 시험했다. 이는 문서 검색과 탐색 계층을 특정 모델 하나에만 묶지 않으려는 설계를 보여준다.

검색·탐색 계층이 여러 추론 모델과 연동될 수 있다면 기업은 모델을 바꿀 때마다 문서 업무 흐름 전체를 다시 구축하지 않아도 될 가능성이 있다. 성능, 가격, 라이선스, 배포 위치, 데이터 통제 요건을 비교하면서 모델을 선택할 수 있다는 의미다.

다만 ‘모델에 구애받지 않는다’는 설계 원칙이 모든 모델에서 동일한 성능을 보장하는 것은 아니다. 도구 호출의 안정성, 긴 문맥 처리, 추론 품질은 모델마다 다르므로 실제 배포 환경에서 별도 검증이 필요하다.

민감한 데이터와 유럽 AI 인프라 전략

Agentic Search는 Mistral이 단순한 모델 공급업체를 넘어, 조직의 민감한 데이터 위에서 검색과 추론을 수행하는 이식 가능한 계층이 되려는 전략을 강화한다. 금융 자료, 법률 문서, 내부 지식 기반을 대상으로 권한을 인식하는 검색과 근거·문맥을 포함한 답변을 제공하겠다는 구상이다.

이는 데이터 처리 위치와 접근 권한을 통제해야 하는 규제 산업에 특히 중요한 메시지다. Mistral 관련 보도는 클라우드와 통제된 인프라, 온프레미스에 가까운 환경을 포함한 배포 유연성을 언급하지만, 배포 선택지가 모든 국가와 산업의 규제 준수를 자동으로 보장하는 것은 아니다.

유럽 내 데이터센터 계획도 같은 맥락에 있다. Reuters는 Microsoft가 Mistral의 유럽 컴퓨팅 인프라에 수십억 달러를 투입하는 계약을 체결했으며, Azure 고객이 프랑스의 Mistral 데이터센터를 활용해 소프트웨어를 개발할 수 있게 된다고 보도했다.

유럽 내 호스팅은 데이터 거주성과 운영 통제에 도움을 줄 수 있다. 그러나 Microsoft와의 협력은 ‘유럽의 주권형 AI’가 글로벌 클라우드와 하드웨어 공급망으로부터 완전히 독립한다는 뜻은 아니라는 점도 보여준다.

30억 유로 투자 유치설이 보여주는 계산

Agentic Search 출시는 Mistral이 약 30억 유로를 조달하고 기업가치를 약 200억 유로로 평가받는 방안을 초기 단계에서 논의 중이라는 보도와도 겹친다. Bloomberg는 협상이 아직 예비 단계이며 조건이 바뀔 수 있다고 전했다.

이 거래가 성사될 경우 2025년 9월 투자 유치 후 보도된 117억 유로 가치보다 크게 높아진다. 다만 현재 언급된 숫자는 완료된 투자 라운드가 아니라 협상 중인 조건이다.

이 자금 조달 가능성은 기업용 검색과 인프라가 왜 중요한지를 보여준다. 최첨단 AI 제품에는 막대한 컴퓨팅 자원이 필요하고, 기업 고객은 자사 데이터 환경에서 안정적으로 작동하는 시스템을 원한다. Agentic Search가 애플리케이션과 검색 계층을 맡는다면, 유럽 데이터센터는 인프라 측면의 해법을 제공하려는 시도다.

경쟁 시장에서의 위치

Mistral은 여러 전선에서 동시에 경쟁하고 있다.

• 기존 기업용 검색: 단순히 문서 목록을 반환하는 것을 넘어, 모델이 근거를 찾고 확인하고 설명하는 작업을 수행하도록 한다.
• 기본 RAG: 벡터 검색이나 키워드 검색을 한 번 실행하는 대신, 반복 검색과 문서 탐색, 증거 검증을 차별점으로 내세운다.
• 클라우드·플랫폼 사업자: 범용 비서 하나에 의존하기보다 조합 가능한 도구, 모델 선택권, 유럽 내 배포 옵션을 강조한다.
• 다른 에이전트형 검색 시스템: OpenSearch도 모델이 검색을 계획하고 자동으로 실행하는 에이전트형 검색 흐름을 설명하고 있어, 이 시장이 Mistral만의 영역은 아니다.

FinanceBench에서 공개된 결과는 긴 문서와 구조가 복잡한 자료를 대상으로 Mistral에 강한 출발점을 제공한다. 그러나 장기적인 경쟁력은 독립 평가와 실제 업무 환경에서도 성능 향상이 유지되는지, 그리고 그 성능을 적절한 지연 시간·비용·보안·통합 복잡도로 제공할 수 있는지에 달려 있다.

결론

Mistral Agentic Search의 핵심 발상은 간단하다. 검색은 답변 직전의 일회성 조회가 아니라, 근거를 찾아 확인하는 조사 과정이어야 한다는 것이다.

검색, 문서 열기, 구조 탐색, 선택 영역 읽기, 정확한 용어 확인을 결합하면 AI 모델은 복잡한 기업 문서에서 답을 찾고 검증할 기회를 더 많이 얻는다.

Mistral이 제시한 결과인 FinanceBench의 26.7%→86% 정답률과 OfficeQA Pro의 45.6%포인트 상승은 이런 설계가 문서 질의응답 성능을 크게 바꿀 수 있음을 시사한다. 다만 최종 판단을 위해서는 각 기업이 자체 데이터로 정확도뿐 아니라 지연 시간, 비용, 권한 관리, OCR·파싱 품질, 감사 가능성까지 함께 측정해야 한다.