스노우플레이크 ArcticSwarm: AI 집단사고를 막고 딥리서치 벤치마크를 점령한 비결

실험 증명: 자유로운 대화가 다양성을 죽인다

이러한 ‘고립 전략’이 실제로 효과가 있는지 검증하기 위해, 스노우플레이크는 BrowseComp 벤치마크의 120개 질문으로 실험(ablation study)을 진행했다 .

총 세 가지 환경을 비교했다: 게이트가 달린 게시판, 완전히 자유로운 메신저 대화, 그리고 완전히 독립적인 단독 에이전트 실행이다 .

결과는 충격적이었다. 제약 없는 자유 대화는 증거의 다양성을 즉시 붕괴시켰다. 연구팀은 서로 다른 에이전트들이 수집한 웹페이지(URL) 집합 간의 ‘Jaccard 유사도’가 매우 높아지는 것을 확인했다. 에이전트들이 각자 넓은 범위를 탐색하는 대신, 처음 나온 단서 하나에 매몰되어 똑같은 페이지만 좇고 있었던 것이다 .

더 중요한 점은 ‘유효 표본 크기(Effective Sample Size, ESS)’, 즉 시스템이 실제로 얼마나 많은 독립적인 조사자를 가동하는 것처럼 행동하느냐를 측정한 결과였다. ‘읽기 차단’이 적용된 게시판 환경의 ESS가 자유 대화 환경보다 훨씬 높게 나타났다. 강제된 고립이 자유로운 소통이 파괴한 탐색의 다양성을 보존한 것이다 .

벤치마크 석권: BrowseComp와 BrowseComp Plus

ArcticSwarm의 설계는 실질적인 성능 향상으로 직결됐다. 스노우플레이크가 자체 제작한 하이브리드 딥리서치 벤치마크에서, ArcticSwarm은 64.18%의 정확도를 기록했다. 이는 단일 에이전트 기준 성능인 47.08% 대비 3분의 1 이상 향상된 수치다 .

공개 벤치마크에서의 성과는 더욱 두드러진다. 1,266개의 질문으로 구성된 BrowseComp 전체 데이터셋에서, 검토 과정의 합의 수준에 따른 정확도 차이가 극명하게 드러났다 :

• 작업자와 전담 검토자가 모두 검증한 경우: 정확도가 86.4% 까지 치솟았다.
• 작업자만 검토한 경우: 70.9%
• 전담 검토자만 작업한 경우: 66.1%
• 검토자 간 합의가 전혀 없는 경우: 정확도가 35.3%로 추락했다.

이는 초기 격리(탐색)만큼이나 후속 검토 단계의 질이 결정적으로 중요하다는 사실을 보여준다.

비교 대상은 더욱 흥미롭다. 기존 BrowseComp 데이터셋에서, GPT-4o나 GPT-4.5 같은 표준 LLM은 0.6%~0.9%로 사실상 0점에 가까운 정확도를 보였다. 오픈AI의 추론 특화 모델 o1은 약 10%까지 올라갔지만, 웹 브라우징에 특화된 에이전트인 OpenAI Deep Research조차 약 51.5% 의 정확도를 달성하는 데 그쳤다 .

더 엄격하게 제어된 BrowseComp Plus 벤치마크에서, GPT-5나 o3 같은 최고 수준 모델은 최고 70.12%의 정확도를 보였다. ArcticSwarm이 가장 어려운 조건에서 달성한 86.4% 는 이 확립된 기준선들을 확실히 뛰어넘는 기록이다 .

기업을 위한 무기: CoWork 딥리서치

ArcticSwarm의 집단사고 차단 기술은 단지 연구실의 실험에만 머물지 않는다. 스노우플레이크는 이 기술을 자사의 엔터프라이즈 플랫폼인 Snowflake CoWork의 딥리서치 모드(Deep Research Mode) 에 통합하고 있다 . 이 통합을 통해 지식 노동자들은 스노우플레이크가 관리하는 데이터 환경 안에서 안전하고 신뢰도 높은 분석을 직접 실행할 수 있게 된다. 다음 세 가지 핵심 기능이 이를 뒷받침한다 :

• 아티팩트(Artifacts): 보고서, 코드, 분석 결과물처럼 지속적으로 버전 관리가 되고 팀 전체가 공유하고 검사할 수 있는 산출물.
• 사용자 메모리(User Memory): 사용자의 선호도와 과거 연구 패턴을 여러 세션에 걸쳐 기억하여, 이후 질의의 품질을 높여주는 지속적 컨텍스트 엔진.
• 코텍스 센스(Cortex Sense): 현재 활성화된 연구 에이전트에게 관련성 높은 내부 데이터 자산, 데이터베이스 스키마, 과거 분석 자료 등을 자동으로 추천해 주는 상황 인지 레이어.

이제 기업 사용자는 구조화된 SQL 데이터베이스 쿼리와 비정형 내부 문서 검색이라는 복잡한 조합에도 ArcticSwarm의 확증 편향 저항 능력을 적용할 수 있게 되었다. 그 결과, 인간 의사 결정권자에게 전달되기 전에 독립적이고 엄격한 교차 검증을 거친 답변을 확보할 수 있다.