ArcticSwarm: jak Snowflake rozbija grupową głupotę AI i deklasuje konkurencję w benchmarkach

Badania ablacyjne: Swobodna rozmowa jest wrogiem różnorodności

Aby sprawdzić, czy to izolacjonistyczne podejście faktycznie działa, Snowflake przeprowadził badanie ablacyjne na podzbiorze 120 pytań z benchmarku BrowseComp . Przetestowano trzy konfiguracje: bramkowany BBS, całkowicie nieograniczoną komunikację „każdy z każdym” (peer-to-peer) oraz niezależne przebiegi pojedynczych agentów .

Wyniki dobitnie potwierdziły słuszność architektury. Nieograniczona komunikacja natychmiastowo zredukowała różnorodność dowodów. Zespół zaobserwował wysoki współczynnik podobieństwa Jaccarda (miara podobieństwa zbiorów) między zestawami adresów URL pobranych przez różnych agentów. Zamiast dzielić się obciążeniem badawczym, by pokryć większy obszar, agenty zbiegały się na tych samych stronach, podążając za pierwszym, wspólnym tropem. Co ważniejsze, Efektywna Wielkość Próby (Effective Sample Size – ESS) — miara tego, ilu prawdziwie niezależnych badaczy emuluje system — była znacząco wyższa przy włączonej barierze odczytu. Izolacja wymusiła różnorodną eksplorację, którą swobodna rozmowa natychmiast zniszczyła .

Wyniki benchmarków: BrowseComp i BrowseComp-Plus

Konstrukcja ArcticSwarm przekłada się na ogromny wzrost wydajności. Na wewnętrznym, hybrydowym benchmarku głębokich badań Snowflake, ArcticSwarm osiągnął 64,18% dokładności w porównaniu do 47,08% dla konfiguracji jednoagentowych, co stanowi poprawę o ponad jedną trzecią .

Jego wyniki w publicznych benchmarkach są jeszcze bardziej uderzające. W pełnym zestawie danych BrowseComp (1266 pytań), wydajność była silnie uzależniona od tego, jak bardzo konsensus został osiągnięty podczas przeglądu :

• Gdy wnioski zostały ZWERYFIKOWANE zarówno przez budującego, jak i dedykowanego recenzenta, dokładność wzrosła do 86,4%.
• Przy recenzji tylko przez budującego, wskaźnik spadł do 70,9%.
• Z samym dedykowanym recenzentem było to 66,1%.
• Gdy w ogóle nie było konsensusu recenzentów, dokładność spadała do zaledwie 35,3%.
  Pokazuje to, że jakość późniejszej fazy przeglądu jest równie kluczowa, co początkowa izolacja.

Dla porównania, w oryginalnym zestawie danych BrowseComp, standardowe duże modele językowe, takie jak GPT-4o i GPT-4.5, osiągają dokładność bliską zeru (0,6%–0,9%). Specjalizujący się w rozumowaniu model OpenAI o1 poprawił wynik do około 10%, podczas gdy OpenAI Deep Research, wyspecjalizowany agent przeglądający internet, osiągnął około 51,5% dokładności .

Na bardziej kontrolowanym benchmarku BrowseComp-Plus, najmocniejszą konkurencyjną konfiguracją jest GPT-5 sparowany z systemem wyszukiwania Qwen3-8B, osiągający 70,12% dokładności, oraz o3 osiągający 63,49% z tym samym systemem . Wynik ArcticSwarm na poziomie 86,4% w najtrudniejszym, podwójnie zweryfikowanym podzbiorze BrowseComp-Plus wyraźnie przewyższa te ustalone punkty odniesienia .

ArcticSwarm w przedsiębiorstwie: CoWork Deep Research

Te koncepcje nie pozostają wyłącznie w sferze badań akademickich. Snowflake integruje teraz metodologię ArcticSwarm, odporną na grupowe myślenie, ze swoją platformą korporacyjną poprzez tryb Głębokich Badań (Deep Research Mode) w Snowflake CoWork . Integracja ta ma na celu umożliwienie pracownikom wiedzy przeprowadzania bezpiecznych analiz o wysokim stopniu pewności, bezpośrednio w zarządzanym środowisku danych Snowflake. Przepływ pracy wspierają trzy kluczowe funkcje :

• Artefakty (Artifacts): Trwałe, wersjonowane wyniki, takie jak raporty, kod i analizy, które mogą być udostępniane i sprawdzane przez cały zespół.
• Pamięć Użytkownika (User Memory): Trwały silnik kontekstu, który zachowuje preferencje użytkownika i wzorce z poprzednich badań w różnych sesjach, aby ulepszać przyszłe zapytania.
• Cortex Sense: Warstwa świadomości kontekstowej, która automatycznie udostępnia aktywnemu agentowi badawczemu istotne wewnętrzne zasoby danych, schematy baz danych i analizy z przeszłości.

Dla użytkowników biznesowych oznacza to, że zdolność ArcticSwarm do opierania się efektowi potwierdzania (confirmation bias) może być zastosowana do złożonego połączenia ustrukturyzowanych zapytań SQL do baz danych i przeszukiwania nieustrukturyzowanych dokumentów wewnętrznych, dostarczając odpowiedzi, które przeszły rygorystyczną, niezależną weryfikację, zanim w ogóle zostaną przedstawione ludzkiemu decydentowi.