Testatakseen, toimiiko tämä eristäytymislähestymistapa todella, Snowflake suoritti ablaatiotutkimuksen BrowseComp-vertailuarvon 120 kysymyksen osajoukolla . Kolmea kokoonpanoa testattiin: portitettua ilmoitustaulua, täysin rajoittamatonta vertaisviestintää ja itsenäisiä yhden agentin ajoja
.
Tulokset vahvistivat arkkitehtuurin jyrkästi. Rajoittamaton vertaisviestintä romahdutti todisteiden monimuotoisuuden välittömästi. Tiimi havaitsi korkean Jaccard-päällekkäisyyden eri agenttien hakemien URL-osoitteiden joukoissa. Sen sijaan, että ne olisivat jakaneet tutkimustaakkaa kattaakseen enemmän maaperää, agentit kerääntyivät samoille sivuille jahdaten samaa varhaista johtolankaa. Vielä kriittisempää oli, että tehokas otoskoko (Effective Sample Size, ESS) – mittari sille, kuinka monta aidosti erillistä tutkijaa järjestelmä emuloi – oli huomattavasti korkeampi lukuesteen ollessa käytössä. Eristys pakotti monipuoliseen tutkimukseen, jonka vapaa keskustelu tuhosi .
ArcticSwarmin muotoilu johtaa massiivisiin suorituskyvyn parannuksiin. Snowflaken omassa sisäisessä hybridisyvätutkimuksen vertailuarvossa ArcticSwarm saavutti 64,18 % tarkkuuden verrattuna yhden agentin kokoonpanojen 47,08 % perustasoon, mikä on yli kolmanneksen parannus .
Sen tulokset julkisissa vertailuarvoissa ovat vieläkin silmiinpistävämpiä. Koko BrowseComp-aineistossa (1 266 kysymystä) suorituskyky oli erittäin kerrostunutta sen mukaan, kuinka paljon konsensusta saavutettiin tarkastelun aikana :
Vertailun vuoksi alkuperäisessä BrowseComp-aineistossa standardimallit, kuten GPT-4o ja GPT-4.5, saavuttavat lähes nollan tarkkuuden (0,6 %–0,9 %). OpenAI:n päättelyyn erikoistunut o1-malli paransi noin 10 %:iin, kun taas OpenAI Deep Research, erikoistunut selausagentti, saavutti noin 51,5 % tarkkuuden .
Hallitumalla BrowseComp-Plus-vertailuarvolla vahvimmat kilpailevat kokoonpanot ovat GPT-5 yhdistettynä Qwen3-8B-hakukoneeseen, saavuttaen 70,12 % tarkkuuden, ja o3 saavuttaen 63,49 % samalla hakukoneella . ArcticSwarmin 86,4 % BrowseComp-Plusin vaikeimmassa, kaksoisvarmennetussa osajoukossa ylittää nämä vakiintuneet lähtötasot selvästi
.
Nämä konseptit eivät rajoitu akateemiseen tutkimukseen. Snowflake on nyt integroimassa ArcticSwarmin ryhmäajattelua vastustavaa menetelmää yritysalustansa kautta Snowflake CoWorkin Deep Research Moden avulla . Tämä integraatio on suunniteltu antamaan tietotyöntekijöille mahdollisuus suorittaa turvallista, korkean luottamustason analyysia suoraan Snowflaken hallitussa tietoympäristössä. Työnkulkua tukee kolme keskeistä ominaisuutta
:
Yrityskäyttäjille tämä tarkoittaa, että ArcticSwarmin kykyä vastustaa vahvistusharhaa voidaan soveltaa jäsenneltyjen SQL-tietokantakyselyiden ja jäsentämättömien sisäisten asiakirjojen sekavaan yhdistelmään, tuottaen vastauksia, jotka ovat selvinneet tiukasta, riippumattomasta ristiintarkastuksesta ennen kuin ne koskaan esitetään ihmispäättäjälle.
Comments
0 comments