Gruppendenken war gestern: ArcticSwarm – Die Architektur, die Deep-Research-Benchmarks dominiert

Ablationsstudien: Freie Kommunikation ist der Feind der Vielfalt

Um zu testen, ob dieser isolierende Ansatz wirklich funktioniert, führte Snowflake eine Ablationsstudie an einer Untermenge von 120 Fragen des BrowseComp-Benchmarks durch . Drei Konfigurationen wurden getestet: die Gesperrte Pinnwand, völlig unbegrenzte Peer-to-Peer-Nachrichten und unabhängige Einzelagenten-Durchläufe .

Die Ergebnisse bestätigten die Architektur auf drastische Weise. Ungebremste Peer-to-Peer-Kommunikation ließ die Vielfalt der Evidenz sofort kollabieren. Das Team beobachtete eine hohe Jaccard-Ähnlichkeit (ein statistisches Maß für die Überschneidung) zwischen den URL-Sätzen, die von verschiedenen Agenten abgerufen wurden. Anstatt die Recherchelast aufzuteilen, um mehr Boden abzudecken, stürzten sich die Agenten auf dieselben Seiten und verfolgten dieselbe frühe Spur. Noch kritischer: Die Effektive Stichprobengröße (Effective Sample Size, ESS) – ein Maß dafür, wie viele wirklich eigenständige Ermittler das System emuliert – war mit der eingebauten Lesesperre deutlich höher. Die Isolation erzwang eine diversifizierte Erkundung, die durch freie Kommunikation zerstört wurde .

Man kann sich das wie ein Ermittlerteam vorstellen: Wenn ein Kommissar sofort den ersten Hinweis des Tages laut ausruft, beobachten alle danach nur noch diesen einen Hinweis. ArcticSwarm schickt jeden Kommissar erst einmal allein auf Spurensuche, und erst zur gemeinsamen Besprechung am Abend werden die Notizbücher verglichen.

Benchmark-Ergebnisse: BrowseComp und BrowseComp-Plus

Das Design von ArcticSwarm führt zu massiven Leistungssprüngen. Bei Snowflakes eigenem internen, hybriden Deep-Research-Benchmark erreichte ArcticSwarm eine Genauigkeit von 64,18 % im Vergleich zu 47,08 % als Basiswert für Einzelagenten-Konfigurationen – eine Verbesserung von über einem Drittel .

Noch beeindruckender sind die Ergebnisse auf öffentlichen Benchmarks. Auf dem vollständigen BrowseComp-Datensatz (1.266 Fragen) war die Leistung stark danach geschichtet, wie viel Konsens während der Prüfung erreicht wurde :

• Wenn die Ergebnisse von einem Entwickler UND einem dedizierten Prüfer VERIFIZIERT wurden, schnellte die Genauigkeit auf 86,4 % in die Höhe.
• Bei Prüfung nur durch den Entwickler fiel die Rate auf 70,9 %.
• Bei Prüfung nur durch den dedizierten Prüfer lag sie bei 66,1 %.
• Wenn überhaupt kein Konsens zwischen den Prüfern bestand, stürzte die Genauigkeit auf nur 35,3 % ab.

Dies zeigt, dass die Qualität der nachgelagerten Prüfphase genauso entscheidend ist wie die anfängliche Isolation.

Zum Vergleich: Auf dem ursprünglichen BrowseComp-Datensatz erreichten Standard-LLMs wie GPT-4o und GPT-4.5 eine Genauigkeit nahe Null (0,6 %–0,9 %). OpenAIs auf logisches Denken spezialisiertes Modell o1 verbesserte sich auf etwa 10 %, während OpenAI Deep Research, ein spezialisierter Browser-Agent, eine Genauigkeit von rund 51,5 % erreichte .

Auf dem kontrollierteren BrowseComp-Plus-Benchmark sind die stärksten konkurrierenden Konfigurationen GPT-5 mit einem Qwen3-8B-Retriever, die 70,12 % erreichen, und o3, das mit demselben Retriever 63,49 % erreicht . ArcticSwarms 86,4 % auf der anspruchsvollsten, doppelt verifizierten Teilmenge von BrowseComp-Plus übertreffen diese etablierten Basiswerte deutlich .

ArcticSwarm im Unternehmenseinsatz: CoWork Deep Research

Diese Konzepte sind nicht auf die akademische Forschung beschränkt. Snowflake integriert die Gruppendenken-resistente Methodik von ArcticSwarm nun über Snowflake CoWorks Deep Research Mode in seine Unternehmensplattform . Diese Integration ermöglicht es Wissensarbeitern, sichere, vertrauenswürdige Analysen direkt in der verwalteten Datenumgebung von Snowflake durchzuführen. Der Arbeitsablauf wird dabei von drei Schlüsselfunktionen unterstützt :

• Artefakte (Artifacts): Persistente, versionierte Ausgaben wie Berichte, Code und Analysen, die vom gesamten Team geteilt und überprüft werden können.
• Benutzergedächtnis (User Memory): Eine persistente Kontext-Engine, die Benutzerpräferenzen und frühere Forschungsmuster über verschiedene Sitzungen hinweg speichert, um zukünftige Anfragen zu verbessern.
• Cortex Sense: Eine Kontextbewusstseinsebene, die dem aktiven Forschungsagenten automatisch relevante interne Datenbestände, Datenbankschemata und vergangene Analysen präsentiert.

Für Unternehmensanwender bedeutet dies, dass ArcticSwarms Fähigkeit, dem Bestätigungsfehler zu widerstehen, auf die komplexe Mischung aus strukturierten SQL-Datenbankabfragen und unstrukturierter interner Dokumentenrecherche angewendet werden kann. Es liefert Antworten, die eine rigorose, unabhängige Gegenprüfung überstanden haben, bevor sie jemals einem menschlichen Entscheidungsträger vorgelegt werden.