BigSet gör webbinsamling till en fråga om en enda mening

Så fungerar agentkedjan

BigSet bygger inte på ett enda modell-anrop. Systemet delar upp arbetet mellan olika agenter, där en överordnad orkestreringsagent planerar processen och delegerar uppgifter till specialiserade underagenter .

Den dokumenterade arbetsgången ser i huvudsak ut så här:

1. Orkestreringsagenten tolkar frågan. Den omvandlar användarens beskrivning till ett dataskema: vilka kolumner som behövs, vilka datatyper som ska användas och vilka entiteter tabellen ska innehålla. Källorna beskriver modeller i Claude Sonnet-klassen som en del av planeringsarbetet .
2. Researchagenter söker och läser på webben. De skickas ut parallellt för att besöka riktiga webbsidor, navigera på dynamiska webbplatser, hämta relevanta uppgifter och samla in underlag . Det handlar alltså inte bara om semantisk sökning, utan om att interagera med och tolka faktiska webbkällor.
3. Verifieringsagenter kontrollerar resultaten. Insamlade uppgifter jämförs med källorna för att upptäcka fel och minska risken för påhittade rader . Den exakta tekniska utformningen av verifieringssteget är inte fullt beskriven i materialet, men funktionen är tydlig: resultat ska kontrolleras innan de når den färdiga tabellen.
4. Resultatet sammanställs. Raderna dedupliceras och sätts ihop till en ren datamängd som kan exporteras som CSV eller XLSX .

BigSet är även tänkt för återkommande datainsamling. En uppdateringsfrekvens kan ställas in från var 30:e minut till en gång i veckan, så att research- och valideringsprocessen körs på nytt utan att någon behöver underhålla ett eget skript .

AGPL-3.0 och självhostning

BigSet släpps under AGPL-3.0, en stark copyleft-licens . För organisationer som ändrar programvaran och erbjuder den som en nätverkstjänst innebär licensen normalt krav på att motsvarande källkod görs tillgänglig för användarna. Det skiljer sig från både mer tillåtande open source-licenser och slutna SaaS-tjänster.

Systemet kan köras med Docker på den egna infrastrukturen . Då ligger webbläsarinteraktioner, agenternas modellbaserade resonemang och själva datautvinningen i en miljö som organisationen själv kontrollerar. Det kan vara särskilt relevant för verksamheter med krav på dataskydd, åtkomstkontroll och spårbar loggning.

Självhostning eliminerar inte alla kostnader eller risker: användaren behöver fortfarande hantera beräkningskapacitet, modellkostnader, nätverk och drift. Men upplägget minskar beroendet av en extern plattform och ger bättre kontroll över var känsliga sökningar och resultat behandlas.

BigSet jämfört med Exa Websets

Den tydligaste jämförelsen är med Exa Websets, som också bygger strukturerade samlingar av data från webben. Skillnaden ligger framför allt i angreppssättet.

Frågan om hallucinationer

Felaktiga eller helt påhittade dataposter är en central risk när AI självständigt bygger datamängder. Trendshift beskriver ett test där BigSet och en välfinansierad konkurrent fick samma fråga, och hävdar att konkurrenten returnerade hallucinerade uppgifter . Källan namnger dock inte konkurrenten uttryckligen, så påståendet bör läsas som en produktjämförelse från BigSets lanseringsmaterial – inte som ett oberoende benchmark.

Exa har samtidigt beskrivit ett eget arbetsflöde för hallucinationskontroll: först identifieras påståenden, därefter söks belägg fram och slutligen jämförs påståendena med beläggen . Exa Websets använder också agentbaserade kontroller för att avgöra om ett sökresultat verkligen motsvarar den efterfrågade entiteten .

BigSet har enligt lanseringsmaterialet ett särskilt verifieringssteg där agenter kontrollerar uppgifter mot källorna innan tabellen färdigställs . Däremot är det inte offentligt specificerat hur många kontrollpass som används eller exakt hur varje källhänvisning hanteras.

Ett alternativ till traditionell ETL

BigSets mest intressanta löfte är inte bara att automatisera skrapning, utan att flytta en del av dataprocessen från kod till avsikt. I stället för att först skriva och felsöka selektorer, API-anrop och ETL-flöden beskriver användaren vilken datamängd som behövs.

TinyFish har redan beskrivit sin bredare plattform som ett sätt att låta AI-agenter navigera på riktiga webbplatser, fylla i formulär och hämta strukturerade resultat med naturliga språkkommandon . BigSet paketerar den idén i ett mer konkret resultat: en tabell som kan laddas ner, granskas och uppdateras enligt ett schema.

För analytiker och mindre team kan det innebära att timmar av manuellt arbete pressas ihop till en kort interaktion. Samtidigt avgörs verktygets praktiska värde av hur väl agenterna hanterar föränderliga webbplatser, åtkomstbegränsningar och felaktiga källor. BigSet gör processen enklare – men en automatiskt skapad tabell behöver fortfarande granskas innan den används som beslutsunderlag.