BigSet gjør én setning om til et levende datasett med AI-agenter

Fra naturlig språk til ferdig tabell

BigSet er ikke bare ett enkelt kall til en språkmodell. Løsningen er bygget som en fleragentspipeline, der en overordnet agent planlegger arbeidet og sender oppgaver videre til spesialiserte agenter.

Den dokumenterte arbeidsflyten ser slik ut :

1. Orkestratoragenten tolker forespørselen. Den analyserer hva brukeren ber om, og utleder skjemaet for sluttresultatet – altså hvilke kolonner, datatyper og enheter tabellen skal inneholde. Kildene beskriver at modeller som Claude Sonnet brukes til mer krevende planlegging og resonnering .
2. Forskningsagenter undersøker nettet. Disse agentene sendes ut for å besøke faktiske nettsider, navigere i innholdet, hente ut bestemte datapunkter og samle dokumentasjon . Det er dermed mer enn et vanlig semantisk søk: agentene er laget for å åpne og tolke reelle nettsider.
3. Verifikasjonsagenter kontrollerer funnene. Opplysningene kryssjekkes mot kildene for å avdekke eller hindre rader som er oppdiktet av modellen – en avgjørende egenskap dersom datasettene skal brukes i praksis .
4. Resultatene samles og eksporteres. Duplikater fjernes, radene settes sammen til en ryddig tabell, og brukeren kan laste ned resultatet som CSV- eller XLSX-fil .

Det er også lagt opp til løpende oppdateringer. Brukeren kan velge intervaller fra hvert 30. minutt til én gang i uken, slik at hele research- og valideringsprosessen kjøres på nytt uten at noen må vedlikeholde et skript manuelt .

Hva betyr AGPL-3.0 og selvhosting?

AGPL-3.0 er en såkalt sterk copyleft-lisens. For team som endrer programvaren og gjør den tilgjengelig som en nettverkstjeneste, vil lisensen normalt innebære at den endrede kildekoden må gjøres tilgjengelig for brukerne. Det skiller BigSet fra både mer liberale åpen kildekode-lisenser og proprietære SaaS-tjenester .

BigSet kan kjøres i Docker på egen infrastruktur . I praksis betyr det at nettleserinteraksjoner, agentenes modellbaserte resonnering og logikken for datauthenting kan legges i et miljø virksomheten selv kontrollerer.

Dette kan være viktig for organisasjoner med strenge krav til personvern, sikkerhet eller datalokasjon. Forespørsler om for eksempel interne markeder eller konkurranseinformasjon trenger ikke nødvendigvis å sendes gjennom en ekstern plattform. Samtidig forsvinner ikke alle kostnader eller risikofaktorer: Den som selv drifter BigSet, må håndtere servere, nettverk, tilgangskontroll, logger og eventuelle kostnader til språkmodeller.

BigSet mot Exa Websets

Den nærmeste kommersielle sammenligningen er Exa Websets, som også bygger strukturerte datasamlinger fra informasjon på nettet. Begge produktene forsøker å gjøre nettet søkbart som en database, men tilnærmingen er ulik .

Ulike veier til strukturert webdata

BigSet beskrives som en fleragentsløsning der en orkestrator planlegger skjemaet og sender agenter ut for å bla gjennom, hente og verifisere data fra levende nettsider .

Exa Websets bruker på sin side embedding-basert søk for å finne relevante kandidater i Exas indeks, før agentbaserte arbeidsflyter kontrollerer om hvert treff faktisk passer med brukerens forespørsel . Exas dokumentasjon viser også en generell metode for å oppdage hallusinasjoner: Påstander trekkes ut fra teksten, det søkes etter bevis, og påstandene kontrolleres mot funnene .

Hallusinasjonsproblemet

Når en AI-agent bygger datasett på egen hånd, er spørsmålet om pålitelige rader helt sentralt. Trendshift omtaler en sammenligning der BigSet og en godt finansiert konkurrent fikk samme forespørsel, og der konkurrenten skal ha returnert oppdiktede data . Kilden navngir ikke konkurrenten uttrykkelig, så påstanden bør leses som en del av BigSets egen lanseringskommunikasjon – ikke som en uavhengig benchmark.

For BigSets del beskriver lanseringsdekningen et eget verifiseringstrinn der agenter kontrollerer funn mot kildene før tabellen ferdigstilles . Detaljene i arkitekturen er imidlertid ikke fullt offentliggjort i materialet som ligger til grunn her. Det er derfor uklart om kontrollen skjer i ett trinn eller gjennom flere separate passeringer.

Hovedideen er likevel tydelig: Resultater uten tilstrekkelig kildegrunnlag skal ikke ukritisk ende opp i det eksporterte datasettet.

Et alternativ til tradisjonell scraping og ETL

For analytikere og små team kan BigSets største fordel være at det flytter startpunktet. I stedet for å begynne med CSS-selektorer, API-dokumentasjon og feilsøking, begynner man med en beskrivelse av hvilken informasjon man trenger.

Lanseringsmateriale hevder at en prosess som tidligere kunne ta flere timer, kan komprimeres til en interaksjon på rundt 2–5 minutter . Hvor godt dette fungerer i praksis, vil avhenge av hvor komplekse nettstedene er, hvor tydelig forespørselen er, og hvor mye etterkontroll datasettet krever.

AGPL-lisensen og muligheten for selvhosting gjør samtidig BigSet interessant for virksomheter som vil unngå leverandørlåsing eller holde databehandlingen nærmere egne systemer. TinyFish, som ifølge tilgjengelig omtale har hentet inn 47 millioner dollar og har selskaper som Google, DoorDash og Amazon blant kundene sine for den bredere webagent-plattformen, kan på sin side bruke BigSet til å øke utbredelsen av teknologien .

BigSet er dermed både et praktisk verktøy og et tydelig signal om en større utvikling: Datainnsamling fra nettet er på vei fra håndskrevne skripter mot arbeidsflyter der brukeren beskriver målet, mens AI-agenter tar seg av planlegging, navigering og strukturering.