BigSet omsætter én sætning til et struktureret datasæt fra nettet

Fra spørgsmål til færdig tabel

BigSet er ikke bare ét kald til en sprogmodel. Systemet er bygget som en fleragent-pipeline, hvor forskellige agenter har hver deres opgave, mens en overordnet agent koordinerer forløbet.

Det dokumenterede workflow ser overordnet sådan ud :

1. Koordinatoren planlægger datasættet. Den modtager brugerens beskrivelse og udleder, hvilke kolonner, datatyper og enheder den endelige tabel skal indeholde. Ifølge kilderne kan modeller som Claude Sonnet bruges til den mere komplekse planlægning og ræsonnering .
2. Research-agenter undersøger nettet. De sendes ud for at besøge rigtige websider, finde relevante oplysninger, udtrække bestemte datapunkter og indsamle belæg . Det er dermed ikke kun en semantisk søgning; agenterne er designet til at interagere med og fortolke faktiske webkilder.
3. Verifikations-agenter kontrollerer resultaterne. De sammenholder de indsamlede oplysninger med kilderne for at opdage eller forhindre opdigtede rækker – et afgørende trin, hvis datasættet skal kunne bruges i praksis .
4. Resultaterne samles og eksporteres. Dubletter fjernes, rækkerne samles i en ren tabel, og brugeren kan hente den som CSV- eller XLSX-fil .

BigSet er også tænkt til gentagne opgaver. Brugeren kan vælge en opdateringsfrekvens fra hvert 30. minut til én gang om ugen, hvorefter systemet automatisk kører research- og valideringsprocessen igen . Det kan for eksempel være relevant til overvågning af virksomheder, stillingsopslag eller andre oplysninger, der ændrer sig løbende.

Hvad betyder AGPL-3.0 og selvhosting?

BigSet er udgivet under AGPL-3.0, en stærk copyleft-licens . For teams, der ændrer softwaren og stiller den til rådighed som en netværkstjeneste, betyder licensen typisk, at den ændrede kildekode også skal gøres tilgængelig for brugerne. Det adskiller BigSet fra både mere liberale open source-licenser og lukkede SaaS-tjenester.

Systemet leveres til Docker-baseret selvhosting . Det betyder, at webinteraktionerne, agenternes modelbaserede ræsonnering og udtrækningslogikken kan køre på virksomhedens egen infrastruktur. Organisationen kan dermed selv administrere adgang, netværk og logning i stedet for at sende følsomme forespørgsler gennem en ekstern platform.

Det er især et spørgsmål om datakontrol og datasuverænitet. Selvhosting eliminerer ikke alle omkostninger – virksomheden skal stadig levere beregningskraft og eventuelle model-API’er – men den giver større kontrol over, hvor data behandles, og hvordan pipeline-logikken kan tilpasses.

BigSet over for Exa Websets

Den mest oplagte sammenligning er Exa Websets, som også bygger strukturerede datasamlinger fra webindhold. Begge produkter vil gøre nettet mere søgbart som en database, men de bygger på forskellige tekniske tilgange og har forskellig markedsposition .

To forskellige veje til strukturerede data

BigSet bruger en fleragentmodel, hvor en koordinator planlægger skemaet og sender specialiserede agenter ud for at browse, udtrække og kontrollere oplysninger fra det levende web . TinyFish’ bredere webagent-teknologi er samtidig rettet mod browserbaserede arbejdsgange, hvor agenter kan navigere på rigtige websteder og hente strukturerede resultater .

Exa Websets tager i højere grad udgangspunkt i embeddings-baseret søgning. Systemet finder relevante kandidater i Exas vektordatabase og kører derefter agentbaserede workflows på resultaterne for at kontrollere, om de faktisk matcher brugerens forespørgsel .

Hallucinationer er stadig det afgørende spørgsmål

Når et system selv bygger datasæt, er risikoen for hallucinationer central. Trendshift beskriver en sammenligning, hvor BigSet og en finansieret konkurrent blev testet med samme forespørgsel, og hvor konkurrenten ifølge omtalen returnerede opdigtede data . Kilden navngiver ikke konkurrenten direkte, så påstanden bør læses med det forbehold.

Exa beskriver selv en kontrolmetode i tre trin: Først udtrækkes påstande fra teksten, derefter søges der efter belæg, og til sidst sammenholdes påstandene med de fundne kilder . Websets bruger tilsvarende agentbaserede workflows til at kontrollere, om kandidater passer præcist til brugerens forespørgsel .

Kilderne om BigSets lancering beskriver også et særskilt verifikationstrin, hvor underagenter kontrollerer resultaterne mod deres kilder, før tabellen færdiggøres . De tilgængelige materialer beskriver dog ikke arkitekturen i tilstrækkelig detalje til at fastslå, om kontrollen foregår i ét trin eller gennem flere separate passager.

Et alternativ til traditionel scraping

BigSets mest interessante løfte er ikke nødvendigvis, at det gør alle datasæt korrekte automatisk. Det er, at systemet flytter startpunktet for dataarbejde fra kode til intention.

I stedet for først at skrive og vedligeholde en scraper kan en bruger begynde med en sætning som: »Find YC-startups, der søger ingeniører, og medtag finansieringsstadie, placering og antal ansatte.« Systemet forsøger derefter at udlede strukturen, undersøge webkilderne og levere et datasæt.

Det kan ifølge omtalen komprimere en proces, der normalt tager flere timer med scraping og manuel fejlsøgning, til en interaktion på omkring 2–5 minutter . Hvor godt det fungerer i praksis, vil dog afhænge af webstedernes struktur, adgangsbegrænsninger og kvaliteten af de kilder, som agenterne finder.

AGPL-licensen og muligheden for selvhosting giver samtidig BigSet en anden profil end lukkede dataplatforme. Virksomheder kan inspicere og ændre pipeline-logikken og i højere grad holde deres forespørgsler og data i et kontrolleret miljø.

TinyFish har tidligere bygget infrastruktur til AI-agenter, der arbejder direkte på nettet. Selskabet har ifølge den tilgængelige omtale rejst 47 millioner dollar og har blandt andre Google, DoorDash og Amazon som kunder for sin bredere platform . Med BigSet forsøger virksomheden nu også at gøre agentbaseret dataindsamling tilgængelig som et open source-værktøj.