BigSet von TinyFish: Open-Source-KI-Agenten bauen aus einem einfachen Satz live strukturierte Datensätze

So funktioniert die Multi-Agenten-Pipeline

BigSet ist kein simpler Aufruf eines großen Sprachmodells. Es ist ein Multi-Agenten-System, das Aufgaben an spezialisierte Unteragenten delegiert, während ein Orchestrator den Gesamtablauf steuert.

Der dokumentierte Ablauf :

1. Orchestrator-Agent: Erhält die Beschreibung in natürlicher Sprache und leitet daraus das Ziel-Schema ab – welche Spalten, Datentypen und Entitäten die finale Tabelle enthalten soll. Quellen zufolge kommen hierfür Modelle wie Claude Sonnet für komplexe Überlegungen und Planung zum Einsatz .
2. Recherche-Unteragenten: Diese Agenten werden losgeschickt, um live im Web zu recherchieren. Sie besuchen echte Seiten, extrahieren spezifische Datenpunkte und sammeln Belege . Die Recherche ist keine reine semantische Suche; die Agenten sind darauf ausgelegt, reale Webquellen zu besuchen und zu parsen.
3. Verifikations-Unteragenten: Sie prüfen die gesammelten Daten gegenseitig. Laut Quellen überprüft BigSet die gesammelten Daten anhand ihrer Quellen, um halluzinierte Zeilen zu kennzeichnen oder zu verhindern – ein entscheidender Schritt für produktionsreife Datensätze .
4. Aggregation und Export: Die gesammelten Zeilen werden dedupliziert und in eine bereinigte Tabelle überführt, die der Nutzer als CSV- oder XLSX-Datei herunterladen kann .

Das System ist für wiederkehrende Aufgaben ausgelegt. Nutzer können einen Aktualisierungsrhythmus festlegen – von 30 Minuten bis wöchentlich – und die Agenten führen dann planmäßig die komplette Recherche- und Validierungspipeline erneut aus, sodass die Datensätze ohne manuelles Eingreifen aktuell bleiben .

Lizenz, Selbsthosting und Datensouveränität

BigSet steht unter der AGPL-3.0-Lizenz, einer starken Copyleft-Lizenz . Für Teams, die die Software modifizieren und als Netzwerkdienst bereitstellen, bedeutet dies in der Regel, dass der modifizierte Quellcode den Nutzern zugänglich gemacht werden muss. Dieses rechtliche Modell unterscheidet sich deutlich von permissiven Lizenzen oder proprietären SaaS-Angeboten.

Das System ist für die Docker-basierte Selbsthosting-Umgebung verpackt . Das bedeutet, dass die gesamte Pipeline – die browserbasierten Web-Interaktionen, die KI-gestützte Agentenlogik und die Extraktionslogik – auf der eigenen Infrastruktur läuft. Für Branchen mit strengen Compliance-Anforderungen vermeidet dieses Bereitstellungsmodell die Risiken der Datenverarbeitung über eine Drittanbieter-Cloud-API oder -Plattform sensible Geschäftsdaten auszulagern. Der Datenextraktionsprozess bleibt so in einer kontrollierten Umgebung, in der Zugriff, Netzwerk und Protokolle selbst verwaltet werden.

BigSet vs. Exa Websets: Ein Wettbewerbsvergleich

Der direkteste Wettbewerber ist Exa Websets von Exa.ai, ein Produkt, das ebenfalls strukturierte Datensammlungen aus dem Web erstellt. Obwohl beide Produkte das Ziel haben, das Web in eine abfragbare Datenbank zu verwandeln, unterscheiden sie sich in ihrem technischen Ansatz und ihrer Marktpositionierung .

Die Halluzinationsfrage

Halluzinationen sind ein kritisches Problem für jedes System, das autonom Datensätze erstellt. Die Trendshift-Berichterstattung über BigSet hebt einen Vergleich hervor, bei dem sowohl BigSet als auch ein Wettbewerber dieselbe Abfrage ausführten und der Wettbewerber halluzinierte Daten zurücklieferte . Die genaue Identität des Wettbewerbers wird in der Quelle nicht explizit genannt, aber der Vergleich wird mit einem gut finanzierten Rivalen gezogen.

Exa adressiert Halluzinationen direkt mit einem dokumentierten Drei-Schritte-Erkennungsprozess, der seine eigene Suchfunktion nutzt: Behauptungen aus Text extrahieren, mit Exa nach Belegen suchen und Behauptungen anhand der gefundenen Belege verifizieren . Exas Websets-Produkt führt zudem agentische Workflows auf den Suchergebnissen durch, um zu überprüfen, ob sie exakt der Benutzeranfrage entsprechen, bevor sie in die finale Sammlung aufgenommen werden .

Die Quellen zum BigSet-Start beschreiben eine dedizierte Verifikationsstufe, in der Unteragenten die Ergebnisse vor der Finalisierung der Tabelle gegen ihre Quellen prüfen . Die genaue Architektur dieses Verifikationsagenten – ob es sich um eine einfache Ein-Schritt-Prüfung oder ein komplexeres Mehrfach-Prüfsystem handelt – wird in den verfügbaren Materialien nicht vollständig dargelegt. Seine Funktion in der Pipeline ist jedoch klar: Er soll verhindern, dass Zeilen ohne Quellennachweis in den exportierten Datensatz gelangen.

Die wichtigsten Unterschiede auf einen Blick

Positionierung und Auswirkungen

BigSet ist mehr als nur ein neues Tool; es steht für einen Wandel in der Art und Weise, wie Datenpipelines aufgebaut werden können. Für ein kleines Team oder einen vielbeschäftigten Analysten bedeutet die Komprimierung eines traditionell mehrstündigen Prozesses des Schreibens und Debuggens von Scrapern in eine 2- bis 5-minütige Interaktion in natürlicher Sprache eine enorme Zeitersparnis .

Die AGPL-3.0-Lizenz und das Docker-Selbsthosting positionieren BigSet zudem als Antwort auf wachsende Bedenken hinsichtlich Datenschutz und Pipeline-Bindung. Durch den lokalen Betrieb vermeiden Unternehmen, proprietäre Geschäftsdaten über einen Drittanbieter zu leiten, und erhalten die Freiheit, die Pipeline nach ihren eigenen Bedürfnissen anzupassen.

TinyFish, das 47 Millionen US-Dollar eingesammelt hat und Kunden wie Google, DoorDash und Amazon für seine breitere Infrastrukturplattform zählt, scheint BigSet zu nutzen, um die Akzeptanz seiner Kern-Webagenten-Technologie zu fördern und gleichzeitig ein wirklich nützliches, kostenloses Tool für die Community bereitzustellen .