BigSet od TinyFish zamienia zwykłe polecenie w aktualny zbiór danych

Jak działa potok agentów BigSet?

BigSet nie jest po prostu pojedynczym zapytaniem wysłanym do dużego modelu językowego. To system wieloagentowy, w którym poszczególne zadania są rozdzielone między wyspecjalizowane komponenty, a całością zarządza agent koordynujący.

Udokumentowany przepływ pracy wygląda następująco :

1. Agent koordynujący otrzymuje opis w języku naturalnym i ustala schemat końcowego zbioru danych. Określa między innymi, jakie kolumny, typy danych i encje powinny znaleźć się w tabeli. Według dostępnych opisów do złożonego rozumowania i planowania wykorzystywane są modele pokroju Claude Sonnet .
2. Agenty badawcze dzielą między siebie właściwą pracę. Przeszukują internet na żywo, odwiedzają konkretne strony, odczytują ich zawartość, wyodrębniają wskazane informacje i zbierają dowody na poparcie wyników . Nie chodzi więc wyłącznie o wyszukiwanie semantyczne — system ma pracować na realnych stronach internetowych.
3. Agenty weryfikujące sprawdzają zebrane informacje względem źródeł. Ten etap ma wychwytywać lub blokować rekordy oparte na zmyślonych danych, co jest szczególnie ważne, jeśli wynik ma trafić do procesu biznesowego .
4. Agregacja i eksport polegają na usunięciu duplikatów, połączeniu rekordów w uporządkowaną tabelę oraz przygotowaniu pliku CSV albo XLSX .

BigSet zaprojektowano także z myślą o zadaniach cyklicznych. Użytkownik może ustawić częstotliwość odświeżania — od co 30 minut do raz w tygodniu — a agenty ponownie uruchomią proces researchu i walidacji, aby zbiór nie dezaktualizował się bez ręcznego poprawiania skryptu .

AGPL-3.0, Docker i kontrola nad danymi

Licencja AGPL-3.0 to silna licencja typu copyleft . W praktyce, jeśli zespół zmodyfikuje oprogramowanie i udostępni je użytkownikom jako usługę sieciową, licencja co do zasady może wymagać udostępnienia kodu źródłowego tych zmian. To odróżnia BigSet zarówno od projektów korzystających z bardziej liberalnych licencji, jak i od zamkniętych platform SaaS.

System jest przygotowany do samodzielnego wdrożenia w środowisku opartym na Dockerze . Oznacza to, że organizacja może uruchomić cały potok — interakcje z witrynami w przeglądarce, rozumowanie agentów wspierane przez modele językowe oraz logikę ekstrakcji — na własnej infrastrukturze.

Dla firm pracujących z wrażliwymi informacjami taki model może mieć znaczenie z punktu widzenia suwerenności danych. Zamiast przesyłać zapytania o informacje biznesowe do zewnętrznej platformy, zespół sam zarządza dostępem, siecią i logami. Samodzielne wdrożenie nie usuwa oczywiście obowiązków związanych z prawem, bezpieczeństwem ani zasadami korzystania z odwiedzanych serwisów, ale daje większą kontrolę nad miejscem przetwarzania danych.

BigSet kontra Exa Websets

Najbliższym punktem odniesienia dla BigSet są Exa Websets — produkt Exa.ai służący do budowania strukturalnych kolekcji danych z internetu. Oba rozwiązania próbują przekształcić sieć w bazę danych przeszukiwalną za pomocą języka naturalnego, ale opierają się na nieco innym podejściu .

Jak oba systemy podchodzą do halucynacji?

Halucynacje są jednym z najważniejszych problemów narzędzi, które autonomicznie tworzą zbiory danych. W materiałach Trendshift opisano porównanie, w którym BigSet i konkurencyjny produkt otrzymały to samo zapytanie, a konkurent zwrócił zmyślone dane . Źródło nie wskazuje jednoznacznie nazwy tego produktu, dlatego tej obserwacji nie należy traktować jako niezależnego, rozstrzygającego benchmarku.

Exa opisuje własny trzyetapowy mechanizm wykrywania halucynacji: najpierw wyodrębnia twierdzenia z tekstu, następnie wyszukuje dowody, a na końcu porównuje twierdzenia z odnalezionymi materiałami . W przypadku Websets agentowe procesy weryfikują również, czy znalezione kandydatury rzeczywiście spełniają dokładne kryteria zapytania użytkownika, zanim trafią do końcowego zbioru .

W opisach premiery BigSet pojawia się osobny etap weryfikacji, w którym agenty sprawdzają ustalenia względem źródeł przed sfinalizowaniem tabeli . Dostępne materiały nie wyjaśniają jednak szczegółowo, czy jest to pojedyncza kontrola, czy wieloetapowy mechanizm walidacji. Wiadomo natomiast, jaki jest cel tego etapu: ograniczyć ryzyko, że do eksportowanego zbioru trafią rekordy bez wiarygodnego potwierdzenia.

Najważniejsze różnice

Co BigSet oznacza dla analityków i zespołów danych?

Największa obietnica BigSet nie polega na samym generowaniu tekstu, lecz na skróceniu drogi od potrzeby informacyjnej do działającego procesu zbierania danych. Według materiałów opisujących projekt zadanie, które tradycyjnie wymagało godzin pisania i poprawiania scraperów, może zostać sprowadzone do interakcji w języku naturalnym trwającej od 2 do 5 minut .

To podejście przypomina alternatywę no-code lub low-code dla klasycznego scrapingu i części procesów ETL. Użytkownik zaczyna od opisu tego, co chce wiedzieć, a nie od projektowania selektorów CSS, konfiguracji parsera czy utrzymywania skryptu po każdej zmianie witryny . Nie oznacza to jednak, że BigSet całkowicie eliminuje potrzebę kontroli jakości: wyniki pozyskiwane autonomicznie z internetu nadal wymagają sprawdzenia, zwłaszcza w zastosowaniach operacyjnych i regulowanych.

Połączenie otwartego kodu, samodzielnego wdrożenia i cyklicznego odświeżania pozycjonuje BigSet jako narzędzie dla zespołów, które chcą ograniczyć zależność od zamkniętych dostawców danych. Jednocześnie projekt może zwiększać zainteresowanie szerszą infrastrukturą TinyFish do pracy agentów AI z żywymi stronami internetowymi.

TinyFish, startup z Palo Alto, zebrał 47 mln dolarów i wymienia wśród klientów swojej szerszej platformy między innymi Google, DoorDash i Amazon . BigSet może więc pełnić podwójną funkcję: być użytecznym, otwartym narzędziem dla społeczności oraz sposobem na pokazanie możliwości technologii web agentów TinyFish.