BigSet od TinyFish promění obyčejný dotaz v živý datový soubor

Jak funguje multiagentní zpracování

BigSet není jen jediný prompt odeslaný velkému jazykovému modelu. Je postaven jako multiagentní systém, v němž jednotlivé části úkolu přebírají specializovaní agenti a celý proces řídí orchestrátor.

Podle dostupného popisu probíhá zpracování přibližně takto :

1. Orchestrátor převezme zadání v přirozeném jazyce a odvodí podobu výsledné tabulky. Určí, jaké sloupce bude obsahovat, jaké datové typy jsou potřeba a které entity je nutné hledat. U složitějšího plánování mají být využívány modely typu Claude Sonnet .
2. Výzkumní agenti se rozdělí o samotné hledání. Procházejí aktuální web, navštěvují konkrétní stránky, získávají požadované údaje a shromažďují podklady k jednotlivým záznamům . Nejde tedy pouze o nalezení podobných textů ve vyhledávači; agenti mají pracovat s reálnými webovými stránkami.
3. Ověřovací agenti kontrolují zjištěné informace proti zdrojům. Podle dostupných materiálů má tato fáze pomáhat odhalovat nebo omezovat smyšlené řádky, které by se jinak mohly dostat do výsledného datasetu .
4. Agregace a export spojí výsledky, odstraní duplicity a sestaví čistou tabulku. Tu si uživatel může stáhnout jako CSV nebo XLSX .

Výhodou má být také opakované spouštění. Uživatel může nastavit interval od každých 30 minut až po jednou týdně; agenti pak celý výzkumný a validační proces znovu provedou podle plánu . Dataset tak nemusí zůstat jednorázovým snímkem webu.

Open source, Docker a kontrola nad daty

Licence AGPL-3.0 patří mezi takzvané silné copyleftové licence . Pokud tým software upraví a zpřístupní jej jako síťovou službu, licence obecně počítá s tím, že uživatelům poskytne také odpovídající zdrojový kód upravené verze. To BigSet odlišuje jak od proprietárních SaaS platforem, tak od projektů s velmi volnými permisivními licencemi.

Dockerové nasazení umožňuje provozovat celý řetězec na vlastní infrastruktuře . V praxi to může zahrnovat prohlížečové relace, logiku agentů využívajících jazykové modely i samotnou extrakci dat. Organizace tak mohou samy spravovat přístupy, síťová pravidla a logy místo toho, aby všechny citlivé dotazy posílaly přes externí cloudovou platformu.

Neznamená to však automaticky, že je vyřešena veškerá bezpečnost nebo ochrana osobních údajů. Provozovatel stále odpovídá za konfiguraci infrastruktury, použité modelové API, přístupová oprávnění i to, jaké webové zdroje a údaje systém zpracovává. Přínosem je především větší kontrola nad místem, kde pipeline běží a kde se ukládají její výstupy.

BigSet versus Exa Websets

Nejbližší srovnání nabízí Exa Websets, produkt společnosti Exa.ai, který také vytváří strukturované kolekce dat z webu. Oba nástroje se snaží proměnit web v databázi, jejich technické přístupy a obchodní modely se ale liší .

Ověřování a riziko halucinací

U systémů, které samostatně sestavují datasety, je zásadní otázka přesnosti. Materiály o BigSetu popisují srovnání, při němž měl konkurenční produkt při stejném dotazu vrátit smyšlené údaje. Zdroj přitom konkrétního konkurenta nejmenuje; srovnání je pouze zasazeno do kontextu velkého konkurenčního nástroje .

Exa popisuje vlastní postup pro odhalování halucinací ve třech krocích: nejprve z textu vytáhne jednotlivá tvrzení, poté pro ně vyhledá důkazy a nakonec tvrzení s nalezenými důkazy porovná . U produktu Websets Exa uvádí také agentní kontroly, které ověřují, zda kandidátní výsledky skutečně odpovídají přesnému zadání uživatele .

U BigSetu je ověřování rovněž součástí popsaného workflow, ale dostupné materiály nepopisují jeho přesnou technickou architekturu ani počet kontrolních kroků . Jisté je především to, že cílem této fáze je porovnat získané údaje s původními zdroji ještě před exportem tabulky.

Hlavní rozdíly

Srovnání tedy není jen otázkou přesnosti výsledků. BigSet cílí na uživatele, kteří chtějí otevřený a upravitelný základ pro vlastní datovou pipeline. Exa Websets naopak staví na proprietární cloudové službě a vlastním vyhledávacím indexu.

Co to znamená pro scrapery a ETL workflow

Největší příslib BigSetu spočívá v tom, že přesouvá začátek datového procesu z kódu do přirozeného jazyka. Analytik nemusí nejprve připravit selektory CSS, řešit změny struktury stránky nebo ručně skládat několik kroků extrakce. Začíná popisem toho, jaká data potřebuje.

Podle dostupných materiálů může tento přístup zkrátit dříve několikahodinovou práci na interakci trvající přibližně dvě až pět minut . To neznamená, že tradiční ETL nástroje nebo vlastní scrapery okamžitě ztratí smysl. U kritických datových toků je stále nutná kontrola kvality, sledování změn zdrojů a řešení výpadků či přístupových omezení.

BigSet ale nabízí zajímavou alternativu pro průzkum trhu, monitoring konkurence, tvorbu seznamů firem nebo další úlohy, u nichž je potřeba pravidelně získávat strukturovaná data z webu bez vývoje samostatného scraperu pro každý zdroj.

TinyFish tím současně rozšiřuje svou nabídku infrastruktury pro AI agenty. Firma podle dostupných informací získala 47 milionů dolarů a mezi její zákazníky mají patřit Google, DoorDash a Amazon . BigSet tak může fungovat jako praktická ukázka její technologie pro práci s živým webem — a zároveň jako nástroj, který si mohou vývojáři a týmy provozovat sami.