BigSet від TinyFish перетворює запит звичайною мовою на живий датасет

1. Оркестратор визначає структуру. Він аналізує запит користувача та виводить схему майбутньої таблиці: потрібні колонки, типи даних і сутності. За описом джерел, для складніших завдань на етапі планування використовуються моделі на кшталт Claude Sonnet .
2. Дослідницькі агенти шукають інформацію. Вони паралельно відкривають реальні вебсторінки, переходять між ними, вилучають потрібні поля та збирають підтвердження. Йдеться не лише про семантичний пошук: агенти працюють із фактичним вмістом сайтів .
3. Агенти перевірки звіряють результати. BigSet перевіряє зібрані дані за джерелами, щоб виявляти або не допускати вигаданих рядків у фінальну таблицю . Водночас доступні матеріали не розкривають усіх технічних деталей цієї перевірки — зокрема, чи йдеться про один контрольний етап, чи про кілька послідовних перевірок.
4. Система об’єднує та експортує дані. Результати очищуються від дублікатів і збираються в таблицю, яку можна зберегти як CSV або XLSX .

Окрема перевага — можливість регулярного оновлення. Користувач може встановити інтервал від 30 хвилин до одного тижня, після чого агенти повторно запускають пошук і перевірку, підтримуючи датасет в актуальному стані .

Що дають AGPL-3.0 і розгортання через Docker

BigSet поширюється за ліцензією AGPL-3.0 — це copyleft-ліцензія з вимогами, суворішими за типові дозвільні open-source ліцензії . Для команд це означає необхідність уважно перевірити ліцензійні умови, особливо якщо вони змінюють код і надають модифіковану версію як мережевий сервіс.

Систему можна розгорнути через Docker на власній інфраструктурі . У такій моделі команда контролює середовище виконання, доступи, мережеві налаштування та журнали. Це може бути важливо для компаній, які не хочуть передавати чутливі бізнес-запити через сторонню SaaS-платформу.

Водночас self-hosting не означає автоматично нульових витрат: користувачам усе одно потрібно забезпечити обчислювальні ресурси та, залежно від конфігурації, оплату доступу до моделей. Його головна перевага — контроль над розгортанням і даними, а не повна відсутність операційних витрат.

BigSet проти Exa Websets

Найближчим за ідеєю конкурентом BigSet виглядає Exa Websets — сервіс Exa.ai для створення структурованих наборів даних із вебу. Обидва продукти намагаються перетворити інтернет на джерело даних, яке можна запитувати природною мовою, але роблять це різними способами .

Як продукти борються з вигаданими даними

Галюцинації — одна з головних проблем автономного створення датасетів. У матеріалі Trendshift описано порівняння, під час якого BigSet і неназваний добре фінансований конкурент виконали однаковий запит, а конкурент повернув частково вигадані дані . Оскільки джерело не називає цей продукт прямо, робити з цього остаточний висновок про перевагу BigSet не варто.

Exa документує окремий процес перевірки тверджень у три кроки: спочатку система виокремлює твердження з тексту, потім шукає докази, а після цього звіряє твердження з отриманими джерелами . У Websets агентні процеси також перевіряють знайдені результати, перш ніж додати їх до фінального набору .

У BigSet передбачено окрему стадію перевірки результатів за джерелами . Її призначення зрозуміле — не допустити до експорту непідтверджені записи, хоча детальна реалізація цього механізму у доступних матеріалах не описана.

Чи замінить BigSet скрепери та ETL

BigSet не скасовує потреби в інженерії для кожного сценарію. Складні джерела, нестабільні сайти, обмеження доступу та вимоги до якості все одно можуть потребувати ручного контролю. Але продукт змінює точку входу: замість написання скрипта користувач спочатку формулює, які саме дані йому потрібні.

За описом запуску, процес, який традиційно міг займати кілька годин роботи зі скреперами та очищенням даних, BigSet намагається скоротити до взаємодії природною мовою тривалістю приблизно 2–5 хвилин . Це робить систему потенційно корисною для аналітиків, невеликих команд і дослідників, яким потрібен робочий датасет без побудови повноцінного ETL-конвеєра.

Для TinyFish BigSet також може стати способом показати можливості її ширшої інфраструктури вебагентів. Компанія описує свої інструменти як такі, що дають агентам змогу шукати в інтернеті, відкривати сторінки, працювати з браузером і повертати структуровані результати . За даними доступних матеріалів, TinyFish залучила 47 мільйонів доларів, а серед клієнтів її платформи називають Google, DoorDash і Amazon .

У підсумку BigSet цікава не лише як ще один генератор таблиць. Це спроба перенести рутинний збір даних із площини ручного програмування у формат «описав — перевірив — експортував». Наскільки надійно такий підхід працюватиме на складних і мінливих сайтах, залежатиме від якості агентів, джерел і контролю результатів — але сам напрямок уже помітно відрізняється від класичного скрепінгу.