BigSet da TinyFish: IA que constrói datasets estruturados a partir de uma frase em português

Como Funciona o Pipeline Multiagente

O BigSet não é uma simples chamada a um grande modelo de linguagem. É um sistema multiagente que delega tarefas a subagentes especializados, com um orquestrador gerenciando todo o fluxo de trabalho.

O pipeline documentado funciona da seguinte forma :

1. Agente Orquestrador recebe a descrição em linguagem natural do usuário e infere o esquema alvo — determinando quais colunas, tipos de dados e entidades a tabela final terá. De acordo com as fontes, esta etapa usa modelos como Claude Sonnet para raciocínio e planejamento complexos .
2. Subagentes de Pesquisa então se dispersam para executar o trabalho real. Esses agentes são despachados para realizar pesquisas ao vivo na web, visitar páginas reais, extrair pontos de dados específicos e coletar evidências . A pesquisa não é apenas uma busca semântica; os agentes são projetados para visitar e interpretar fontes web reais.
3. Subagentes de Verificação cruzam as descobertas. As fontes indicam que o BigSet verifica os dados coletados contra suas fontes originais para sinalizar ou prevenir linhas alucinadas, uma etapa crítica para datasets de nível profissional .
4. Agregação e Exportação — As linhas coletadas são deduplicadas e compiladas em uma tabela limpa, que o usuário pode baixar como CSV ou XLSX .

O sistema foi construído para trabalhos recorrentes. Os usuários podem definir uma cadência de atualização — de 30 minutos a semanalmente — e os agentes executarão todo o pipeline de pesquisa e validação novamente no agendamento, garantindo que os datasets permaneçam atualizados sem intervenção manual .

Licença, Auto-Hospedagem e Soberania de Dados

O BigSet é lançado sob a licença AGPL-3.0, uma licença copyleft forte . Para equipes que modificam o software e o disponibilizam como um serviço de rede, a licença geralmente exige que o código-fonte modificado seja disponibilizado aos usuários. Este quadro legal contrasta com licenças permissivas ou modelos SaaS proprietários.

O sistema é empacotado para auto-hospedagem via Docker . Isso significa que todo o pipeline — as interações web baseadas em navegador, o raciocínio do agente com LLM e a lógica de extração — é executado em sua própria infraestrutura. Para setores com requisitos rigorosos de conformidade, este modelo de implantação evita os riscos de soberania de dados de rotear consultas de inteligência de negócios sensíveis através de uma API ou plataforma de nuvem de terceiros. O processo de extração de dados, portanto, permanece dentro de um ambiente controlado onde você gerencia acesso, rede e logs.

BigSet vs. Exa Websets: Uma Comparação Concorrencial

A comparação concorrencial mais direta é com o Exa Websets, um produto da Exa.ai que também constrói coleções de dados estruturados da web. Embora ambos os produtos visem transformar a web em um banco de dados consultável, suas abordagens técnicas e posicionamento de mercado diferem .

A Questão da Alucinação

A alucinação é uma preocupação crítica para qualquer sistema que constrói datasets de forma autônoma. A cobertura do Trendshift sobre o BigSet destaca uma comparação onde tanto o BigSet quanto um concorrente executaram a mesma consulta e o concorrente retornou dados alucinados . A natureza exata desse concorrente não é explicitamente nomeada na fonte, mas a comparação é feita contra um rival bem financiado (que fontes externas identificam como Exa, que levantou US$ 250 milhões).

A Exa aborda a alucinação de frente através de um fluxo de trabalho de detecção de três etapas documentado, que usa seus próprios recursos de busca: extrair alegações do texto, buscar evidências e verificar alegações contra as evidências recuperadas . O produto Websets da Exa também executa fluxos de trabalho de agente em candidatos de busca para verificar se eles correspondem exatamente à consulta do usuário antes de adicioná-los ao conjunto final .

As fontes que cobrem o lançamento do BigSet descrevem um estágio de verificação dedicado, onde subagentes verificam as descobertas contra suas fontes antes que a tabela seja finalizada . A arquitetura específica deste agente de verificação — se é uma verificação de etapa única ou um sistema multi-passo mais complexo — não é totalmente detalhada nos materiais disponíveis. No entanto, seu propósito no pipeline é claro: evitar que linhas sem citações de fonte cheguem ao dataset exportado.

Principais Diferenças Num Relance

Posicionamento e Implicações

O BigSet não é apenas uma nova ferramenta; representa uma mudança em como os pipelines de dados podem ser construídos. Para uma pequena equipe ou um analista ocupado, comprimir o que tradicionalmente era um processo de várias horas de escrever e depurar scripts de raspagem em uma interação de 2 a 5 minutos em linguagem natural é uma economia de tempo significativa .

A licença AGPL-3.0 e a implantação auto-hospedada via Docker também posicionam o BigSet como uma resposta às crescentes preocupações com privacidade de dados e dependência de pipeline. Ao executar o sistema localmente, as empresas evitam rotear dados comerciais proprietários através de um terceiro e ganham a liberdade de modificar o pipeline conforme suas necessidades mudam.

A TinyFish, que já levantou US$ 47 milhões e conta com Google, DoorDash e Amazon entre seus clientes para sua plataforma de infraestrutura mais ampla, parece estar usando o BigSet para impulsionar a adoção de sua tecnologia principal de agente web, ao mesmo tempo que fornece uma ferramenta gratuita e genuinamente útil para a comunidade .