BigSet di TinyFish trasforma una frase in un dataset web aggiornato con l’IA

Il codice completo è disponibile su GitHub con licenza AGPL-3.0 e può essere eseguito in autonomia tramite Docker.

Come funziona la pipeline multi-agente

BigSet non si basa semplicemente su una singola chiamata a un modello linguistico. Il lavoro viene distribuito tra agenti con compiti diversi, coordinati da un agente principale.

La pipeline descritta dalle fonti segue, in sintesi, questi passaggi:

1. Interpretazione della richiesta. L’agente orchestratore riceve la descrizione in linguaggio naturale e ricava lo schema del dataset: quali entità cercare, quali colonne creare e quali tipi di dati associare ai risultati. Le fonti indicano l’impiego di modelli come Claude Sonnet per le attività più complesse di ragionamento e pianificazione.
2. Ricerca sul web. Gli agenti secondari vengono distribuiti per visitare pagine reali, navigare siti, estrarre informazioni specifiche e raccogliere gli elementi utili a sostenere i risultati. Non si tratta quindi soltanto di una ricerca semantica: il sistema è progettato per interagire con le fonti web.
3. Verifica dei risultati. Altri agenti controllano le informazioni raccolte confrontandole con le relative fonti. Questo passaggio serve a individuare o impedire la comparsa di righe non supportate dai dati originali.
4. Aggregazione ed esportazione. I risultati vengono ripuliti, accorpati e deduplicati prima di essere organizzati in una tabella scaricabile come CSV o XLSX.

Il flusso è pensato anche per attività ricorrenti. L’utente può impostare una frequenza di aggiornamento, da ogni 30 minuti fino a una volta alla settimana, e lasciare che la ricerca e la validazione vengano ripetute automaticamente.

Le fonti disponibili descrivono chiaramente i ruoli generali di orchestrazione, ricerca e verifica, ma non documentano in modo completo l’architettura interna di ogni agente né l’assegnazione precisa di tutti i modelli utilizzati. Per questo, i dettagli implementativi più specifici vanno distinti dal funzionamento generale dichiarato del prodotto.

AGPL-3.0, Docker e controllo sui dati

BigSet è distribuito con licenza AGPL-3.0, una licenza open source con una forte clausola di copyleft. In termini generali, quando un’organizzazione modifica il software e lo rende disponibile come servizio di rete, la licenza può richiedere di mettere a disposizione degli utenti anche il codice sorgente delle modifiche. È un’impostazione diversa sia dalle licenze più permissive sia dai servizi SaaS proprietari.

Il progetto è inoltre predisposto per il self-hosting tramite Docker. In pratica, l’organizzazione può eseguire nella propria infrastruttura le interazioni con il browser, la logica degli agenti e i processi di estrazione, gestendo direttamente accessi, rete e registri operativi.

Questo modello può essere interessante per i team che trattano informazioni aziendali sensibili o operano in contesti con requisiti di conformità stringenti. Il self-hosting non elimina automaticamente tutti i rischi — per esempio quelli legati ai modelli o alle fonti consultate — ma riduce la necessità di inviare le richieste di analisi a una piattaforma cloud esterna e offre maggiore controllo sul percorso dei dati.

BigSet contro Exa Websets

Il confronto più diretto è con Exa Websets, il prodotto di Exa che costruisce raccolte strutturate a partire dai contenuti del web. L’obiettivo generale è simile: trasformare una richiesta complessa in un insieme di entità e attributi consultabili. L’approccio tecnico, però, è differente.

Exa descrive Websets come un sistema basato su ricerche semantiche e embedding, seguito da workflow agentici che verificano se i risultati corrispondono esattamente alla richiesta dell’utente. BigSet, invece, viene presentato come una pipeline multi-agente che interpreta lo schema, naviga il web, estrae i dati e li verifica prima dell’esportazione.

Il nodo delle allucinazioni

La qualità delle righe generate è una questione centrale per qualsiasi sistema che costruisca dataset in modo autonomo. Un confronto riportato da Trendshift sostiene che BigSet e un concorrente finanziato con 250 milioni di dollari abbiano eseguito la stessa query e che il concorrente abbia prodotto alcuni dati allucinati. La fonte non identifica esplicitamente il concorrente, anche se il confronto viene associato a un rivale di primo piano.

Questa affermazione va quindi letta come una dichiarazione riportata nella presentazione del progetto, non come un benchmark indipendente e completo.

Exa documenta invece un metodo specifico per il controllo delle allucinazioni: estrarre le affermazioni da un testo, cercare prove a sostegno e verificare le affermazioni rispetto alle evidenze recuperate. Nei Websets, i workflow agentici controllano inoltre che ogni candidato risponda ai criteri esatti della ricerca prima di inserirlo nella raccolta finale.

Le fonti sul lancio di BigSet indicano a loro volta una fase dedicata alla verifica dei risultati. Non spiegano però in dettaglio se si tratti di un controllo singolo o di una procedura a più passaggi. Il punto documentato è lo scopo: verificare i dati rispetto alle fonti prima che la tabella venga finalizzata.

Una scorciatoia per scraping ed ETL?

Il valore promesso da BigSet è soprattutto operativo. Un analista può partire dalla descrizione del dataset desiderato invece di scrivere selettori CSS, gestire browser automatizzati o costruire manualmente una pipeline ETL. La documentazione generale di TinyFish presenta infatti agenti capaci di seguire obiettivi in linguaggio naturale, navigare siti reali ed estrarre dati senza ricorrere direttamente a script di browser a basso livello.

Secondo la copertura disponibile, un processo che normalmente richiederebbe ore di sviluppo e debugging può essere compresso in un’interazione di circa 2-5 minuti. Si tratta però di un’indicazione di posizionamento, non di una garanzia valida per ogni sito o per ogni tipo di dataset: pagine dinamiche, accessi autenticati, cambiamenti strutturali e requisiti di accuratezza possono comunque richiedere supervisione e manutenzione.

Per i piccoli team, BigSet combina tre elementi rilevanti: un’interfaccia basata sul linguaggio naturale, l’accesso a dati web aggiornabili e la possibilità di eseguire il sistema in proprio. L’AGPL-3.0 può inoltre favorire la modifica e l’ispezione del codice, pur imponendo obblighi più stringenti rispetto alle licenze permissive.

La scommessa di TinyFish è dunque spostare il punto di partenza dei flussi dati: non più uno script costruito attorno a un singolo sito, ma una richiesta descritta a parole e affidata a una squadra di agenti specializzati. Resta da verificare quanto questa promessa regga su larga scala, ma BigSet mostra una direzione chiara: rendere la costruzione di dataset web più accessibile, automatizzata e, per chi lo desidera, controllabile direttamente dalla propria infrastruttura.