BigSet TinyFish Ubah Bahasa Sederhana Menjadi Dataset Web yang Selalu Diperbarui

Cara kerja pipeline multi-agen BigSet

BigSet bukan sekadar satu kali panggilan ke model bahasa besar. Sistem ini membagi pekerjaan ke sejumlah agen dengan fungsi berbeda, sementara agen orkestrator mengatur alur keseluruhan.

Tahapan yang dijelaskan dalam materi peluncurannya meliputi :

1. Agen orkestrator menerima permintaan pengguna, lalu menerjemahkannya menjadi skema dataset. Tahap ini menentukan entitas yang dicari, nama kolom, serta jenis data yang perlu dikumpulkan. Sumber menyebut model seperti Claude Sonnet digunakan untuk kebutuhan penalaran dan perencanaan yang lebih kompleks .
2. Agen riset bekerja secara paralel untuk menelusuri web secara langsung. Mereka membuka halaman nyata, mengambil informasi tertentu, dan mengumpulkan bukti dari sumber terkait . Jadi, prosesnya bukan hanya pencarian semantik; agen dirancang untuk mengunjungi dan membaca sumber web.
3. Agen verifikasi memeriksa kembali temuan berdasarkan sumbernya. Tahap ini ditujukan untuk menandai atau mencegah baris data yang tidak memiliki dukungan sumber, termasuk mengurangi risiko data hasil halusinasi AI .
4. Agregasi dan ekspor menggabungkan hasil, menghapus data duplikat, lalu menyusunnya menjadi tabel bersih yang dapat diunduh dalam format CSV atau XLSX .

BigSet juga dirancang untuk pekerjaan berulang. Pengguna dapat mengatur jadwal pembaruan mulai dari setiap 30 menit hingga mingguan. Pada waktu yang ditentukan, agen akan mengulangi proses riset dan validasi agar dataset tetap diperbarui tanpa perlu menjalankan skrip secara manual .

Apa arti AGPL-3.0 dan self-hosting bagi perusahaan?

BigSet dirilis dengan lisensi AGPL-3.0, yaitu lisensi copyleft yang kuat . Secara umum, tim yang memodifikasi perangkat lunak lalu menyediakannya sebagai layanan jaringan perlu menyediakan kode sumber dari versi yang telah dimodifikasi kepada pengguna layanan tersebut. Ketentuan ini berbeda dari lisensi open source permisif maupun model SaaS tertutup.

Paket BigSet juga dapat dijalankan melalui Docker di infrastruktur milik pengguna . Dengan model ini, interaksi berbasis browser, pemrosesan agen yang didukung model bahasa, dan logika ekstraksi berada di lingkungan yang dikelola sendiri.

Bagi organisasi yang menangani informasi bisnis sensitif atau memiliki persyaratan kepatuhan ketat, pendekatan tersebut dapat mengurangi ketergantungan pada platform pihak ketiga. Tim dapat mengelola sendiri hak akses, koneksi jaringan, dan pencatatan aktivitas. Namun, self-hosting bukan berarti seluruh biaya menjadi nol: pengguna tetap perlu menyediakan komputasi serta menanggung biaya model atau layanan terkait yang digunakan oleh instansinya.

BigSet vs. Exa Websets

Pesaing yang paling dekat dengan BigSet adalah Exa Websets, produk Exa.ai yang juga bertujuan mengubah web menjadi kumpulan data terstruktur. Keduanya menerima permintaan yang kompleks dan berupaya menghasilkan data yang lebih siap digunakan, tetapi pendekatan teknis dan model operasionalnya berbeda .

Perbedaan pendekatan terhadap halusinasi

Halusinasi menjadi isu penting ketika sistem AI secara otomatis menyusun dataset. Dalam materi yang dikaitkan dengan BigSet, disebutkan bahwa BigSet dan sebuah pesaing menjalankan kueri yang sama, lalu pesaing tersebut menghasilkan sebagian data yang berhalusinasi. Identitas pesaing itu tidak disebutkan secara eksplisit dalam sumber . Karena itu, klaim tersebut sebaiknya dipahami sebagai klaim perbandingan dari materi peluncuran, bukan sebagai hasil uji independen.

Exa mendokumentasikan alur pemeriksaan halusinasi dalam tiga langkah: mengekstrak klaim dari teks, mencari bukti, lalu mencocokkan klaim dengan bukti yang ditemukan . Pada Websets, Exa juga menjalankan alur berbasis agen terhadap kandidat hasil pencarian untuk memastikan setiap hasil benar-benar sesuai dengan permintaan pengguna sebelum dimasukkan ke kumpulan data .

Sumber peluncuran BigSet menyebut adanya tahap verifikasi khusus yang memeriksa temuan berdasarkan sumber sebelum tabel diselesaikan . Namun, rincian arsitekturnya—misalnya apakah pemeriksaan dilakukan sekali atau melalui beberapa putaran—belum dijelaskan secara lengkap dalam materi yang tersedia.

Alternatif no-code untuk scraping dan ETL?

Nilai utama BigSet terletak pada perubahan titik awal proses. Pengguna tidak harus memulai dari selector CSS, skrip scraping, atau pipeline ETL yang perlu dirawat secara manual. Mereka cukup mendeskripsikan dataset yang diinginkan, sementara sistem menangani perencanaan, penelusuran, ekstraksi, verifikasi, dan penyusunan hasil .

Untuk analis atau tim kecil, alur ini berpotensi memadatkan pekerjaan yang biasanya memakan waktu berjam-jam menjadi interaksi bahasa alami sekitar 2–5 menit, menurut materi yang tersedia . Meski demikian, hasilnya tetap perlu ditinjau—terutama ketika sumber web berubah, definisi kolom ambigu, atau data digunakan untuk keputusan penting.

Lisensi AGPL-3.0 dan opsi self-hosting juga memberi BigSet posisi berbeda dari platform data proprietary. Perusahaan dapat memeriksa serta memodifikasi pipeline sesuai kebutuhan, sekaligus mempertahankan kontrol yang lebih besar atas lingkungan pemrosesan datanya.

Bagi TinyFish, BigSet sekaligus memperkenalkan kemampuan web-agent perusahaan kepada komunitas open source. TinyFish sebelumnya membangun infrastruktur untuk agen yang dapat mencari web, mengambil konten, menjalankan browser, dan menyelesaikan alur multi-langkah melalui bahasa alami . Dengan BigSet, kemampuan tersebut dikemas menjadi alat yang lebih dekat dengan kebutuhan sehari-hari: mengubah permintaan data menjadi tabel yang dapat langsung dipakai.