BigSet TinyFish Tukar Ayat Biasa Menjadi Set Data Langsung dengan Ejen AI

Bagaimana aliran multi-ejen BigSet berfungsi

BigSet bukan sekadar satu panggilan kepada model bahasa besar. Ia menggunakan beberapa ejen khusus yang menerima tugasan berbeza, dengan sebuah ejen penyelaras menguruskan keseluruhan aliran kerja.

Berdasarkan dokumentasi dan liputan pelancaran, prosesnya berjalan seperti berikut :

1. Ejen penyelaras menerima permintaan pengguna dan menentukan struktur set data yang diperlukan. Ia menganggarkan lajur, jenis data serta entiti yang perlu dimasukkan ke dalam jadual akhir. Sumber menyatakan model seperti Claude Sonnet digunakan untuk tugasan penaakulan dan perancangan yang lebih kompleks .
2. Ejen penyelidikan menjalankan kerja di web secara selari. Ejen ini melayari halaman sebenar, mencari maklumat, mengekstrak butiran tertentu dan mengumpulkan bukti daripada sumber berkaitan . Pendekatan ini bukan sekadar carian semantik; ejen direka untuk mengunjungi dan membaca sumber web sebenar.
3. Ejen pengesahan menyemak semula dapatan dengan sumber asal. Langkah ini bertujuan mengenal pasti atau mengurangkan baris data yang direka oleh model, satu perkara penting bagi set data yang mahu digunakan dalam operasi sebenar .
4. Pengagregatan dan eksport menggabungkan semua baris, membuang rekod pendua dan menyusun hasil ke dalam jadual bersih yang boleh dieksport sebagai CSV atau XLSX .

Kekuatan utama BigSet ialah kerja berulang. Pengguna boleh menetapkan kekerapan kemas kini daripada setiap 30 minit hingga setiap minggu. Ejen kemudiannya mengulangi proses penyelidikan dan pengesahan secara automatik supaya set data tidak cepat lapuk .

Apa makna lesen AGPL-3.0 dan penggunaan sendiri melalui Docker?

BigSet diterbitkan di bawah AGPL-3.0, iaitu lesen sumber terbuka dengan syarat copyleft yang kuat . Secara umum, jika sesebuah organisasi mengubah suai perisian itu dan menyediakannya sebagai perkhidmatan rangkaian, lesen ini boleh mewajibkan kod sumber yang diubah suai turut disediakan kepada pengguna.

Perisian ini juga dibungkus untuk penggunaan sendiri berasaskan Docker . Ini bermakna komponen seperti interaksi pelayar web, penaakulan ejen berasaskan model bahasa dan logik pengekstrakan boleh dijalankan pada infrastruktur organisasi sendiri.

Bagi pasukan yang mengendalikan risikan perniagaan sensitif, model ini memberi kawalan yang lebih langsung terhadap tempat data diproses. Organisasi boleh mengurus sendiri kebenaran akses, sambungan rangkaian dan log, berbanding menghantar setiap pertanyaan melalui platform awan pihak ketiga. Namun begitu, penggunaan sendiri tidak menghapuskan keperluan untuk mengurus kos pengkomputeran, model AI, keselamatan dan penyelenggaraan sistem.

BigSet berbanding Exa Websets

Pesaing yang paling hampir dari segi fungsi ialah Exa Websets, produk Exa.ai yang turut membina koleksi data berstruktur daripada web. Kedua-duanya mahu menjadikan web lebih mudah ditukar kepada pangkalan data yang boleh dicari, tetapi pendekatan teknikal dan kedudukan pasaran mereka berbeza .

Isu halusinasi masih menjadi persoalan

Bagi mana-mana sistem yang membina set data secara autonomi, ketepatan setiap baris adalah isu utama. Liputan Trendshift menyebut satu perbandingan apabila BigSet dan pesaing yang dibiayai besar menjalankan pertanyaan yang sama, lalu sebahagian data pesaing didakwa mengandungi maklumat yang direka . Sumber itu tidak menamakan pesaing berkenaan secara jelas, jadi dakwaan tersebut wajar dibaca sebagai tuntutan perbandingan, bukan penanda aras bebas.

Exa pula mendokumentasikan aliran pengesanan halusinasi tiga langkah: mengekstrak dakwaan daripada teks, mencari bukti dan menyemak dakwaan berbanding bukti yang ditemui . Produk Websets Exa juga menggunakan aliran kerja berasaskan ejen untuk mengesahkan sama ada calon hasil carian benar-benar menepati pertanyaan pengguna sebelum dimasukkan ke dalam set akhir .

Sumber pelancaran BigSet menyatakan bahawa sistem itu mempunyai peringkat pengesahan yang menyemak dapatan dengan sumber asal . Namun, butiran seni bina—sama ada pemeriksaan satu langkah atau proses berbilang pusingan—belum diterangkan sepenuhnya dalam bahan yang tersedia. Yang jelas, matlamatnya adalah untuk menghalang baris tanpa sokongan sumber daripada masuk ke dalam set data yang dieksport.

Mengapa BigSet penting?

BigSet mencerminkan perubahan dalam cara saluran paip data boleh dibina. Proses yang sebelum ini memerlukan berjam-jam untuk menulis, menguji dan membaiki pengikis web kini boleh dimulakan dengan arahan bahasa biasa, dan sesetengah liputan menganggarkan interaksi itu boleh dipendekkan kepada sekitar 2 hingga 5 minit .

Bagi penganalisis atau pasukan kecil, ini bermakna mereka tidak semestinya perlu memulakan projek dengan skrip tersuai atau proses ETL yang panjang. Mereka boleh menerangkan data yang diperlukan, membiarkan ejen menjalankan penyelidikan dan menerima jadual yang boleh digunakan sebagai titik permulaan.

Walau bagaimanapun, BigSet bukan bermakna pengawasan manusia sudah tidak diperlukan. Data daripada web boleh berubah, halaman boleh menyekat akses dan model AI masih boleh tersilap mentafsir maklumat. Untuk kegunaan keputusan penting, hasilnya tetap perlu disemak, terutama apabila sumber asal tidak seragam atau kriterianya terlalu umum.

Lesen AGPL-3.0 dan pilihan penggunaan sendiri melalui Docker pula meletakkan BigSet sebagai alternatif kepada platform data proprietari yang lebih tertutup. TinyFish dilaporkan telah mengumpulkan AS$47 juta dan mempunyai Google, DoorDash serta Amazon antara pelanggan platform infrastrukturnya yang lebih luas . Dengan membuka BigSet kepada komuniti, syarikat itu berpotensi memperkenalkan teknologi ejen webnya kepada lebih ramai pembangun sambil menawarkan alat yang boleh terus dicuba dan diubah suai.