TinyFishin BigSet muuttaa yhden lauseen reaaliaikaiseksi tietoaineistoksi

Näin BigSetin moniagenttiputki toimii

BigSet ei perustu yhteen kielimallikutsuun. Sen sijaan järjestelmä jakaa työn koordinoivan pääagentin ja erikoistuneiden aliagenttien kesken. Saatavilla olevien kuvausten perusteella työnkulku etenee näin :

1. Koordinoiva agentti tulkitsee pyynnön. Se päättelee, millainen tietoaineiston rakenne tarvitaan: mitä sarakkeita taulukkoon tulee, millaisia tietotyyppejä käytetään ja mitä kohteita etsitään. Lähteissä mainitaan, että monimutkaisessa päättelyssä voidaan käyttää esimerkiksi Claude Sonnet -malleja . Saatavilla oleva aineisto ei kuitenkaan vahvista BigSetin tarkkaa malliversiota tai sitä, miten eri mallit on jaettu agenttien rooleihin.
2. Tutkimusagentit hakevat tiedot verkosta. Ne voivat selata oikeita verkkosivuja, käsitellä dynaamisia sivustoja, poimia yksittäisiä tietoja ja kerätä löydöksille lähteitä . Kyse ei siis ole vain hakukoneen semanttisesta osumasta, vaan verkkosivujen käytöstä ja sisällön poimimisesta agenttien avulla.
3. Vahvistusagentit tarkistavat löydökset. BigSetin kuvaukseen kuuluu kerättyjen tietojen vertaaminen alkuperäisiin lähteisiin. Tarkoitus on havaita virheelliset tai keksityt rivit ennen niiden päätymistä lopulliseen aineistoon . Käytettävissä olevat lähteet eivät kuitenkaan kuvaa yksityiskohtaisesti, onko tarkistus yksi vaihe vai usean kierroksen prosessi.
4. Tulokset kootaan ja viedään tiedostoksi. Päällekkäiset rivit poistetaan, tiedot yhdistetään siistiksi taulukoksi ja valmis aineisto voidaan ladata CSV- tai XLSX-muodossa .

BigSet on suunniteltu myös toistuvaan tiedonhakuun. Päivitysväliksi voi asettaa esimerkiksi 30 minuuttia tai viikon, jolloin tutkimus- ja tarkistusprosessi suoritetaan uudelleen ilman manuaalisesti ylläpidettävää kaavinta .

Avoin lähdekoodi ja datan hallinta

BigSet julkaistaan AGPL-3.0-lisenssillä . Kyseessä on vahva vastavuoroinen avoimen lähdekoodin lisenssi. Käytännössä organisaation on huomioitava erityisesti se, että ohjelmistoa muokattaessa ja tarjottaessa verkkopalveluna lisenssi voi edellyttää muutetun lähdekoodin tarjoamista käyttäjille. Tarkat velvoitteet riippuvat käyttötavasta ja lisenssin ehdoista.

Järjestelmä voidaan ajaa omassa ympäristössä Dockerin avulla . Tällöin selainpohjainen verkkovuorovaikutus, agenttien päättely ja tiedonpoiminta tapahtuvat organisaation hallinnoimassa infrastruktuurissa. Se voi olla tärkeää esimerkiksi silloin, kun kyselyt sisältävät luottamuksellista liiketoimintatietoa.

Omatoiminen ylläpito ei silti tarkoita, että kaikki kustannukset katoavat. Käyttäjä vastaa omasta laskentaympäristöstään sekä mahdollisista kielimalli- ja muista rajapintakuluista. Etuna on kuitenkin se, että käyttöoikeudet, verkkoyhteydet ja lokit voidaan hallita itse sen sijaan, että kaikki pyynnöt kulkisivat yhden suljetun pilvipalvelun kautta.

BigSet ja Exa Websets: sama tavoite, eri painotus

Lähin vertailukohta on Exa.ai:n Websets. Molemmat pyrkivät muuttamaan verkon jäsennellyksi haettavaksi tietolähteeksi, mutta niiden toimintamallit eroavat toisistaan .

Entä hallusinaatiot?

Automaattisesti rakennetuissa tietoaineistoissa suurin kysymys ei ole vain nopeus, vaan myös luotettavuus. Trendshiftin BigSet-julkaisua käsittelevässä vertailussa väitetään, että sama kysely tuotti BigSetillä ja nimeämättömällä, hyvin rahoitetulla kilpailijalla eri tuloksia ja että kilpailija palautti keksittyä dataa . Tämä on kuitenkin lähteen esittämä vertailuväite, ei riippumattomasti vahvistettu suorituskykymittaus.

Exa puolestaan dokumentoi hallusinaatioiden tunnistamiseen kolmivaiheisen menetelmän: väitteet poimitaan tekstistä, niille etsitään näyttöä ja väitteet tarkistetaan löydettyä näyttöä vasten . Websetsin kuvauksen mukaan järjestelmä tarkistaa agenttityönkuluilla, vastaavatko hakutuloksista löytyneet kohteet täsmällisesti käyttäjän pyyntöä ennen niiden lisäämistä lopulliseen joukkoon .

BigSetin lähteissä kuvataan oma tarkistusvaihe, mutta sen teknistä toteutusta ei avata yhtä yksityiskohtaisesti. Siksi on perusteltua sanoa, että varmennus kuuluu BigSetin suunniteltuun työnkulkuun, mutta käytettävissä oleva aineisto ei riitä vahvistamaan tarkkaa virheprosenttia tai kattavaa suojaa keksittyjä rivejä vastaan .

Mitä BigSet muuttaa käytännössä?

BigSetin kiinnostavin lupaus on työnkulun yksinkertaistuminen. Perinteinen tietoaineiston rakentaminen voi vaatia tuntikausia kaapainten kirjoittamista, testaamista ja korjaamista. TinyFishin ympärille rakennetussa lähestymistavassa käyttäjä aloittaa kuvaamalla halutun aineiston luonnollisella kielellä, ei määrittelemällä jokaista selaimen toimintoa tai CSS-valitsinta .

Tämä tekee BigSetistä ennen kaikkea no-code- tai low-code-vaihtoehdon perinteiselle kaavinnalle ja ETL-työlle. Se ei poista datan laadun arvioinnin tarvetta, mutta siirtää osan teknisestä työstä agenteille. Samalla avoin lähdekoodi ja omassa ympäristössä ajaminen tarjoavat vaihtoehdon suljetuille data-alustoille ja voivat pienentää riippuvuutta yhdestä palveluntarjoajasta.

TinyFishille BigSet on myös tapa tuoda sen web-agenttiteknologia suoraan kehittäjien kokeiltavaksi. Lähteiden perusteella yhtiö on rakentanut laajemman alustan, jolla agentit voivat hakea verkosta tietoa, avata sivuja, käyttää selainta ja palauttaa jäsenneltyjä tuloksia . BigSet kokoaa nämä ideat yhdeksi konkreettiseksi käyttötapaukseksi: kuvaile aineisto, anna agenttien tutkia verkkoa ja tarkista lopputulos ennen kuin käytät sitä päätöksenteossa.