BigSet של TinyFish: מתארים את הנתונים במשפט — ומקבלים טבלה חיה

כך פועל צינור הסוכנים של BigSet

BigSet אינה מסתפקת בקריאת מודל שפה אחת. מדובר במערכת שבה סוכן מרכזי מחלק את העבודה בין סוכנים בעלי תפקידים שונים.

לפי תיאור המערכת במקורות, התהליך כולל את השלבים הבאים :

1. סוכן מתזמן — מקבל את הבקשה בשפה טבעית ומסיק ממנה את הסכמה של המאגר: אילו עמודות יופיעו בטבלה, אילו סוגי נתונים נדרשים ואילו ישויות יש לאתר. לפי המקורות, בשלב התכנון וההסקה נעשה שימוש במודלים כגון Claude Sonnet .
2. סוכני מחקר — מתפצלים לביצוע העבודה בפועל. הם חוקרים את הרשת בזמן אמת, גולשים בדפים אמיתיים, מחלצים נתונים נקודתיים ואוספים ראיות . כלומר, לא מדובר רק בחיפוש סמנטי; הסוכנים מתוכננים להגיע למקורות Web ולנתח אותם.
3. סוכני אימות — בודקים את הממצאים מול המקורות שמהם נאספו. לפי המקורות, שלב זה נועד לסמן או למנוע שורות מומצאות, בעיה מרכזית בכל מערכת שמרכיבה מאגרי נתונים באופן אוטונומי .
4. איחוד וייצוא — הרשומות שנאספו עוברות הסרת כפילויות ומאוחדות לטבלה נקייה, שאותה ניתן להוריד בפורמט CSV או XLSX .

המערכת מיועדת גם למשימות חוזרות. ניתן להגדיר תדירות רענון שנעה מעדכון כל 30 דקות ועד עדכון שבועי, והסוכנים יריצו מחדש את תהליך המחקר והאימות כדי לשמור על רלוונטיות הנתונים ללא טיפול ידני .

מה המשמעות של AGPL-3.0 והרצה עצמית?

BigSet מופצת תחת AGPL-3.0, רישיון קוד פתוח מסוג copyleft חזק . עבור צוותים שמשנים את התוכנה ומציעים אותה כשירות רשת, הרישיון בדרך כלל מחייב להעמיד לרשות המשתמשים את קוד המקור של הגרסה ששונתה. זהו מודל משפטי שונה מרישיונות קוד פתוח מתירניים וממוצרי SaaS קנייניים.

המערכת ארוזה להרצה עצמית באמצעות Docker . בפועל, המשמעות היא שניתן להפעיל בסביבה שבשליטת הארגון את רכיבי התהליך — החל מאינטראקציות עם אתרים בדפדפן, דרך ההיגיון של הסוכנים המבוסס על מודלי שפה ועד לוגיקת החילוץ.

לארגונים שעובדים עם מידע עסקי רגיש, מודל כזה עשוי לצמצם את הצורך להעביר שאילתות ותהליכי איסוף דרך שירות ענן של צד שלישי. עם זאת, השליטה אינה אוטומטית: הארגון עדיין אחראי לניהול הרשאות, רשת, מפתחות גישה, מודלים, עלויות חישוב ויומני פעילות.

BigSet מול Exa Websets

ההשוואה הישירה ביותר היא ל-Exa Websets, מוצר של Exa.ai שגם הוא נועד לבנות אוספי נתונים מובנים מהרשת. שתי המערכות מנסות להפוך את האינטרנט למקור נתונים שאפשר לשאול בשפה טבעית, אך הגישה הטכנולוגית והמיצוב שלהן שונים .

שאלת ההזיות

הזיות — כלומר נתונים או טענות שהמערכת מייצרת ללא בסיס במקור — הן נקודת תורפה מרכזית בכל מערכת שבונה מאגר באופן אוטונומי. סיקור של BigSet ב-Trendshift מתאר השוואה שבה BigSet ומוצר מתחרה הריצו את אותה שאילתה, והמוצר המתחרה החזיר נתונים מומצאים . המקור אינו מציין במפורש את שם המתחרה, ולכן יש להתייחס לטענה בזהירות.

Exa מתארת תהליך ייעודי לבדיקת הזיות בשלושה שלבים: חילוץ טענות מהטקסט, חיפוש ראיות ובדיקת הטענות מול הראיות שאותרו . לפי תיאור Websets, המוצר מפעיל גם תהליכי אימות על מועמדים שנמצאו בחיפוש, כדי לבדוק שהם אכן תואמים לבקשה המדויקת של המשתמש לפני הכללתם במאגר .

במקורות המתארים את BigSet מופיע שלב אימות ייעודי, שבו סוכנים בודקים את הממצאים מול המקורות לפני השלמת הטבלה . עם זאת, הפרטים המלאים של הארכיטקטורה — למשל אם מדובר בבדיקה חד-שלבית או במערכת מרובת מעברים — אינם מפורטים במלואם במידע הזמין.

מעבר מסקרייפרים לצינורות נתונים בשפה טבעית

המשמעות של BigSet אינה רק עוד כלי לאיסוף מידע. המערכת מציעה שינוי באופן שבו מגדירים תהליך נתונים: במקום להתחיל בקוד, בבוררי CSS ובתחזוקה שוטפת של סקרייפרים, מתחילים בתיאור של התוצאה הרצויה.

לפי אחד המקורות, תהליך שבעבר דרש שעות של כתיבה ואיתור תקלות יכול להתכווץ לאינטראקציה בשפה טבעית שאורכת כ-2–5 דקות . גם אם בפועל התוצאה תלויה במורכבות השאילתה, במבנה האתרים ובאיכות המקורות, זהו מיצוב שמכוון במיוחד לאנליסטים ולצוותים קטנים שאין להם משאבי הנדסה ייעודיים.

השילוב בין AGPL-3.0 להרצה עצמית באמצעות Docker מציב את BigSet גם כחלופה אפשרית לתלות בספק SaaS יחיד. ארגונים יכולים לבחון את הקוד, לשלוט בסביבת ההפעלה ולהתאים את צינור הנתונים לצרכים שלהם — תוך שהם ממשיכים לשאת באחריות לתפעול, לאימות התוצאות ולציות לדרישות השימוש באתרים.

TinyFish, שגייסה 47 מיליון דולר ולפי המקורות מונה את Google, DoorDash ו-Amazon בין לקוחות פלטפורמת התשתית הרחבה שלה, משתמשת ב-BigSet כדי להציג יישום פתוח ומעשי לטכנולוגיית סוכני ה-Web שלה .