BigSet ของ TinyFish ให้ AI สร้างชุดข้อมูลจากเว็บ เพียงบอกความต้องการเป็นภาษาธรรมชาติ

BigSet ทำงานอย่างไร

BigSet ไม่ได้อาศัยการเรียกใช้โมเดลภาษาขนาดใหญ่เพียงครั้งเดียว แต่แบ่งงานให้เอเจนต์เฉพาะทางหลายตัว โดยมีเอเจนต์ผู้ควบคุมทำหน้าที่วางแผนและประสานงานตลอดกระบวนการ

1. เอเจนต์ผู้ควบคุมวางโครงสร้างข้อมูล

เมื่อได้รับคำอธิบายเป็นภาษาธรรมชาติ เอเจนต์ผู้ควบคุมจะตีความว่าตารางสุดท้ายควรประกอบด้วยคอลัมน์ใดบ้าง แต่ละคอลัมน์ใช้ชนิดข้อมูลแบบไหน และควรค้นหาหน่วยข้อมูลหรือเอนทิตีประเภทใด ขั้นตอนนี้คือการเปลี่ยนคำขอที่ยังคลุมเครือให้เป็น schema ที่เอเจนต์ตัวอื่นนำไปทำงานต่อได้

แหล่งข้อมูลระบุว่าขั้นตอนการวางแผนที่ต้องใช้เหตุผลซับซ้อนอาจอาศัยโมเดลอย่าง Claude Sonnet แต่รายละเอียดการจัดสรรโมเดลในแต่ละเอเจนต์ยังไม่ได้เปิดเผยไว้อย่างครบถ้วน

2. เอเจนต์วิจัยแยกกันค้นข้อมูลบนเว็บจริง

จากนั้นเอเจนต์ย่อยจะถูกส่งไปทำงานแบบขนาน พวกมันสามารถเข้าชมหน้าเว็บจริง ค้นหาข้อมูลเฉพาะจุด ดึงค่าที่ต้องการ และเก็บหลักฐานจากแหล่งที่มา

จุดนี้ทำให้ BigSet แตกต่างจากการค้นหาความหมายทั่วไป เพราะระบบถูกออกแบบให้เข้าไปโต้ตอบกับหน้าเว็บและอ่านข้อมูลจากแหล่งจริง รวมถึงเว็บไซต์ที่มีเนื้อหาเปลี่ยนแปลงหรือใช้การแสดงผลแบบไดนามิกได้ในระดับหนึ่ง

3. เอเจนต์ตรวจสอบช่วยคัดกรองผลลัพธ์

ข้อมูลที่รวบรวมได้จะถูกนำไปตรวจสอบกับแหล่งที่มาอีกครั้ง ขั้นตอนนี้มีเป้าหมายเพื่อค้นหาแถวข้อมูลที่ไม่ตรงกับหลักฐาน หรือลดความเสี่ยงที่ระบบจะสร้างข้อมูลขึ้นเองโดยไม่มีแหล่งอ้างอิง

อย่างไรก็ตาม แหล่งข้อมูลที่มีอยู่ยังไม่ได้อธิบายสถาปัตยกรรมของเอเจนต์ตรวจสอบอย่างละเอียดว่าเป็นการตรวจครั้งเดียวหรือเป็นกระบวนการตรวจหลายรอบ ดังนั้นควรมอง BigSet ว่ามี “ขั้นตอนตรวจสอบข้อมูล” ตามที่ระบุไว้ มากกว่าจะสรุปถึงกลไกภายในที่ยังไม่เปิดเผย

4. รวมผลลัพธ์ ลบข้อมูลซ้ำ และส่งออกไฟล์

เมื่อผ่านการรวบรวมและตรวจสอบแล้ว ระบบจะรวมแถวข้อมูล ลบรายการซ้ำ และจัดทำเป็นตารางที่สะอาด ผู้ใช้สามารถดาวน์โหลดผลลัพธ์เป็นไฟล์ CSV หรือ XLSX ได้

BigSet ยังรองรับงานที่ต้องทำซ้ำเป็นประจำ โดยตั้งรอบการรีเฟรชได้ตั้งแต่ทุก 30 นาทีไปจนถึงทุกสัปดาห์ ระบบจะเรียกใช้กระบวนการค้นคว้าและตรวจสอบใหม่ตามกำหนด เพื่อให้ชุดข้อมูลไม่ล้าสมัยโดยไม่ต้องกลับมาแก้สคริปต์ด้วยตนเอง

AGPL-3.0 และการโฮสต์เองด้วย Docker หมายความว่าอย่างไร

BigSet เผยแพร่ภายใต้ AGPL-3.0 ซึ่งเป็นสัญญาอนุญาตโอเพนซอร์สประเภท copyleft ที่มีเงื่อนไขค่อนข้างเข้ม เมื่อองค์กรนำซอฟต์แวร์ไปแก้ไขและเปิดให้ผู้อื่นใช้งานผ่านเครือข่าย โดยทั่วไปจะต้องเปิดเผยซอร์สโค้ดของเวอร์ชันที่แก้ไขให้ผู้ใช้ที่เกี่ยวข้องเข้าถึงได้

ในทางปฏิบัติ นี่แตกต่างจากไลเซนส์แบบ permissive ที่มักให้อิสระในการนำโค้ดไปใช้ต่อมากกว่า และแตกต่างจากบริการ SaaS แบบปิดที่ผู้ใช้ไม่สามารถควบคุมโค้ดหรือกระบวนการเบื้องหลังได้

BigSet ยังจัดแพ็กเกจสำหรับการโฮสต์เองผ่าน Docker หมายความว่าองค์กรสามารถรันกระบวนการตั้งแต่การเปิดเบราว์เซอร์ การให้โมเดลช่วยตัดสินใจ ไปจนถึงการดึงข้อมูลบนโครงสร้างพื้นฐานของตนเองได้

สำหรับทีมที่ทำงานกับข้อมูลธุรกิจอ่อนไหว แนวทางนี้อาจช่วยลดความจำเป็นในการส่งคำค้นหรือข้อมูลภายในไปยังแพลตฟอร์มคลาวด์ของบุคคลที่สาม องค์กรยังเป็นผู้กำหนดสิทธิ์การเข้าถึง เครือข่าย และระบบบันทึกเหตุการณ์เอง จึงควบคุมเรื่อง data sovereignty หรืออธิปไตยเหนือข้อมูลได้มากขึ้น

ทั้งนี้ การโฮสต์เองไม่ได้ทำให้ต้นทุนเป็นศูนย์ ผู้ใช้งานยังต้องดูแลเซิร์ฟเวอร์ ทรัพยากรประมวลผล และค่าใช้บริการโมเดลหรือเครื่องมือที่เกี่ยวข้องด้วย

BigSet เทียบกับ Exa Websets

คู่แข่งที่ใกล้เคียงที่สุดคือ Exa Websets ผลิตภัณฑ์ของ Exa.ai ซึ่งมีเป้าหมายสร้างคอลเลกชันข้อมูลแบบมีโครงสร้างจากเว็บเช่นกัน แต่แนวทางทางเทคนิคและรูปแบบการให้บริการแตกต่างกัน

ประเด็นเรื่องข้อมูลหลอน

การสร้างชุดข้อมูลโดยอัตโนมัติทำให้ความถูกต้องและ “ข้อมูลหลอน” หรือ hallucination เป็นประเด็นสำคัญ Trendshift ระบุว่ามีการนำ BigSet ไปทดสอบกับคู่แข่งที่ได้รับเงินทุนสูงโดยใช้คำสั่งเดียวกัน และอ้างว่าผลลัพธ์ของคู่แข่งมีข้อมูลหลอน อย่างไรก็ตาม แหล่งดังกล่าวไม่ได้ระบุชื่อคู่แข่งอย่างชัดเจน จึงควรถือเป็นคำกล่าวอ้างจากการรายงานนั้น ไม่ใช่ผลการทดสอบอิสระที่ยืนยันแล้ว

ฝั่ง Exa มีเอกสารอธิบายกระบวนการตรวจจับข้อมูลหลอน 3 ขั้นตอน ได้แก่ แยกข้ออ้างออกจากข้อความ ค้นหาหลักฐาน และตรวจสอบข้ออ้างเทียบกับหลักฐานที่ค้นพบ ส่วน Websets จะใช้เวิร์กโฟลว์แบบเอเจนต์ตรวจสอบผลการค้นหาว่าเข้ากับคำขอของผู้ใช้จริงหรือไม่ ก่อนเพิ่มลงในชุดข้อมูลสุดท้าย

สำหรับ BigSet แหล่งข้อมูลการเปิดตัวระบุว่ามีขั้นตอนให้เอเจนต์ย่อยตรวจสอบข้อมูลกับแหล่งที่มา แต่ยังไม่มีรายละเอียดเพียงพอที่จะสรุปว่าระบบตรวจสอบทำงานลึกเพียงใด สิ่งที่ชัดเจนคือ BigSet พยายามไม่ให้แถวข้อมูลที่ไม่มีหลักฐานรองรับไหลเข้าสู่ตารางส่งออก

ทางเลือกใหม่แทนการเขียนสคริปต์เก็บข้อมูล

จุดเด่นของ BigSet อยู่ที่การลดช่องว่างระหว่าง “อยากรู้ข้อมูลอะไร” กับ “ต้องสร้างระบบเก็บข้อมูลอย่างไร” งานที่เดิมอาจต้องใช้เวลาหลายชั่วโมงในการเขียนและแก้ไข scraper ถูกบีบให้เหลือการโต้ตอบด้วยภาษาธรรมชาติราว 2–5 นาทีตามการประเมินในแหล่งข้อมูลหนึ่ง

นี่ไม่ได้หมายความว่า BigSet จะทำให้การตรวจสอบโดยมนุษย์หมดความจำเป็น โดยเฉพาะงานที่เกี่ยวข้องกับข้อมูลสำคัญ เว็บไซต์ที่มีข้อจำกัดการเข้าถึง หรือข้อมูลที่ต้องการความแม่นยำสูง ผู้ใช้ยังควรตรวจสอบแหล่งอ้างอิงและทดสอบผลลัพธ์ก่อนนำไปใช้ในกระบวนการผลิตจริง

แต่สำหรับนักวิเคราะห์ ทีมขนาดเล็ก หรือผู้ที่ต้องการสร้างรายการติดตามจากเว็บแบบต่อเนื่อง BigSet เสนอแนวคิดที่น่าสนใจ: แทนที่จะเริ่มจากโค้ด scraping และ ETL ผู้ใช้เริ่มจากการอธิบายผลลัพธ์ที่ต้องการ แล้วปล่อยให้เอเจนต์ช่วยวางแผน ค้นคว้า ตรวจสอบ และจัดรูปแบบข้อมูล

สำหรับ TinyFish เอง BigSet ยังช่วยนำความสามารถด้าน web agents มาสู่โปรเจกต์โอเพนซอร์สที่ชุมชนสามารถนำไปทดลองและปรับแต่งได้ โดยบริษัทระบุว่ามีเงินระดมทุน 47 ล้านดอลลาร์สหรัฐ และมีลูกค้าอย่าง Google, DoorDash และ Amazon ในธุรกิจโครงสร้างพื้นฐานที่กว้างกว่า