TinyFish 推出 BigSet：开源多智能体系统，一句话生成实时结构化数据集

多智能体管道如何工作

BigSet 并非单一的 LLM 调用。它是一个多智能体系统，将任务委派给专门的子智能体，由编排器管理整个工作流。

根据公开文档，其管道工作方式如下 ：

1. 编排器智能体 接收用户的自然语言描述，并推断出目标数据模式——确定最终表格将包含哪些列、数据类型和实体。根据资料显示，此步骤使用 Claude Sonnet 等模型进行复杂的推理和规划 。
2. 研究子智能体 随后被派发出去执行实际工作。这些智能体被派去进行实时网页研究，浏览真实页面，提取特定数据点，并收集证据 。研究不仅仅是语义搜索，这些智能体被设计为能够访问和解析真实的网络来源。
3. 验证子智能体 会交叉检查研究结果。资料表明，BigSet 会将其收集的数据与原始来源进行核对，以标记或防止产生幻觉的行，这是生产级数据集的关键步骤 。
4. 聚合与导出 —— 收集到的行会被去重并整理成一个整洁的表格，用户可以将其下载为 CSV 或 XLSX 文件 。

该系统还支持重复性工作。用户可以设置刷新频率（从每 30 分钟到每周一次），智能体将按计划重新运行完整的研究和验证流程，确保数据集在不需手动干预的情况下保持最新状态 。

许可证、自托管与数据主权

BigSet 采用 AGPL-3.0 许可证 发布，这是一种强版权（copyleft）许可证 。对于修改该软件并将其作为网络服务提供的团队，该许可证通常要求向用户提供修改后的源代码。这一法律框架与宽松的许可证或专有 SaaS 模式形成鲜明对比。

该系统被打包用于 基于 Docker 的自托管 。这意味着整个管道——基于浏览器的网页交互、LLM 支持的智能体推理以及提取逻辑——都运行在你自己的基础设施上。对于有严格合规要求的行业，这种部署模式避免了将敏感的商业智能查询路由至第三方云 API 或平台所带来的数据主权风险。因此，数据提取过程可以在一个受控的环境中进行，你可以自主管理访问、网络和日志。

BigSet vs. Exa Websets：竞争对比

最直接的竞品是 Exa Websets，这是 Exa.ai 的一款产品，也致力于从网络中构建结构化数据集合。虽然两者都旨在将网络转化为可查询的数据库，但它们的技术路径和市场定位有所不同 。

关于“幻觉”的问题

对于任何自主构建数据集的系统来说，幻觉都是一个关键问题。Trendshift 对 BigSet 的报道中提到了一项对比测试，其中 BigSet 和一个竞品运行了相同的查询，而竞品返回了捏造的数据 。该资料没有明确指出竞品的名称，但将其与一个资金雄厚的竞争对手进行了比较。

Exa 通过一个记录在案的三步检测工作流来正面解决幻觉问题，该工作流利用其自身的搜索能力：从文本中提取声明、搜索证据、并根据检索到的证据验证声明 。Exa 的 Websets 产品还会对搜索候选结果运行智能体工作流，以验证它们是否符合用户的精确查询，然后再将其添加到最终数据集中 。

关于 BigSet 发布的资料描述了一个专门的验证阶段，在该阶段中，子智能体在表格最终确定之前会根据其来源验证发现 。这个验证智能体的具体架构——是单步检查还是更复杂的多通系统——在现有材料中没有详细说明。然而，它在管道中的目的是明确的：防止没有来源引用的行进入导出的数据集。

主要差异一览

定位与影响

BigSet 不仅仅是一个新工具；它代表了一种构建数据管道的新思路。对于一个小团队或忙碌的分析师来说，将传统上需要数小时来编写和调试爬虫的过程压缩为 2 到 5 分钟的自然语言交互，是一个显著的效率提升 。

AGPL-3.0 许可证和 Docker 自托管部署也将 BigSet 定位为对日益增长的数据隐私和管道锁定问题的回应。通过在本地运行系统，公司可以避免将专有业务数据路由至第三方，并获得了根据自身需求修改管道的自由。

TinyFish 已融资 4700 万美元，其更广泛的基础设施平台客户包括 Google、DoorDash 和 Amazon。此次发布 BigSet，似乎是希望通过提供一款真正有用且免费的工具来推动其核心网页智能体技术的采用，同时回馈社区 。