「エンジニアの工数を数時間から数分に」TinyFish、オープンソースのマルチエージェントシステム「BigSet」をリリース

マルチエージェントパイプラインの仕組み

BigSetは単一のLLM呼び出しではない。複数の専門エージェントが連携するマルチエージェントシステムであり、オーケストレーターが全体のワークフローを管理する 。

1. オーケストレーターエージェントがユーザーの自然文を受け取り、必要なテーブル構造（カラム、データ型、エンティティ）を推論する。このステップではClaude Sonnetなどの高度な推論モデルが使われる 。
2. 調査サブエージェントが分散して実際のウェブページを巡回し、特定のデータを抽出する。単なるキーワード検索ではなく、実際のブラウザセッションを通じてサイトを解釈する 。
3. 検証サブエージェントが収集したデータを元のソースと照合し、幻覚（ハルシネーション）を防止する。これはプロダクション品質のデータセットにとって極めて重要なステップだ 。
4. 集約とエクスポート — 重複行を排除し、クリーンなテーブルを生成。ユーザーはCSVまたはXLSXとしてダウンロードできる 。

また、30分から週次まで任意の間隔でパイプラインを再実行する「リフレッシュ機能」も備えており、データセットを常に最新に保つことができる 。

ライセンス、セルフホスティング、そしてデータ主権

BigSetはAGPL-3.0ライセンスの下で公開されている。これは強いコピーレフトライセンスであり、ソフトウェアを改変してネットワークサービスとして提供する場合、改変したソースコードの公開が求められる 。

システムはDockerベースのセルフホスティングに対応している 。パイプライン全体——ブラウザベースのウェブインタラクション、LLMによるエージェント推論、抽出ロジック——がすべて自身のインフラ上で実行される。金融や医療などコンプライアンス要件の厳しい業界では、機密データをサードパーティのクラウドAPIに経由させることなく、完全に制御可能な環境内でデータ抽出を行える点が大きなメリットとなる。

BigSet vs. Exa Websets：競合比較

最も直接的な競合は、同じくウェブから構造化データを生成するExa.aiのExa Websetsだ。両者のアプローチと市場での位置づけは明確に異なる 。

幻覚（ハルシネーション）への対応

データセットを自律的に構築するシステムにとって、幻覚は重大な課題だ。Trendshiftの報道によると、BigSetと競合製品が同一のクエリを実行した際、競合製品は幻覚データを返したという 。競合の名称は明示されていないが、資金力のあるライバル（Exa）を暗に指しているとされる。

Exa側は、自社の検索能力を活用した3ステップの検出ワークフロー（テキストから主張を抽出 → 証拠を検索 → 証拠に基づき検証）で幻覚問題に取り組んでいる 。Exa Websetsも同様に、検索候補に対してエージェント駆動の検証ワークフローを実行し、ユーザーの要求に正確に合致するものだけを最終セットに追加する 。

BigSetの検証アーキテクチャの詳細は公開資料からは完全には明らかでないが、パイプラインの目的は「ソース引用のない行がエクスポートされることを防ぐ」ことにある 。

主な違い

位置づけと影響

BigSetは単なるツールではない。データパイプラインの構築方法そのものを変革する可能性を秘めている。これまで数時間かかっていたスクレイパーの作成とデバッグのプロセスが、2〜5分の自然言語インタラクションに圧縮される 。

AGPL-3.0ライセンスとセルフホスティングは、データプライバシーとパイプラインのロックインに対する懸念への回答でもある。機密データを第三者に預けることなく、変更の自由を確保しながらシステムを運用できる。

TinyFishはこれまでに$47Mを調達し、Google、DoorDash、Amazonなどを顧客に持つ 。BigSetは、自社のコア技術（ウェブエージェント基盤）への採用を促進しつつ、コミュニティに実用的で無料のツールを提供するという戦略的な位置づけにある。