アクセスが増えることは、個人事業や小さな会社にとって必ずしも歓迎すべきこととは限りません。訪問者が顧客につながらないまま自動アクセスだけが急増すれば、サイトを動かすサーバーの資源を使い切ってしまうことがあります。
サンディエゴ在住の児童書作家・イラストレーター、チェルシー・パウルスさんは、Metaのクローラーにサイトを圧迫されたと話しています。報道によると、48時間で55万回を超えるアクセスがあり、ホスティング資源が限界に達したといいます。
53 ただし、Metaが彼女を意図的に狙ったことを示す証拠は示されていません。
共有サーバーに届いた大量のリクエスト
パウルスさんは、4つのウェブサイトでSiteGroundの共有ホスティングプランを利用していました。10月24日、SiteGroundから、プランに割り当てられたCPU利用枠の80%に達したとの警告が届きました。
2 これは共有プラン全体の利用状況を指し、MetaだけがCPUを常時80%使っていたという意味ではありません。
Fast Companyの報道によると、Meta-ExternalAgentはサイトの「カートから削除」機能に繰り返しアクセスし、1分あたり100回を超えるリクエストを発生させ、数日で約55万回に達しました。パウルスさんがこのクローラーをブロックした後、2日ほどしてMeta-WebIndexerが現れ、CPU利用率が100%に達してサイトがクラッシュしたと同社は伝えています。
6 Business Insiderも、48時間で55万回超のボットアクセスがあり、ホスティング資源を使い切る状況になったというパウルスさんの説明を報じています。
53
パウルスさんは、今回の出来事をMetaによる意図的な攻撃だとは考えていないと述べています。
2 報道で確認できるのは、サイトに大きな負荷がかかったという経緯です。ブロックの設定が具体的にどうなっていたのか、なぜ別のクローラーがアクセスしたのか、適切なブロック指示が無視されたのかは明らかになっていません。
2種類のクローラー、異なる目的
Meta-ExternalAgentは、基盤AIモデルの学習や、コンテンツを直接インデックス化して製品を改善する用途で情報を収集すると説明されています。
12
一方、Meta-WebIndexerはMeta AIの検索結果を支えるためのクローラーです。コンテンツが検索結果に引用・リンクされることを目的としています。
55
この違いは、サイト運営者がどの自動アクセスを許可するか考えるうえで重要です。クローラーごとに役割が異なるため、1種類を止めても、別のクローラーへの対応にはならない場合があります。
7
「制御できる」という説明と現場の難しさ
Metaの広報担当者は、ウェブサイトの管理者が同社のクローラーによるアクセスを管理できると説明しました。
24 また、Metaの商業利用規約をめぐる報道では、同社はサイト運営者がrobots.txtを使ってクローラーのアクセスを管理できると述べています。
26 規約の変更については、広告主以外にもクローリングの権利が広がるとして注目を集めました。
26
robots.txtは、クローラーに対してアクセス可能なURLを伝えるファイルです。Googleは、この仕組みは主にリクエストによるサイトへの過剰な負荷を避けるために使われると説明しています。
18 ただし、パウルスさんの事例について、ブロック設定の詳細や、別のクローラーが現れた理由は報道から確認できません。制御手段が示されていることと、実際にサイトを負荷から守れることは、必ずしも同じではありません。
小規模サイトにとっての負荷
Fast Companyは、顧客への案内や商品の販売に使う小規模事業者のサイトが、クローラーによる負荷にさらされていると報じています。
6 共有ホスティングでは、複数のサイトが資源を分け合うことがあります。アクセスが急増しても、それが売上につながらなければ、事業者にとっては運営コストやサイト停止のリスクだけが残りかねません。
DataDomeによると、2026年上半期に同社が観測したAIクローラーのトラフィックのうち、Meta関連のボットは46.3%を占めました。
1
51 これはDataDomeが観測したトラフィック内の割合であり、インターネット全体の通信量に占める割合ではありません。Cloudflareの2026年の解説では、Meta-ExternalAgentはリクエスト数でGooglebotに次ぐボットとされています。
59 こうした数字はクローラー活動の規模を示す参考にはなりますが、小規模サイトがどの程度の頻度で障害に見舞われるかを示すものではありません。
今回の報道から言えるのは、クローラーのアクセスがホスティング資源を消費し、小規模事業者のオンライン上の拠点を脅かすことがあるという点です。一方で、Metaによる意図的な標的化や、パウルスさんのブロックを故意に回避したことまで裏付ける証拠は、現時点で示されていません。