Cloudflare、2026年9月15日からAIクローラーをデフォルトでブロックへ：WebパブリッシャーとAI企業に迫る新ルール

2026年9月15日より、Cloudflareは検索インデックスとAI学習やエージェントタスクを単一のユーザーエージェントにまとめるAIクローラーを、パブリッシャーが明示的に許可しない限りデフォルトでブロックします 。

これは単なる設定変更ではありません。世界のWebトラフィックの約20%を管理するCloudflareが、インターネットのデフォルトを「オプトアウト（クローラー許可、ブロックは明示的に）」から「オプトイン（AI特化クローラーはブロック、許可は明示的に）」へと転換するものです 。パブリッシャーにとっては、エンタープライズ級のボット protection が標準で備わることを意味します。AI企業にとっては、Cloudflareを経由するサイトからの大規模な無償スクレイピングの終焉を意味します。

中核の変更：2026年9月15日デッドライン

Cloudflareは2026年9月15日を、AI企業が収集したコンテンツの利用目的に基づいてWebクローラーを明確に区別したカテゴリに分離するための期限と定めました。クローラーの目的を明確に宣言しないもの、または検索インデックスとAI学習を単一のユーザーエージェントにまとめるものは、特に広告を掲載するページにおいて、デフォルトでブロックされます 。

同日以降、新規のCloudflare契約者および新しく作成されたWebサイトでは、明確に識別された検索クローラーのみを許可し、AI学習用およびAIエージェント用のクローラーは、パブリッシャーが明示的にオプトインしない限りブロックするデフォルト設定が適用されます 。既存の無料契約者で設定を手動更新しなかった場合も、新しいデフォルトに移行されます 。

1. 新しいデフォルト設定：オプトアウトからオプトインへ

従来、Webはオプトアウトの規範で運営されてきました。つまり、クローラーはWebサイトがrobots.txtで明示的にブロックしない限り許可されていました。Cloudflareはこれを、AI特化クローラーに対してオプトインのパラダイムに転換しました 。

• 新規契約者および新規サイト向け： 学習やエージェント活動に使用されるAIクローラーはデフォルトでブロックされます。パブリッシャーはこれらを能動的に有効化する必要があります 。
• 既存契約者向け： 設定は自動的に変更されませんが、オーナーはCloudflareダッシュボードから新しい3カテゴリ制御に移行することが推奨されています 。
• 広告掲載ページ： 複合利用クローラー（検索インデックスとAI学習の両方を行うもの）はデフォルトでブロックされます。これは、デフォルトポリシーがラベルなしまたは「混在」トラフィックを学習/エージェントトラフィックとして扱うためです 。

2. 3カテゴリのクローラーシステム：検索、エージェント、学習

Cloudflareは、パブリッシャーが3つのボット行動に対して独立したルールを設定できる新しい分類を導入しました。これは無料契約者を含むすべての契約者が利用できます 。

カテゴリ	定義	デフォルト設定（9月15日以降）
検索	検索結果にコンテンツを表示するためにインデックスを作成し、パブリッシャーに参照トラフィックを送り返すクローラー	デフォルトで許可 — 閲覧者と広告収入を生み出すボット
エージェント	ユーザーに代わって行動するボット（例：タスクを実行するAIアシスタント、ショッピング、予約など）	デフォルトでブロック — パブリッシャーがオプトインする必要あり
学習	ユーザーを送り返したり帰属表示をしたりすることなく、AIモデルを学習するためだけにコンテンツをスクレイピングするボット	デフォルトでブロック — パブリッシャーがオプトインする必要あり

パブリッシャーは、無料プランであっても、単一のダッシュボードから「検索許可、学習ブロック、エージェントブロック」といったポリシーを設定できるようになります 。これは、ユーザーエージェントごとに一律の許可/拒否しかできなかった従来のrobots.txtよりもはるかに詳細な制御を可能にします。Cloudflare自身のドキュメントでは、検索を「サイト運営者が参照トラフィックまたはその他の公平な対価を得るべき活動」と定義しています 。

3. 「ペイ・パー・クロール」から「ペイ・パー・ユース」への移行

Cloudflareはまず2025年7月に、プライベートベータ版としてペイ・パー・クロールを導入しました。これは、HTTP 402（「Payment Required」）ステータスコードを使用してアクセスを交渉する、パブリッシャーがAI企業にリクエストごとに課金できるマーケットプレイスです 。このシステムにより、パブリッシャーは未承認のクローラーがコンテンツをリクエストした際に、価格情報を含む402応答を返すことができました 。

2026年4月のAgents Week（4月13日〜17日）までに、Cloudflareはこれをより広範なペイ・パー・ユースモデルへと進化させ、ペイ・パー・クロールの枠組みを全プラン階層で利用可能な単一のオペレーターコンソールに統合しました 。主な違いは以下の通りです。

• ペイ・パー・クロール（2025年ベータ版）： リクエスト単位のマイクロトランザクションモデル。すべてのクロールリクエストがHTTP 402応答を介して支払い交渉をトリガーしました 。
• ペイ・パー・ユース（2026年GA版）： より柔軟なシステム。パブリッシャーは定額ライセンス料、クロール単価、サブスクリプション型アクセスなどの条件を設定でき、AI企業はCloudflareのボット管理およびWAFルールを介してプログラムでアクセスを管理できます 。

Stack Overflowによる実装（2026年2月）は、この本番バージョンを示しています。彼らのデータライセンスプログラムは、Cloudflareのボット分類を使用して未承認のクローラーに402応答を返し、特注の契約なしで大規模な収益化を実現しています 。

これがもたらす変化

パブリッシャーにとって

• 新たな収益源： AI企業は、Cloudflareを経由するサイトからの学習データに対して対価を支払う必要が生じます。無償スクレイピングの終焉です 。
• きめ細かい制御： パブリッシャーは、広告トラフィックを生む検索クローラーは維持しつつ、学習/エージェントボットをブロックすることで、広告収入とコンテンツ価値の両方を保護できます 。
• デフォルトでの保護： カスタムボット管理にコストをかけられなかった中小規模のパブリッシャーも、エンタープライズ級のAIクローラーブロックを標準装備できるようになります 。

AI企業にとって

• 学習データのコスト上昇： Cloudflareネットワーク上のサイト（Webの約20%）からの大規模スクレイピングという「無料の昼食」は終わります 。AI企業はパブリッシャーに支払うか、ライセンス契約を交渉する必要があります。
• クローラーのアイデンティティ危機： AI企業は2026年9月15日までに、検索、学習、エージェントのトラフィックを明確に区別可能なユーザーエージェントに分離するために、クローラーインフラを抜本的に見直さなければなりません。さもなければ、完全にブロックされるリスクがあります 。
• Googleが最も影響を受ける： Googleのクローラー（Googlebot）は従来、検索インデックス作成とGemini/SGEのためのAI学習という二重の目的を果たしてきました。Cloudflareのポリシーは、Googleにクローラーの分割を強制するか、あるいはGooglebotがCloudflare経由の広告掲載サイトでブロックされるリスクに直面させます 。

業界全体への影響

• 標準設定の動き： Cloudflareは事実上、AIクローラーのエチケットに関する新しいプロトコルを定義しています。他のCDNやホスティングプロバイダーもこれに追随する可能性があります 。
• Content Signals Policy： Cloudflareは、ページレベルのアクセス許可を超えた、機械可読な新しいディレクティブセットをrobots.txtに導入しました。これにより、パブリッシャーは自社のコンテンツが検索インデックス、AI学習、AIエージェントのいずれに使用されてもよいかをシグナルできるようになります 。これは、従来のrobots.txtを、クロール許可だけでなく、アクセス後の「利用目的」をカバーするように拡張したものです。