CloudflareのAIクローラー新既定値を解説：サイト運営者が知るべき設定とSEO上の注意点

Cloudflareは2026年9月15日、従来の検索インデックス作成と、AIによる学習・リアルタイム利用をより明確に分ける既定設定を導入しました。Cloudflareに新規導入されるドメインでは、広告を表示するページに対し、TrainingとAgentに分類されたクローラーを既定でブロックします。一方、Searchは既定で許可されます。215

これは「AIを一律で締め出す」設定ではありません。検索流入の機会を維持しつつ、モデル学習やAIアシスタントによる即時取得にコンテンツを使わせるかを、サイト側が切り分けられるようにするものです。

新しい既定値：広告表示ページではTrainingとAgentをブロック

対象は、Cloudflareへ新たにオンボーディングするドメインです。Cloudflareが広告表示を検出したページでは、次の2種類の自動アクセスが既定でブロックされます。

• Training（学習）：モデルの学習またはファインチューニングのためにコンテンツを収集するクローラー
• Agent（エージェント）：チャットでのページ取得やブラウザ操作エージェントのように、利用者に代わってリアルタイムで動く自動アクセス 13

これに対し、**Search（検索）**は許可されたままです。CloudflareはSearchを、後で質問に答える目的でコンテンツをクロールまたはインデックス化する行為と位置付け、サイトには紹介流入などの対価が期待されるものと説明しています。13

つまり、この既定値は広告表示ページに限定され、対象もTrainingとAgentです。すべてのAI関連アクセスを止める仕組みではありません。215

どのCloudflare利用者に影響するのか

公式ドキュメントでは、この新しい既定値の対象はCloudflareへ新規にオンボーディングするドメインとされています。215 導入時の報道では、既存顧客が新たに追加するサイトや、設定を手動変更していないFreeプランのサイトも対象範囲として説明されています。23

既存のゾーンがすべて自動的に同じ設定へ移行する、と考えるべきではありません。実際の適用状況は、そのドメインのオンボーディング状況、プラン、既存設定によって異なり得ます。自サイトに有効なポリシーは、CloudflareダッシュボードのAIクローラー制御で確認するのが確実です。23

管理できる3つのトラフィック分類

CloudflareはAI関連の自動アクセスを一括りにせず、挙動に基づき3分類しています。各分類は個別に設定可能です。13

分類	対象となる行為	新規ドメインにおける広告表示ページの既定値
Search	後で質問に答えるためのクロール・インデックス化	許可
Training	モデルの学習・ファインチューニング用の収集	ブロック
Agent	ユーザーに代わるリアルタイムの自動処理	ブロック

各分類について、サイト運営者は次の3つから選べます。

1. 許可する
2. 広告を表示するページでのみブロックする
3. すべてのページでブロックする 23

たとえば、検索用のインデックス化は認めたまま、Trainingだけをサイト全体で止める、あるいは収益化ページに限ってブロックするといった運用が可能です。

SEOで最も注意したい「複合用途クローラー」

クローラーの分類は、必ずしも一つの目的だけに限られません。Cloudflareは、SearchとTrainingを兼ねるクローラーについて、すべての挙動に応じて評価し、該当するルールのうち最も厳しいものを適用すると説明しています。2615

このため、Trainingをブロックした場合、CloudflareからSearchとTrainingの両方を行うと扱われるクローラーは、通常の検索クロールにもアクセスできなくなる可能性があります。Cloudflareの資料や導入時の報道では、Googlebot、Applebot、BingBotがこの問題に関係する複合用途クローラーの例として挙げられています。26

言い換えると、「Searchを許可」にしていても、そのボットにTrainingの性質もあると判定されれば、検索アクセスが自動的に残るとは限りません。Trainingのサイト全体ブロックを検討する際は、検索インデックスや流入への影響を先に確認すべきです。24

旧「Block AI bots」設定は見直しが必要

Cloudflareは、旧来の**「Block AI bots」**を含むAI学習ブロック設定についても、SearchとTrainingを兼ねるクローラーに適用されると説明しています。2 以前の広範な設定を「検索以外のAIアクセスだけを止めるもの」と理解して有効化していたサイトは、特に確認が必要です。

9月の導入後の報道では、Googlebot、Applebot、BingBotの検索クロールを維持しながら学習拒否の意思を示すための「Disallow AI Training」という新しいアプローチも伝えられています。この扱いでは、クローラー事業者が「Accountable」と指定される場合、複合用途クローラーの検索アクセスを維持できるとされています。4

ただし、実際の動作や移行方法は選んだ設定に左右されます。旧トグルの名称だけで判断せず、現在ダッシュボードに表示される制御内容を確認することが重要です。4

なぜ検索とAI利用を分けるのか

背景には、出版社・メディア運営者が抱く収益面の懸念があります。従来の検索エンジンはページをクロールしてインデックス化し、利用者を元サイトへ送ることで、紹介流入という形の価値を返す関係にありました。

一方、生成AIサービスはコンテンツを学習に利用したり、自社インターフェース内で取得・要約した回答を提示したりできます。その場合、利用者が元の記事を訪れず、サイト側に直接的な流入価値が戻りにくいことがあります。

CloudflareはSearchを、紹介流入またはそれに相当する公正な対価が見込まれるトラフィックと説明し、TrainingやAgentとは異なるものとして扱っています。13 問われているのは、そのボットが「AIかどうか」だけではありません。コンテンツ発見を促し、サイトに価値を返す行為なのか、それとも主に学習やリアルタイムのAIタスクのためにコンテンツを消費する行為なのか、という違いです。13

サイト運営者が確認すべきこと

設定を変える前に、分類ごとの影響を確認しましょう。

• 検索インデックスと紹介流入を重視するなら、Searchは許可する。
• 収益化ページを守りつつ全面制限を避けたいなら、広告表示ページでブロックを選ぶ。
• すべてのページでブロックする場合は、そのクローラーがSearchとTrainingを兼ねるかを事前に確認する。
• Google、Apple、Bingでの検索表示が重要なら、旧**「Block AI bots」**を含む既存の設定を見直す。236

Cloudflareの新しい既定値は、出版社やサイト運営者により細かな選択肢を与えます。ただし複合用途クローラーの扱いにより、これは単なるAIポリシーではなく、検索可視性にも関わるSEO上の設定です。