Cloudflare×OpenAI、AI検索の精度向上へ向けた共同研究パイロットを開始

2026年7月8日、CloudflareとOpenAIは、Cloudflareのグローバルネットワークからのリアルタイム信号を利用してAI検索のインデクシングと回答品質を向上させる、画期的な共同研究パイロットを発表しました 。このパイロットは、2026年7月1日にCloudflareが発表した一連の包括的な戦略の最新の一環です。同戦略では、AIクローラーを3つの行動ベースのカテゴリに再分類し、2026年9月15日から混合用途クローラーに対して新しいデフォルトブロックを設定し、パブリッシャー向けの「Pay Per Use」報酬モデルの実験を開始します ^TBB。

Cloudflare–OpenAI研究パイロット

それは何か

CloudflareとOpenAIは、CloudflareのエッジネットワークデータとOpenAIの最先端検索機能を組み合わせた共同研究パイロットを立ち上げます 。CloudflareのCEOであるMatthew Prince氏は、この目標は「きめ細かなネットワーク信号を活用してAI検索の効率を向上させるより良い方法を見つけ、ユーザーがより速く高品質な回答を得られるようにすること」だと述べています 。

仕組み（リアルタイムネットワーク信号）

このパイロットは、世界のWebトラフィックの20%以上を処理するCloudflareのネットワークからの匿名化された集約信号を利用します 。具体的な信号は以下の通りです：

• コンテンツの鮮度 – ページが最後に更新または作成された時期。
• トラフィックの品質 – ページが実際に使用され、信頼されているかどうかを示すパターン。
• 実際のページ変更データ – サイトマップのタイムスタンプではなく、サーバー上でコンテンツが実際に変更されるかどうか、およびその頻度。

これらの信号は、AI検索エンジンが何をクロールするか、いつ再クロールするか、どのコンテンツが古いか低品質かを推測するかを、すべてのページを推測で取得することなく決定するのに役立ちます 。その結果、より効率的なインデクシングと、よりタイムリーで正確な回答が可能になります。

より広範な戦略：2026年7月1日のポリシー見直し

OpenAIのパイロットは、Cloudflareが2026年7月1日に発表した、はるかに大規模なポリシーおよび製品変更のセットに含まれています。同社はこれを「コンテンツ独立記念日」と呼んでいます ^TBB。

新しい3カテゴリのAIクローラー分類法

Cloudflareは単純な「AIボットか否か」という分類から移行し、すべてのクローラーを以下の3つのユースケースのいずれか（または複数）に分類することを義務付けました ^TB：

カテゴリ	動作	例
検索	後でクエリに答えるためにコンテンツをインデックス化する。サイトオーナーはリファラルトラフィックまたは報酬を得るべき。	標準的な検索エンジンのクローラー
エージェント	ユーザーに代わってリアルタイムで自動化されたアクションを実行する（チャットフェッチ、ブラウザ使用エージェントなど）。	ChatGPT-User、Claude、Geminiのエージェント
トレーニング	モデルをトレーニングまたは微調整するためにクロールする。データはモデルに永続的に吸収される。	一括トレーニングクローラー

Cloudflareは、これら3つすべてを実行する企業に対し、それぞれの目的に別々の識別可能なクローラーを実行することを「強く推奨」しています ^T。

今後のデフォルト設定（2026年9月15日）

2026年9月15日から、Cloudflareは新しい顧客、既存顧客の新規サイト、無料アカウントに対して新しいデフォルト設定を適用します ^TBB：

• トレーニングクローラー → 広告収入のあるページではデフォルトでブロック。
• エージェントクローラー → 広告収入のあるページではデフォルトでブロック。
• 混合用途クローラー（検索、トレーニング、エージェント機能を1回のパスで組み合わせるボット）→ 広告を掲載するすべてのページでデフォルトでブロック ^TB。
• 検索専用クローラー → デフォルトで許可。サイトが従来の検索で見つけられる状態を維持する。

最も大きな変更は混合用途クローラーを対象としています。これらのボットは、コンテンツを1回のパスで検索とAIトレーニングの両方に収集するため、サイト所有者はデータがどの目的で使用されるかを区別できません。Cloudflareのデフォルトブロックは、AI企業にクローラーを分割するか、広告収入のあるページへのアクセスを失うかの選択を迫ります ^TB。

Pay Per Use：パブリッシャー報酬の実験

2026年7月1日、Cloudflareは以前のPay Per Crawlモデル（2025年に発表）からPay Per Useモデルへの移行も発表しました ^BB：

• Pay Per Crawl（2025年のプライベートベータ版）：HTTPステータスコードと認証を使用し、クローラーがコンテンツをリクエストするたびにAI企業に課金しました ^B。
• Pay Per Use（2026年7月発表）：コンテンツがクロールされたときではなく、実際にAI回答を生成するために使用されたときに、パブリッシャーが報酬を受け取ります ^B。これはAI検索の「従量制ユーティリティ」と表現されており、AI企業は生のアクセスに対してではなく、提供された価値に対して支払います ^B。

Pay Per Useモデルはまだ「初期の実験」および「研究プログラム」とされています ^B。正確な価格設定、収益配分、一般提供のロードマップはまだ公開されていません。

各要素の連携

OpenAIの研究パイロット、3カテゴリ分類、混合用途クローラーのデフォルトブロック、Pay Per Use実験はすべて、一貫した戦略の一部です ^TBB：

1. 透明性の強制 – 検索、トレーニング、エージェントに別々のクローラーを要求することで、サイト所有者は各ボットの動作を最終的に確認できるようになります。
2. サイト所有者にコントロールを提供 – デフォルトで最も搾取的な動作（トレーニング、エージェント、混合用途）をブロックし、検出可能性（検索は許可）を維持します。
3. 報酬レイヤーの作成 – Pay Per Useは、壊れた「無料でクロールし、リファラルを得る」取引を、実際のAI回答生成に連動した支払いに置き換えます。
4. AI検索のスマート化 – OpenAIパイロットは、Cloudflareのリアルタイム信号を使用して無駄なクローリングを削減し、AI回答の適時性と正確性を向上させます。これはパブリッシャー（より良い帰属）とAI企業（インフラコストの削減）の両方に利益をもたらします。