ウェブサイトの運営者が、自分のページを生成AIの学習に使ってよいかどうかを、AI企業ごとに別々に設定するのではなく、共通のルールで示す――。そんな仕組みとして、Google、OpenAI、Microsoft、Anthropicの4社が2026年10月30日に支持を表明しました。28

使うのは、ウェブサイトのクローラー向け設定ファイル「robots.txt」に記す __usage_ai-training というトークンです。ただし、これはサイトへのアクセスや検索結果への掲載を一律に止める設定ではありません。現時点では提案段階で、各社の対応時期もそろっていません。

「__usage_ai-training」はどう書く？

Anthropicの標準化担当者ケビン・ケリー氏が、IETF（インターネット標準の策定に関わる団体）のAI Preferencesワーキンググループに提出した「Machine-Readable Training Preference Signal」は、正式採択済みの標準ではなく、Internet-Draft（インターネット草案）です。草案では、通常のrobots.txtのユーザーエージェント欄に __usage_ai-training を指定し、コンテンツのAI学習利用に関する希望を示します。241

サイト全体を学習利用の対象外にしたい場合は、次のように記述します。

User-agent: __usage_ai-training
Disallow: /

パス単位で例外を設けることもできます。たとえば、原則として学習利用を認めず、/permitted/ 以下だけ許可する書き方は次のとおりです。7

User-agent: __usage_ai-training
Disallow: /
Allow: /permitted/

草案で指定されているのは専用のトークンです。そのため、User-agent: * のグループだけでは、この学習利用の希望を表明したことにはなりません。4

クローラー拒否や検索除外とは別の設定

このシグナルが対象とするのは、コンテンツをAIモデルの学習に使うかどうかです。クローラーによるアクセス自体を技術的に遮断するものではなく、検索結果からページを除外する指示でもありません。対応を表明した事業者が、コンテンツ利用に関する希望として扱う仕組みです。78

Microsoftは、新しい設定によってBingの通常の検索結果に掲載される資格は変わらないと説明しています。ただし、これはMicrosoftによるBingについての説明であり、他社の検索サービスにも同じ扱いが当てはまるという保証ではありません。19

4社の対応時期は同じではない

各社は対応を表明していますが、発表時点で一斉に利用可能になったわけではありません。8

• Anthropic： ケリー氏は同社がシグナルの実装を始めたと述べています。確認できる情報からは、全面導入の完了時期までは分かりません。8
• Google： 2027年初頭の対応を予定しています。サイトが共通シグナルで学習利用を拒否し、Google-Extended を別途指定していない場合、Googleはその設定を Google-Extended の拒否として扱う方針です。既存のGoogle向け設定との関係にも注意が必要です。3335
• Microsoft（Bing）： 2027年2月1日から、ページをクロールする際に共通の学習設定を尊重する予定です。317
• OpenAI： 「今後数カ月以内」に対応するとしていますが、確認できる情報には具体的な日付はありません。58

共通トークンで意思表示をまとめられるようになる一方、導入時期や適用方法が4社で完全に統一されたわけではありません。8

Microsoftは「学習」と「グラウンディング」を分ける

Microsoftは、AI学習とは別に、ページごとに設定する「AI Grounding（AIグラウンディング）」の選択肢も導入します。グラウンディングとは、生成AIの回答を作る際にコンテンツを参照し、回答の情報を補う使い方です。Microsoftによれば、グラウンディング用のサイト全体に適用するrobots.txt設定はありません。317

報告されている設定は「Allow」「Disallow」「DisallowExtended」の3種類です。「DisallowExtended」は限定的なグラウンディングを選ぶ設定で、Microsoft自身が運営するサービスでの利用は認めつつ、Microsoftが第三者に提供するグラウンディングサービスでの利用を除外します。317

古い設定を使っているサイトには、移行日程も関係します。

• 2026年12月15日： NoArchiveまたはNoCacheを使う対象サイト向けに、一時的なグラウンディング移行設定がBing Webmaster Toolsで利用可能になる予定です。351
• 2027年2月1日： Bingがページをクロールする際に、新しい設定を尊重する予定です。317
• 2027年3月1日： NoArchiveまたはNoCacheをこれらの設定に使っているサイトの移行期限とされています。4446

Microsoftは、これらの変更で通常のBing検索結果への掲載資格は変わらないと説明しています。19

まだ分かっていないこと、過信できないこと

まず、この仕組みはIETFの正式な標準ではなく、現時点ではInternet-Draftです。草案の存在と各社の対応表明を、すべての事業者に共通する確定ルールと同じものとして扱うことはできません。841

また、シグナルは対応する事業者に向けた利用方針の表明であり、対応を表明していないクローラーのアクセスを止めるものではありません。78 公開されている情報からは、導入前に収集されたコンテンツが対象になるのか、収集済みデータの削除が必要なのか、すでに学習済みのモデルにどう影響するのかは確認できません。

Metaについても、ここで確認できる発表からは、共通シグナルを尊重するという実装上の確約は確認できません。対応済みと決めつけず、各社の正式な発表を確認する必要があります。

ウェブサイトの運営者が、自分のページを生成AIの学習に使ってよいかどうかを、AI企業ごとに別々に設定するのではなく、共通のルールで示す――。そんな仕組みとして、Google、OpenAI、Microsoft、Anthropicの4社が2026年10月30日に支持を表明しました。28

使うのは、ウェブサイトのクローラー向け設定ファイル「robots.txt」に記す __usage_ai-training というトークンです。ただし、これはサイトへのアクセスや検索結果への掲載を一律に止める設定ではありません。現時点では提案段階で、各社の対応時期もそろっていません。

「__usage_ai-training」はどう書く？

Anthropicの標準化担当者ケビン・ケリー氏が、IETF（インターネット標準の策定に関わる団体）のAI Preferencesワーキンググループに提出した「Machine-Readable Training Preference Signal」は、正式採択済みの標準ではなく、Internet-Draft（インターネット草案）です。草案では、通常のrobots.txtのユーザーエージェント欄に __usage_ai-training を指定し、コンテンツのAI学習利用に関する希望を示します。241

サイト全体を学習利用の対象外にしたい場合は、次のように記述します。

User-agent: __usage_ai-training
Disallow: /

パス単位で例外を設けることもできます。たとえば、原則として学習利用を認めず、/permitted/ 以下だけ許可する書き方は次のとおりです。7

User-agent: __usage_ai-training
Disallow: /
Allow: /permitted/

草案で指定されているのは専用のトークンです。そのため、User-agent: * のグループだけでは、この学習利用の希望を表明したことにはなりません。4

クローラー拒否や検索除外とは別の設定

このシグナルが対象とするのは、コンテンツをAIモデルの学習に使うかどうかです。クローラーによるアクセス自体を技術的に遮断するものではなく、検索結果からページを除外する指示でもありません。対応を表明した事業者が、コンテンツ利用に関する希望として扱う仕組みです。78

Microsoftは、新しい設定によってBingの通常の検索結果に掲載される資格は変わらないと説明しています。ただし、これはMicrosoftによるBingについての説明であり、他社の検索サービスにも同じ扱いが当てはまるという保証ではありません。19

4社の対応時期は同じではない

各社は対応を表明していますが、発表時点で一斉に利用可能になったわけではありません。8

• Anthropic： ケリー氏は同社がシグナルの実装を始めたと述べています。確認できる情報からは、全面導入の完了時期までは分かりません。8
• Google： 2027年初頭の対応を予定しています。サイトが共通シグナルで学習利用を拒否し、Google-Extended を別途指定していない場合、Googleはその設定を Google-Extended の拒否として扱う方針です。既存のGoogle向け設定との関係にも注意が必要です。3335
• Microsoft（Bing）： 2027年2月1日から、ページをクロールする際に共通の学習設定を尊重する予定です。317
• OpenAI： 「今後数カ月以内」に対応するとしていますが、確認できる情報には具体的な日付はありません。58

共通トークンで意思表示をまとめられるようになる一方、導入時期や適用方法が4社で完全に統一されたわけではありません。8

Microsoftは「学習」と「グラウンディング」を分ける

Microsoftは、AI学習とは別に、ページごとに設定する「AI Grounding（AIグラウンディング）」の選択肢も導入します。グラウンディングとは、生成AIの回答を作る際にコンテンツを参照し、回答の情報を補う使い方です。Microsoftによれば、グラウンディング用のサイト全体に適用するrobots.txt設定はありません。317

報告されている設定は「Allow」「Disallow」「DisallowExtended」の3種類です。「DisallowExtended」は限定的なグラウンディングを選ぶ設定で、Microsoft自身が運営するサービスでの利用は認めつつ、Microsoftが第三者に提供するグラウンディングサービスでの利用を除外します。317

古い設定を使っているサイトには、移行日程も関係します。

• 2026年12月15日： NoArchiveまたはNoCacheを使う対象サイト向けに、一時的なグラウンディング移行設定がBing Webmaster Toolsで利用可能になる予定です。351
• 2027年2月1日： Bingがページをクロールする際に、新しい設定を尊重する予定です。317
• 2027年3月1日： NoArchiveまたはNoCacheをこれらの設定に使っているサイトの移行期限とされています。4446

Microsoftは、これらの変更で通常のBing検索結果への掲載資格は変わらないと説明しています。19

まだ分かっていないこと、過信できないこと

まず、この仕組みはIETFの正式な標準ではなく、現時点ではInternet-Draftです。草案の存在と各社の対応表明を、すべての事業者に共通する確定ルールと同じものとして扱うことはできません。841

また、シグナルは対応する事業者に向けた利用方針の表明であり、対応を表明していないクローラーのアクセスを止めるものではありません。78 公開されている情報からは、導入前に収集されたコンテンツが対象になるのか、収集済みデータの削除が必要なのか、すでに学習済みのモデルにどう影響するのかは確認できません。

Metaについても、ここで確認できる発表からは、共通シグナルを尊重するという実装上の確約は確認できません。対応済みと決めつけず、各社の正式な発表を確認する必要があります。