Anthropicは共有チャットページに対して、インデックスを防ぐための2重の対策を施していました。
問題の核心: robots.txt がGoogleのクローラーを完全にブロックしたため、クローラーはページ自体にアクセスできず、肝心の noindex ヘッダーを読み取ることができませんでした。しかし、ユーザーがSNSやフォーラムなど、Googleがクロール可能な外部サイトに共有URLを投稿すると、GoogleはそのURL自体は検出・インデックスできてしまいます。つまり、robots.txt によるアクセス拒否が、かえって noindex の効果を無効化してしまったのです 。
共通パターン: いずれのケースも、AI企業の「共有」機能が推測可能な公開URLを生成し、ユーザーがそのリンクを外部サイトに投稿した結果、検索エンジンがインデックスしてしまうという根本的な問題に起因しています。Anthropicの2025年のインシデントは、本質的に今回と同じ問題でした 。
Anthropicの公式ヘルプセンターに基づく手順を以下に示します。
共有中のチャットを確認する:
共有を解除(取り消し)する:
会話を完全に削除する: