Anthropic 對共享對話頁面應用了兩層索引控制:
robots.txt 檔案中設定 Disallow: /share/* 規則,要求爬蟲不要存取 /share/ 路徑。X-Robots-Tag: noindex HTTP 標頭,即使頁面被爬取,也要求搜尋引擎不要將其索引 。矛盾所在:由於 robots.txt 完全封鎖了 Google 爬蟲存取這些頁面,Google 爬蟲根本看不到 noindex 標頭。然而,如果這些 URL 出現在網路其他地方(例如社群媒體、論壇或其他 Google 可以爬取的網站),Google 仍能根據這些外部參照來發現並索引 URL。當爬蟲因 robots.txt 而無法抓取頁面時,它就無法讀取 noindex 指令——因此 Google 可能僅憑外部參照就將 URL 索引 。簡言之,robots.txt 的封鎖指令反而讓 noindex 標籤變得隱形而無效。
| 公司 | 事件 | 規模 | 關鍵差異 |
|---|---|---|---|
| OpenAI (ChatGPT) | 2023–2025 年:ChatGPT 共享連結的 URL 被 Google 索引,因為使用者公開張貼這些連結。Google 估計有數十萬筆對話記錄因此浮出水面 。 | 橫跨多個 GenAI 聊天機器人,約 143,000+ 筆對話 | OpenAI 最初似乎未對共享連結使用 noindex 或 robots.txt 封鎖。 |
| xAI (Grok) | 2025 年:Grok 共享對話也出現在 Google 搜尋結果中 。 | 數十萬筆 | 模式類似——共享連結可公開存取並被爬取。 |
| Anthropic(先前事件) | 2025 年 9 月:《富比士》報導 Anthropic 成為第三家對話被 Google 搜尋到的 AI 公司。與 OpenAI 及 xAI 不同,Anthropic 宣稱已封鎖爬蟲——但頁面仍然外洩 。 | 數百筆對話記錄 | 這是重複發生的事件。儘管先前聲稱已修復,同類問題仍再次出現。 |
關鍵模式:在所有案例中,根本原因都是 AI 公司的「分享」功能產生公開、可猜測的 URL,而使用者將這些連結貼到公開網路上——之後搜尋引擎便將其索引。Anthropic 在 2025 年的本質上也是同樣的問題 。
site: 查詢找到 。Google 先前估計,在 2024 年的事件中,它在移除前索引了「不到 600 筆」Claude 對話 。目前狀況仍在變化中——截至報導時,Anthropic 尚未公開回應此事 。
Anthropic 官方說明中心提供以下步驟:
檢視你的共享對話:
取消共享(撤銷)對話:
完全刪除對話:
注意:取消共享或刪除對話並不會自動將其從搜尋引擎的快取中移除。你可能還需要分別向 Google、Bing 和 Brave 提交已索引 URL 的移除請求 。