Anthropic 喺共享對話頁面加咗兩層索引控制:
robots.txt 檔案入面加入 Disallow: /share/* 規則,指示爬蟲唔好訪問 /share/ 路徑。X-Robots-Tag: noindex HTTP 標頭,通知搜尋引擎即使爬咗都唔好索引 。衝突所在:由於 robots.txt 完全封鎖咗 Google 爬蟲進入頁面,Google 爬蟲根本睇唔到個 noindex 標頭。但如果呢啲 URL 被貼咗去其他網站(例如社交媒體、論壇等 Google 可以爬嘅地方),Google 仍然可以透過外部連結發現並索引呢啲 URL。當爬蟲被 robots.txt 封鎖而無法獲取頁面內容時,佢就讀唔到 noindex 指令——結果就係 Google 只係靠外部環境就將 URL 索引咗 。簡單講,robots.txt 嘅封鎖指令反而令到 noindex 標籤形同虛設。
| 公司 | 事件 | 規模 | 關鍵分別 |
|---|---|---|---|
| OpenAI (ChatGPT) | 2023–2025年:ChatGPT 共享連結 URL 被用戶公開貼出後被 Google 索引。Google 估計有數十萬段對話記錄曝光 。 | 超過143,000段對話(橫跨多個 GenAI 聊天機械人) | OpenAI 最初未有喺共享連結使用 noindex 或 robots.txt 封鎖。 |
| xAI (Grok) | 2025年:Grok 共享對話同樣出現喺 Google 搜尋結果 。 | 數十萬段 | 類似模式——分享連結係公開可存取,然後被爬蟲抓到。 |
| Anthropic(之前事件) | 2025年9月:Forbes 報道 Anthropic 成為第三間 AI 公司,其聊天機械人對話出現在 Google 搜尋。同 OpenAI 同 xAI 唔同,Anthropic 話 已經封鎖咗爬蟲——但頁面依然流出 。 | 數百段記錄 | 呢次係重複事件。同樣問題再次發生,之前仲話已經修復。 |
關鍵模式:三間公司嘅共通點係,AI 公司嘅「分享」功能會產生公開嘅、可猜測嘅 URL,用戶將連結貼上開放網絡後,搜尋引擎就將佢哋索引。Anthropic 2025年嘅事件本質上係同一問題 。
site: 指令搵到 。Google 之前喺上一次事件中估計「剛好少於600段」Claude 對話被索引後被移除 。目前情況仲喺變化中——Anthropic 截至報道時仍未公開回應 。
Anthropic 官方說明中心提供以下步驟:
檢查你嘅共享對話:
撤回(取消共享)一段對話:
完全刪除一段對話:
注意:取消共享或刪除對話唔會自動將佢從搜尋引擎快取中移除。你需要另外向 Google、Bing 同 Brave 提交移除請求,刪除已經被索引嘅 URL 。