Anthropic 喺共享對話頁面加咗兩層索引控制:
衝突所在:由於 robots.txt 完全封鎖咗 Google 爬蟲進入頁面,Google 爬蟲根本睇唔到個 noindex 標頭。但如果呢啲 URL 被貼咗去其他網站(例如社交媒體、論壇等 Google 可以爬嘅地方),Google 仍然可以透過外部連結發現並索引呢啲 URL。當爬蟲被 robots.txt 封鎖而無法獲取頁面內容時,佢就讀唔到 noindex 指令——結果就係 Google 只係靠外部環境就將 URL 索引咗 。簡單講,
robots.txt 嘅封鎖指令反而令到 noindex 標籤形同虛設。
Anthropic 官方說明中心提供以下步驟:
檢查你嘅共享對話:
撤回(取消共享)一段對話:
完全刪除一段對話: