Anthropic本意是为共享页面设置了两道防护,却因配置逻辑的冲突而导致失效:
关键冲突点:因为robots.txt禁止了谷歌爬虫(Googlebot)访问这些页面,爬虫压根无法读取页面内容,自然也看不到那个至关重要的noindex头部。然而,当用户将这些共享链接发布到社交媒体、论坛等其他公开网站上时,谷歌爬虫可以通过这些外部网站“发现”该URL。由于爬虫被robots.txt挡在门外,无法获取页面内容来判断是否需要索引,但它仍然可以基于外部链接的信息,将这条URL“收录”进搜索引擎(但不会显示摘要文字)。最终,robots.txt的屏蔽指令反而让noindex标签形同虚设。
核心模式:在这三起事件中,根本原因都是AI公司的“分享”功能生成了公开的、可猜测的URL,而用户将这些链接发布在开放网络上,最终被搜索引擎索引。Anthropic 2025年的事件本质上是同样的问题。
Anthropic官方帮助中心提供了以下步骤,中文用户可以按照以下方法操作:
查看你的共享聊天:
取消共享(撤回)一个对话:
彻底删除一个对话: