Anthropic ใช้การควบคุมการทำดัชนีสองชั้นในหน้าบทสนทนาที่แชร์:
ปัญหาความขัดแย้ง: เนื่องจาก robots.txt บล็อกบอตของ Google ไม่ให้เข้าถึงหน้าเพจ บอตจึงไม่เคยเห็นส่วนหัว noindex เลย อย่างไรก็ตาม หากลิงก์ URL เหล่านี้ถูกแชร์ในที่อื่นบนเว็บ (เช่น โซเชียลมีเดีย, ฟอรั่ม หรือเว็บไซต์อื่นที่ Google สามารถ crawl ได้) Google ก็ยังสามารถค้นพบและทำดัชนี URL เหล่านั้นได้จากบริบทภายนอก เมื่อบอตถูกบล็อกโดย robots.txt ไม่ให้โหลดหน้าเพจ มันก็ไม่สามารถอ่านคำสั่ง noindex ได้ — ดังนั้นมันจึงอาจทำดัชนี URL ไว้จากบริบทภายนอกเพียงอย่างเดียว กล่าวโดยสรุปคือ การใช้
robots.txt Disallow กลับทำให้แท็ก noindex มองไม่เห็นและไร้ประสิทธิภาพ
รูปแบบสำคัญ: ในทั้งสามกรณี สาเหตุหลักคือฟีเจอร์ "แชร์" ของบริษัท AI สร้าง URL สาธารณะที่คาดเดาได้ และผู้ใช้ก็นำลิงก์เหล่านั้นไปโพสต์บนโลกออนไลน์ — หลังจากนั้น เสิร์ชเอนจินก็ทำดัชนีมัน เหตุการณ์ของ Anthropic ในปี 2025 ก็เป็นปัญหาเดียวกัน
site: เดียวกัน ก่อนหน้านี้ Google เคยประมาณการว่าทำดัชนี "ไม่ถึง 600" บทสนทนา Claude ในเหตุการณ์ครั้งก่อน ก่อนที่จะถูกลบออก สถานะปัจจุบันยังคงเปลี่ยนแปลง — Anthropic ยังไม่ได้ออกมาแถลงการณ์ต่อสาธารณะในเรื่องนี้ ณ เวลาที่มีรายงาน
ศูนย์ช่วยเหลืออย่างเป็นทางการของ Anthropic ให้ขั้นตอนดังนี้:
ตรวจสอบแชทที่ถูกแชร์:
ยกเลิกการแชร์ (เพิกถอน) แชท:
ลบบทสนทนาทั้งหมด: