Anthropic menerapkan dua lapisan kontrol pengindeksan pada halaman chat yang dibagikan:
Disallow: /share/* di file robots.txt, yang memerintahkan crawler untuk tidak mengakses jalur /share/.X-Robots-Tag: noindex di halaman itu sendiri, yang memberi tahu mesin pencari untuk tidak mengindeks halaman tersebut meskipun sudah di-crawl .Masalahnya: Karena robots.txt memblokir crawler Google untuk mengakses halaman sepenuhnya, crawler Google tidak pernah melihat header noindex. Namun, jika URL tersebut ditautkan di tempat lain di web (misalnya di media sosial, forum, atau situs lain yang bisa di-crawl Google), Google tetap bisa menemukan dan mengindeks URL tersebut berdasarkan referensi eksternal itu. Ketika crawler diblokir oleh robots.txt, ia tidak bisa membaca perintah noindex — sehingga URL bisa terindeks hanya dari konteks eksternal . Intinya, aturan robots.txt membuat tag noindex menjadi tidak terlihat dan karena itu tidak efektif.
| Perusahaan | Insiden | Skala | Perbedaan utama |
|---|---|---|---|
| OpenAI (ChatGPT) | 2023–2025: URL tautan bersama ChatGPT terindeks Google setelah pengguna mempostingnya. Google memperkirakan ratusan ribu transkrip muncul . | ~143.000+ percakapan dari berbagai chatbot GenAI | OpenAI dilaporkan awalnya tidak menggunakan noindex atau blokir robots.txt pada tautan bersama. |
| xAI (Grok) | 2025: Percakapan bersama Grok juga muncul di hasil pencarian Google . | Ratusan ribu | Pola serupa — tautan bersama dapat diakses publik dan di-crawl. |
| Anthropic (insiden sebelumnya) | September 2025: Forbes melaporkan Anthropic sebagai perusahaan AI ketiga yang chatnya muncul di Google. Berbeda dengan OpenAI dan xAI, Anthropic mengklaim telah memblokir crawler — namun halaman tetap bocor . | Ratusan transkrip | Ini adalah insiden berulang. Masalah yang sama terulang meskipun sebelumnya diklaim sudah diperbaiki. |
Pola utama: Dalam semua kasus, akar masalahnya adalah fitur "berbagi" perusahaan AI menghasilkan URL publik yang bisa ditebak, dan pengguna memposting tautan itu di web terbuka — setelah itu mesin pencari mengindeksnya. Insiden Anthropic 2025 pada dasarnya adalah masalah yang sama .
site: yang sama .Sebelumnya, Google memperkirakan telah mengindeks "hampir 600" percakapan Claude dalam insiden sebelumnya sebelum dihapus . Status saat ini masih berubah — Anthropic belum memberikan tanggapan resmi saat laporan ini ditulis .
Pusat bantuan resmi Anthropic menyediakan langkah-langkah berikut:
Tinjau chat yang dibagikan:
Batalkan berbagi (cabut akses) chat:
Hapus percakapan sepenuhnya:
Catatan: Membatalkan berbagi atau menghapus percakapan tidak secara otomatis menghapusnya dari cache mesin pencari. Anda mungkin juga perlu mengirimkan permintaan penghapusan ke Google, Bing, dan Brave secara terpisah untuk URL yang sudah terindeks .