Anthropic paste twee lagen van indexeringscontrole toe op gedeelde chatpagina's:
Het conflict: Omdat robots.txt de Google-crawler volledig blokkeerde om de pagina's te bezoeken, heeft de crawler de noindex-header nooit gezien. Maar als de URL's elders op het web werden vermeld (bijvoorbeeld op sociale media, forums of andere sites die Google wel kon crawlen), kon Google de URL's nog steeds ontdekken en indexeren op basis van die externe verwijzingen. Wanneer een crawler wordt geblokkeerd door robots.txt, kan hij de noindex-instructie niet lezen – zodat hij de URL kan indexeren op basis van alleen externe context . In wezen maakte de
robots.txt-blokkering de noindex-tag onzichtbaar en dus ineffectief.
Kernpatroon: In alle drie de gevallen is de oorzaak dat de 'deel'-functies van AI-bedrijven openbare, voorspelbare URL's genereren en gebruikers die links op het openbare web plaatsen – waarna zoekmachines ze indexeren. Het incident van Anthropic in 2025 was in wezen hetzelfde probleem .
site:-zoekopdrachten Google had eerder geschat dat het "iets minder dan 600" Claude-gesprekken had geïndexeerd tijdens het vorige incident, voordat ze werden verwijderd . De huidige status is onduidelijk – Anthropic had de kwestie op het moment van schrijven nog niet publiekelijk behandeld
.
Het officiële helpcenter van Anthropic biedt de volgende stappen:
Bekijk uw gedeelde chats:
Deelname intrekken (ongedaan maken van een chat):
Een gesprek volledig verwijderen: