Anthropic paste twee lagen van indexeringscontrole toe op gedeelde chatpagina's:
Disallow: /share/*-regel in het robots.txt-bestand, dat crawlers vertelt geen toegang te krijgen tot het /share/-pad.X-Robots-Tag: noindex HTTP-header op de pagina's zelf, die zoekmachines vertelt de pagina's niet te indexeren, zelfs niet als ze worden gecrawld .Het conflict: Omdat robots.txt de Google-crawler volledig blokkeerde om de pagina's te bezoeken, heeft de crawler de noindex-header nooit gezien. Maar als de URL's elders op het web werden vermeld (bijvoorbeeld op sociale media, forums of andere sites die Google wel kon crawlen), kon Google de URL's nog steeds ontdekken en indexeren op basis van die externe verwijzingen. Wanneer een crawler wordt geblokkeerd door robots.txt, kan hij de noindex-instructie niet lezen – zodat hij de URL kan indexeren op basis van alleen externe context . In wezen maakte de robots.txt-blokkering de noindex-tag onzichtbaar en dus ineffectief.
| Bedrijf | Incident | Omvang | Belangrijk verschil |
|---|---|---|---|
| OpenAI (ChatGPT) | 2023–2025: ChatGPT-deellink-URL's werden geïndexeerd door Google nadat gebruikers ze openbaar hadden geplaatst. Google schatte dat honderdduizenden transcripten naar boven kwamen . | ~143.000+ gesprekken verspreid over meerdere GenAI-chatbots | OpenAI gebruikte naar verluidt in eerste instantie geen noindex- of robots.txt-blokkering voor gedeelde links. |
| xAI (Grok) | 2025: Gedeelde Grok-gesprekken verschenen ook in Google-zoekresultaten . | Honderdduizenden | Vergelijkbaar patroon – deellinks waren openbaar toegankelijk en werden gecrawld. |
| Anthropic (vorig incident) | September 2025: Forbes meldde dat Anthropic het derde AI-bedrijf was waarvan chatbotgesprekken in Google verschenen. In tegenstelling tot OpenAI en xAI zei Anthropic dat het crawlers had geblokkeerd – maar toch lekten pagina's . | Honderden transcripten | Dit is een herhaald incident. Hetzelfde type probleem deed zich opnieuw voor, ondanks eerdere beweringen dat het was opgelost. |
Kernpatroon: In alle drie de gevallen is de oorzaak dat de 'deel'-functies van AI-bedrijven openbare, voorspelbare URL's genereren en gebruikers die links op het openbare web plaatsen – waarna zoekmachines ze indexeren. Het incident van Anthropic in 2025 was in wezen hetzelfde probleem .
site:-zoekopdrachten .Google had eerder geschat dat het "iets minder dan 600" Claude-gesprekken had geïndexeerd tijdens het vorige incident, voordat ze werden verwijderd . De huidige status is onduidelijk – Anthropic had de kwestie op het moment van schrijven nog niet publiekelijk behandeld .
Het officiële helpcenter van Anthropic biedt de volgende stappen:
Bekijk uw gedeelde chats:
Deelname intrekken (ongedaan maken van een chat):
Een gesprek volledig verwijderen:
Let op: Het ongedaan maken van het delen of verwijderen van een gesprek verwijdert het niet automatisch uit de caches van zoekmachines. Mogelijk moet u ook afzonderlijk verwijderingsverzoeken indienen bij Google, Bing en Brave voor URL's die al zijn geïndexeerd .