Anthropic otti käyttöön kaksi indeksoinnin hallintatapaa jaetuille keskustelusivuille:
Disallow: /share/* -sääntö robots.txt-tiedostossa, joka kertoi hakukoneille, etteivät ne saa käydä /share/-polussa.X-Robots-Tag: noindex -HTTP-otsake sivuilla itsellään, joka kertoi hakukoneille, etteivät ne saa indeksoida sivuja, vaikka ne kävisivät niissä .Ristiriita: Koska robots.txt esti Googlen hakurobotin pääsyn sivuille kokonaan, Googlen robotti ei koskaan nähnyt noindex-otsaketta. Jos URL-osoitteet oli kuitenkin linkitetty jossain muuall[a] verkossa (esim. sosiaalisessa mediassa, foorumeilla tai muilla sivuilla, joilla Google pystyi käymään), Google saattoi silti löytää ja indeksoida URL-osoitteet näiden ulkoisten viittausten perusteella. Kun hakurobotti on estetty robots.txt:llä hakemasta sivua, se ei pysty lukemaan noindex-ohjetta – joten se saattaa indeksoida URL-osoitteen pelkästään ulkoisen kontekstin perusteella . Käytännössä robots.txt:n estävä sääntö teki noindex-tagista näkymättömän ja siten tehottoman.
| Yritys | Tapaus | Laajuus | Keskeinen ero |
|---|---|---|---|
| OpenAI (ChatGPT) | 2023–2025: ChatGPT:n jaettujen linkkien URL-osoitteet indeksoitiin Googleen, kun käyttäjät julkaisivat niitä julkisesti. Google arvioi, että satoja tuhansia transkriptioita nousi esiin . | ~143 000+ keskustelua useiden tekoälychatbottien välillä | OpenAI ei ilmeisesti aluksi käyttänyt noindex- tai robots.txt-estoja jaetuilla linkeillä. |
| xAI (Grok) | 2025: Grokin jaetut keskustelut ilmestyivät myös Googlen hakutuloksiin . | Satoja tuhansia | Samanlainen kaava – jakolinkit olivat julkisia ja hakurobottien indeksoitavissa. |
| Anthropic (aiempi tapaus) | Syyskuu 2025: Forbes raportoi, että Anthropicista tuli kolmas tekoälyyritys, jonka chatbot-keskusteluja ilmestyi Googleen. Toisin kuin OpenAI ja xAI, Anthropic sanoi estäneensä hakurobotit – silti sivut vuotivat . | Satoja transkriptioita | Kyseessä on toistuva tapaus. Sama ongelmaluokka toistui, vaikka yritys oli aiemmin väittänyt korjanneensa sen. |
Keskeinen kaava: Kaikissa kolmessa tapauksessa perimmäinen syy on se, että tekoäly-yritysten "jako"-ominaisuudet luovat julkisia, arvattavia URL-osoitteita, ja käyttäjät julkaisevat näitä linkkejä avoimessa verkossa – jonka jälkeen hakukoneet indeksoivat ne. Anthropicin vuoden 2025 tapaus oli pohjimmiltaan sama ongelma .
site:-komennoilla .Google oli aiemmin arvioinut indeksoineensa "hieman alle 600" Claude-keskustelua edellisessä tapauksessa ennen niiden poistamista . Nykyinen tilanne on muuttuva – Anthropic ei ollut julkisesti kommentoinut asiaa raportoinnin aikaan .
Anthropicin virallinen tukikeskus tarjoaa seuraavat ohjeet:
Tarkista jaetut keskustelusi:
Peruuta keskustelun jakaminen:
Poista keskustelu kokonaan:
Huomio: Keskustelun jakamisen peruuttaminen tai poistaminen ei automaattisesti poista sitä hakukoneiden välimuistista. Sinun on ehkä myös tehtävä erilliset poistopyynnöt Googlelle, Bingille ja Bravelle indeksoituja URL-osoitteita varten .