Anthropic otti käyttöön kaksi indeksoinnin hallintatapaa jaetuille keskustelusivuille:
Ristiriita: Koska robots.txt esti Googlen hakurobotin pääsyn sivuille kokonaan, Googlen robotti ei koskaan nähnyt noindex-otsaketta. Jos URL-osoitteet oli kuitenkin linkitetty jossain muuall[a] verkossa (esim. sosiaalisessa mediassa, foorumeilla tai muilla sivuilla, joilla Google pystyi käymään), Google saattoi silti löytää ja indeksoida URL-osoitteet näiden ulkoisten viittausten perusteella. Kun hakurobotti on estetty robots.txt:llä hakemasta sivua, se ei pysty lukemaan noindex-ohjetta – joten se saattaa indeksoida URL-osoitteen pelkästään ulkoisen kontekstin perusteella . Käytännössä
robots.txt:n estävä sääntö teki noindex-tagista näkymättömän ja siten tehottoman.
Keskeinen kaava: Kaikissa kolmessa tapauksessa perimmäinen syy on se, että tekoäly-yritysten "jako"-ominaisuudet luovat julkisia, arvattavia URL-osoitteita, ja käyttäjät julkaisevat näitä linkkejä avoimessa verkossa – jonka jälkeen hakukoneet indeksoivat ne. Anthropicin vuoden 2025 tapaus oli pohjimmiltaan sama ongelma .
site:-komennoilla Google oli aiemmin arvioinut indeksoineensa "hieman alle 600" Claude-keskustelua edellisessä tapauksessa ennen niiden poistamista . Nykyinen tilanne on muuttuva – Anthropic ei ollut julkisesti kommentoinut asiaa raportoinnin aikaan
.
Anthropicin virallinen tukikeskus tarjoaa seuraavat ohjeet:
Tarkista jaetut keskustelusi:
Peruuta keskustelun jakaminen:
Poista keskustelu kokonaan: