Robots.txt vs. noindex-konflikten - Slik fungerte det

Anthropic brukte to lag med indekseringskontroll på delte chattesider:

1. En Disallow: /share/*-regel i robots.txt-filen, som fortalte søkemotorenes roboter å ikke få tilgang til /share/-stien.
2. En X-Robots-Tag: noindex HTTP-header på selve sidene, som fortalte søkemotorene å ikke indeksere dem selv om de ble gjennomsøkt .

Konflikten: Fordi robots.txt blokkerte Googles gjennomsøkingsrobot fra å få tilgang til sidene helt, så roboen aldri noindex-headeren. Men hvis URL-ene ble lenket til andre steder på nettet (f.eks. på sosiale medier, forum eller andre nettsteder som Google kunne gjennomsøke), kunne Google fortsatt oppdage og indeksere URL-ene basert på disse eksterne referansene. Når gjennomsøkingsroboten blokkeres av robots.txt fra å hente en side, kan den ikke lese noindex-direktivet – så den kan indeksere URL-en ut fra ekstern kontekst alene . I praksis gjorde robots.txt-blokkeringen noindex-taggen usynlig og dermed ineffektiv.

Sammenligning med tidligere hendelser (OpenAI, xAI og tidligere Anthropic)

Hovedmønster: I alle tre tilfellene er grunnårsaken at AI-selskapenes «del»-funksjoner genererer offentlige, gjetbare URL-er, og brukere poster disse lenkene på det åpne nettet – hvoretter søkemotorer indekserer dem. Anthropics 2025-hendelse var i hovedsak det samme problemet .

Nåværende indekseringsstatus (per 26.–27. juli 2026)

• Google: Indekserte ~600 delte samtale-URLer før de begynte å forsvinne fra søkeresultatene . Da dette ble skrevet, var mange resultater fortsatt tilgjengelige via direkte søk, selv om noen var fjernet .
• Bing: Indekserte også delte Claude-samtale-URLer, oppdagbare via de samme site:-spørringene .
• Brave Search: Brukere rapporterte at Brave fortsatt returnerte delte Claude-samtaler i søkeresultatene per 26. juli .

Google hadde tidligere estimert at de hadde indeksert «litt under 600» Claude-samtaler i den forrige hendelsen før de ble fjernet . Den nåværende statusen er i endring – Anthropic hadde ikke offentlig adressert saken på rapporteringstidspunktet .

Slik gjennomgår og tilbakekaller du delte samtaler

Anthropics offisielle hjelpesenter gir disse trinnene:

Gjennomgå dine delte chatter:

1. Gå til Innstillinger > Personvern i Claude-kontoen din.
2. I Personverninnstillinger-seksjonen klikker du Administrer ved siden av Delte linker .
3. Dette viser en logg over alle dine nåværende delte samtaler.

Avslutt deling av en chat:

1. Åpne samtalen og klikk på Del-menyen.
2. Klikk på synlighetsnedtrekksmenyen og endre den fra «Offentlig» til «Privat» .
3. Dette deaktiverer den direkte lenken umiddelbart.

Slett en samtale helt:

1. Fra Claude-dashbordet ditt sletter du samtalen fra historikken.
2. Dette fjerner den umiddelbart fra kontoen din og stopper automatisk deling .

Merk: Å avslutte deling eller slette en samtale fjerner den ikke automatisk fra søkemotorenes mellomlagre. Du må kanskje også sende inn fjerningsforespørsler til Google, Bing og Brave separat for eventuelle URL-er som allerede er indeksert .

Robots.txt vs. noindex-konflikten - Slik fungerte det

Anthropic brukte to lag med indekseringskontroll på delte chattesider:

1. En Disallow: /share/*-regel i robots.txt-filen, som fortalte søkemotorenes roboter å ikke få tilgang til /share/-stien.
2. En X-Robots-Tag: noindex HTTP-header på selve sidene, som fortalte søkemotorene å ikke indeksere dem selv om de ble gjennomsøkt .

Konflikten: Fordi robots.txt blokkerte Googles gjennomsøkingsrobot fra å få tilgang til sidene helt, så roboen aldri noindex-headeren. Men hvis URL-ene ble lenket til andre steder på nettet (f.eks. på sosiale medier, forum eller andre nettsteder som Google kunne gjennomsøke), kunne Google fortsatt oppdage og indeksere URL-ene basert på disse eksterne referansene. Når gjennomsøkingsroboten blokkeres av robots.txt fra å hente en side, kan den ikke lese noindex-direktivet – så den kan indeksere URL-en ut fra ekstern kontekst alene . I praksis gjorde robots.txt-blokkeringen noindex-taggen usynlig og dermed ineffektiv.

Sammenligning med tidligere hendelser (OpenAI, xAI og tidligere Anthropic)

Hovedmønster: I alle tre tilfellene er grunnårsaken at AI-selskapenes «del»-funksjoner genererer offentlige, gjetbare URL-er, og brukere poster disse lenkene på det åpne nettet – hvoretter søkemotorer indekserer dem. Anthropics 2025-hendelse var i hovedsak det samme problemet .

Nåværende indekseringsstatus (per 26.–27. juli 2026)

• Google: Indekserte ~600 delte samtale-URLer før de begynte å forsvinne fra søkeresultatene . Da dette ble skrevet, var mange resultater fortsatt tilgjengelige via direkte søk, selv om noen var fjernet .
• Bing: Indekserte også delte Claude-samtale-URLer, oppdagbare via de samme site:-spørringene .
• Brave Search: Brukere rapporterte at Brave fortsatt returnerte delte Claude-samtaler i søkeresultatene per 26. juli .

Google hadde tidligere estimert at de hadde indeksert «litt under 600» Claude-samtaler i den forrige hendelsen før de ble fjernet . Den nåværende statusen er i endring – Anthropic hadde ikke offentlig adressert saken på rapporteringstidspunktet .

Slik gjennomgår og tilbakekaller du delte samtaler

Anthropics offisielle hjelpesenter gir disse trinnene:

Gjennomgå dine delte chatter:

1. Gå til Innstillinger > Personvern i Claude-kontoen din.
2. I Personverninnstillinger-seksjonen klikker du Administrer ved siden av Delte linker .
3. Dette viser en logg over alle dine nåværende delte samtaler.

Avslutt deling av en chat:

1. Åpne samtalen og klikk på Del-menyen.
2. Klikk på synlighetsnedtrekksmenyen og endre den fra «Offentlig» til «Privat» .
3. Dette deaktiverer den direkte lenken umiddelbart.

Slett en samtale helt:

1. Fra Claude-dashbordet ditt sletter du samtalen fra historikken.
2. Dette fjerner den umiddelbart fra kontoen din og stopper automatisk deling .

Merk: Å avslutte deling eller slette en samtale fjerner den ikke automatisk fra søkemotorenes mellomlagre. Du må kanskje også sende inn fjerningsforespørsler til Google, Bing og Brave separat for eventuelle URL-er som allerede er indeksert .