Cloudflares nye AI-standarder: Dette blokkeres – og dette slipper fortsatt gjennom

Cloudflare har fra 15. september 2026 innført en tydeligere grense mellom tradisjonell søkeindeksering og annen bruk av innhold i AI-tjenester. For nye domener som tas i bruk hos Cloudflare, blokkeres crawlere i kategoriene Training og Agent som standard på sider der Cloudflare registrerer annonser. Kategorien Search er fortsatt tillatt. 215

For utgivere og andre nettstedseiere er skillet viktig: Målet kan være å beholde synlighet og mulig henvisningstrafikk fra søk, samtidig som man begrenser roboter som enten samler inn stoff for modelltrening eller henter innhold i sanntid for en AI-assistent.

Standardregelen: Blokker Training og Agent på sider med annonser

Endringen gjelder nye domener som onboardes til Cloudflare. På sider som viser annonser, blokkeres to typer automatisert trafikk:

• Training – crawlere som henter innhold for å trene eller finjustere en modell.
• Agent – automatisert aktivitet som utføres i sanntid på vegne av en bruker, for eksempel roboter som henter innhold til en chat eller bruker en nettleseragent. 13

Search er fortsatt tillatt som standard. Cloudflare beskriver dette som crawling eller indeksering for at en tjeneste senere skal kunne svare på spørsmål – en type trafikk der nettstedet i prinsippet bør kunne forvente henvisninger eller annen rimelig kompensasjon. 13

Dette er altså ikke et generelt forbud mot AI. Standardregelen er avgrenset til Training- og Agent-atferd, og bare på sider med annonser. 215

Hvem omfattes?

Cloudflares dokumentasjon sier at den nye standarden gjelder domener som nylig tas inn på nettverket. 215 Omtale av utrullingen beskriver også at den omfatter nye nettsteder som legges til av eksisterende kunder, samt kontoer på gratisnivået som ikke manuelt har endret innstillingene sine. 23

Eksisterende kunder bør derfor ikke ta for gitt at alle allerede etablerte soner automatisk får nøyaktig samme oppsett. Resultatet avhenger av domenets onboarding-status, abonnement og eksisterende konfigurasjon. Den sikreste kontrollen er å gå gjennom AI-crawlerinnstillingene for den aktuelle sonen i Cloudflare. 23

Tre kategorier kan styres hver for seg

Cloudflare behandler ikke all AI-relatert robottrafikk som én gruppe. I stedet klassifiseres trafikken etter hva den gjør, og de tre kategoriene kan konfigureres uavhengig av hverandre. 13

Kategori	Hva den omfatter	Standard for nye domener på sider med annonser
Search	Crawling eller indeksering av innhold for å kunne svare på spørsmål senere	Tillatt
Training	Innsamling av innhold for å trene eller finjustere en modell	Blokkert
Agent	Sanntidsautomatisering som handler på vegne av en bruker	Blokkert

For hver kategori kan nettstedseieren velge mellom tre alternativer:

1. Tillat trafikken.
2. Blokker på sider som viser annonser.
3. Blokker på alle sider. 23

Denne oppdelingen gjør det mulig å tillate søkeindeksering, men blokkere treningscrawlere på hele nettstedet – eller å velge den smalere regelen som bare gjelder sider med annonser.

Den store SEO-fellen: Crawlere med flere formål

En robots klassifisering trenger ikke være begrenset til én aktivitet. Cloudflare opplyser at crawlere som kombinerer Search og Training, vurderes ut fra alle aktivitetene sine. Den strengeste regelen som gjelder, avgjør om de får tilgang. 2615

Konsekvensen kan være betydelig: Blokkerer et nettsted Training, kan en crawler som Cloudflare anser som både Search og Training, også miste tilgang til vanlig søkeindeksering. Cloudflares dokumentasjon og omtale av lanseringen nevner Googlebot, Applebot og BingBot som eksempler på flerfunksjons-crawlere som er relevante for denne regelen. 26

Å ha «Search» satt til tillatt garanterer dermed ikke tilgang for en robot som samtidig er klassifisert for Training. Før man velger en blokkering av Training for hele nettstedet, bør man vurdere den mulige kostnaden i form av søkesynlighet. 24

Hva med den gamle innstillingen «Block AI bots»?

Cloudflare har opplyst at innstillinger som blokkerer AI-trening – også den eldre «Block AI bots»-funksjonen – gjelder for blandede Search- og Training-crawlere. 2 Nettsteder som slo på den brede, eldre blokkeringen i tro om at den kun rammet AI-aktivitet utenfor søk, bør derfor gå gjennom oppsettet sitt.

Senere omtale av septemberutrullingen beskrev en nyere funksjon, «Disallow AI Training», som skal uttrykke en preferanse om ingen trening, samtidig som Googlebot, Applebot og BingBot kan få fortsette å crawle for søk dersom crawleren er merket som «Accountable». Siden virkningen og eventuell migrering avhenger av innstillingen som er valgt, bør administratorer kontrollere hva som faktisk står i Cloudflare-dashbordet fremfor å stole på navnet på en eldre bryter. 4

Hvorfor Cloudflare skiller mellom søk og AI-forbruk

Endringen svarer på en økende bekymring blant utgivere. Den tradisjonelle avtalen med søkemotorer har vært at de crawler og indekserer sider, men også kan sende lesere videre til originalkilden. Generative AI-tjenester kan derimot bruke innhold til trening eller vise hentede svar i sin egen tjeneste, med mindre direkte trafikk tilbake til den som publiserte materialet.

Cloudflare beskriver Search som trafikk der utgivere bør kunne forvente henvisninger eller tilsvarende kompensasjon, mens Training og Agent dekker andre måter å hente eller bruke innhold på. 13 Kontrollene er laget for at nettstedseiere kan beholde automatisering som gir verdi, og begrense automatisering som de mener først og fremst tar verdi.

Det avgjørende spørsmålet er derfor ikke bare om en robot er «AI». Det er om aktiviteten bidrar til oppdagelse av innhold og gir noe tilbake til nettstedet, eller hovedsakelig bruker materialet til modelltrening eller AI-oppgaver i sanntid. 13

Dette bør nettstedseiere gjøre nå

Før du endrer en regel, vurder konsekvensene for hver type aktivitet:

• Hold Search tillatt dersom indeksering og mulig henvisningstrafikk er viktig.
• Velg blokkering på sider med annonser hvis hensikten er å beskytte inntektsbringende sider uten å innføre en sperre for hele nettstedet.
• Velg blokkering på alle sider først etter å ha vurdert om en crawler har både Search- og Training-atferd.
• Gå gjennom eventuelle gamle «Block AI bots»-innstillinger, særlig dersom synlighet i Google, Apple eller Bing er viktig. 236

Cloudflares septemberstandarder gir utgivere mer kontroll, men reglene for flerfunksjons-crawlere gjør også dette til et SEO-valg – ikke bare en innstilling for AI-policy.