Cloudflares nya standard för AI-crawlare förklarad

Cloudflares policyändring den 15 september 2026 drar en tydligare gräns mellan traditionell sökindexering och AI-användning av innehåll på webben. För nyanslutna domäner blockeras crawlare som klassas som Training eller Agent som standard på sidor där Cloudflare upptäcker annonser. Crawlare i kategorin Search får däremot fortfarande åtkomst. 215

Skillnaden är viktig för publicister som vill behålla synlighet och potentiell trafik från söktjänster, men begränsa automatiska system som antingen tränar AI-modeller på innehållet eller hämtar det i realtid för en AI-assistent.

Standardläget: Training och Agent stoppas på annonssidor

Den nya standardinställningen gäller nya domäner som ansluts till Cloudflare. På sidor där Cloudflare identifierar annonser blockeras två typer av automatiserad trafik:

• Training – crawlare som samlar in innehåll för att träna eller finjustera en modell.
• Agent – automatiserad aktivitet som agerar i realtid på en persons vägnar, exempelvis botar som hämtar innehåll för en chatt eller agenter som använder en webbläsare. 13

Search är fortsatt tillåtet som standard. Cloudflare definierar kategorin som insamling eller indexering av innehåll så att en tjänst senare kan besvara frågor om det. Enligt Cloudflares synsätt är detta trafik där publicisten bör kunna förvänta sig hänvisningstrafik eller annan rimlig ersättning. 13

Det handlar alltså inte om ett generellt förbud mot AI. Standardregeln är begränsad till Training- och Agent-beteenden och gäller endast sidor som visar annonser. 215

Vilka Cloudflare-kunder berörs?

Cloudflares egen dokumentation anger att den nya standarden gäller domäner som nyansluts till nätverket. 215 Rapportering om införandet beskriver också att omfattningen inkluderar nya sajter som läggs till av befintliga kunder samt Free-konton vars inställningar inte tidigare har ändrats manuellt. 23

Befintliga kunder bör därför inte utgå från att varje redan etablerad domän automatiskt får samma policy. Det praktiska utfallet beror på domänens anslutningsstatus, abonnemang och tidigare konfiguration. Det säkraste är att kontrollera AI-crawlarinställningarna för den aktuella zonen i Cloudflare. 23

Tre kategorier av automatiserad trafik

Cloudflare delar upp automatiserad trafik efter beteende i stället för att behandla alla AI-relaterade crawlare som en och samma typ. De tre kategorierna kan styras oberoende av varandra: 13

Kategori	Vad den omfattar	Standard för nya domäner på annonssidor
Search	Crawlning eller indexering för att kunna besvara frågor senare	Tillåts
Training	Insamling av innehåll för att träna eller finjustera en modell	Blockeras
Agent	Realtidsautomatisering som agerar för en användare	Blockeras

För varje kategori kan webbplatsägaren välja ett av tre lägen:

1. Tillåt trafiken.
2. Blockera på sidor som visar annonser.
3. Blockera på alla sidor. 23

Den här detaljnivån gör det exempelvis möjligt att behålla sökindexering, samtidigt som träningscrawlare blockeras på hela webbplatsen. Ett annat alternativ är den mer begränsade regeln som bara skyddar sidor med annonser.

Crawlare med flera syften är den stora SEO-risken

En crawlares klassificering behöver inte vara begränsad till ett enda beteende. Cloudflare uppger att crawlare som kombinerar Search och Training bedöms utifrån samtliga beteenden, och att den mest restriktiva tillämpliga regeln avgör åtkomsten. 2615

Det kan få en viktig följd: om en webbplats blockerar Training kan en crawler som Cloudflare bedömer som både Search och Training också förlora åtkomsten för vanlig sökcrawlning. Cloudflares dokumentation och rapportering om införandet pekar ut Googlebot, Applebot och BingBot som exempel på flerfunktionscrawlare som är relevanta för denna regel. 26

Med andra ord innebär inte ”tillåt Search” automatiskt att en bot behåller åtkomst om den även klassas som Training. Den som överväger att blockera Training på hela sajten bör först bedöma den möjliga effekten på sökindexering och organisk synlighet. 24

Vad händer med den äldre inställningen ”Block AI bots”?

Cloudflare har uppgett att konfigurationer som blockerar AI-träning, inklusive den äldre inställningen ”Block AI bots”, även omfattar crawlare som kombinerar Search och Training. 2 Därför är det särskilt viktigt att se över policyn för sajter som aktiverade den bredare äldre inställningen i tron att den bara skulle påverka AI-trafik utanför sök.

Senare rapportering om septemberlanseringen beskriver ett nyare alternativ, ”Disallow AI Training”, som ska uttrycka en preferens om att inte tillåta träning, samtidigt som Googlebot, Applebot och BingBot kan fortsätta användas för sök när en crawler betecknas som ”Accountable”. Eftersom beteende och migreringsväg kan bero på den valda inställningen bör administratörer kontrollera den aktuella kontrollen i Cloudflare-panelen i stället för att förlita sig på namnet på en äldre knapp. 4

Varför Cloudflare skiljer på sök och AI-konsumtion

Policyn speglar en växande oro bland publicister. Sökmotorer har traditionellt crawlat och indexerat sidor, och kan sedan skicka läsare tillbaka till källan. Generativa AI-tjänster kan i stället använda innehållet för modellträning eller presentera hämtade svar i sin egen tjänst, med mindre direkt hänvisningstrafik till den ursprungliga publicisten.

Cloudflare beskriver Search som trafik där publicister bör kunna förvänta sig hänvisningar eller motsvarande ersättning, medan kategorierna Training och Agent omfattar andra sätt att ta eller agera på innehållet. 13 Kontrollerna är avsedda att låta ägare behålla automatisering som de anser skapar värde, och begränsa den som de inte gör det.

Den centrala frågan är alltså inte enbart om en bot är ”AI”. Frågan är om dess beteende hjälper innehåll att upptäckas och återför värde till sajten, eller främst förbrukar materialet för modellträning eller AI-uppgifter i realtid. 13

Detta bör webbplatsägare göra

Innan en policy ändras bör konsekvenserna granskas på beteendenivå:

• Låt Search vara tillåtet om indexering och potentiell hänvisningstrafik är prioriterat.
• Välj Blockera på sidor med annonser om målet är att skydda intäktsgenererande sidor utan en begränsning för hela sajten.
• Välj Blockera på alla sidor först efter att ha bedömt om en crawler har både Search- och Training-beteende.
• Se över äldre konfigurationer för Block AI bots, särskilt om synlighet i Googles, Apples eller Bings söktjänster är viktig. 236

Cloudflares septemberstandard ger publicister mer kontroll, men klassificeringen av flerfunktionscrawlare gör också inställningen till ett SEO-beslut – inte bara en fråga om AI-policy.