Cloudflare mění výchozí pravidla pro AI crawlery: co zablokuje a co ponechá přístupné

Cloudflare od 15. září 2026 nastavuje u nově připojovaných domén přísnější výchozí pravidla pro automatizovaný přístup k obsahu. Na stránkách, kde systém rozpozná reklamu, budou ve výchozím stavu blokovány crawlery v kategoriích Training a Agent. Kategorie Search zůstává povolena. 215

Nejde tedy o plošný zákaz umělé inteligence na webu. Smyslem změny je oddělit tradiční indexaci pro vyhledávání od využití obsahu k trénování modelů nebo k okamžitým úkonům AI asistenta.

Co se nově blokuje

Cloudflare rozlišuje tři samostatně nastavitelné druhy automatizovaného provozu: 13

Kategorie	Co znamená	Výchozí stav pro nové domény na stránkách s reklamou
Search	Sběr či indexace obsahu, aby služba mohla odpovídat na dotazy později	Povoleno
Training	Sběr obsahu pro trénování nebo dolaďování modelu	Blokováno
Agent	Automatizovaná činnost v reálném čase za uživatele, například bot načítající obsah pro chat nebo agent ovládající prohlížeč	Blokováno

Cloudflare popisuje Search jako provoz, u něhož by provozovatel webu měl očekávat návštěvnost z doporučení (referral traffic) nebo jinou přiměřenou protihodnotu. Training naopak označuje crawlování pro trénování či fine-tuning modelu, zatímco Agent zahrnuje automatizovanou aktivitu vykonávanou průběžně za člověka. 13

Kterých zákazníků se výchozí pravidlo týká

Oficiální dokumentace Cloudflaru uvádí, že nové výchozí nastavení platí pro domény, které se do jeho sítě nově připojují. 215 Zprávy o zavedení pravidel zároveň popisují rozsah jako nové weby přidané stávajícími zákazníky a účty ve bezplatném tarifu, které své nastavení ručně nezměnily. 23

Zavedený zákazník proto nemá automaticky předpokládat, že se mu stejné pravidlo aktivovalo pro každou dříve existující zónu. Rozhodující je stav připojení domény, tarif a dosavadní konfigurace. Nejbezpečnější je ověřit aktuální volby pro AI crawlery přímo v nastavení dané zóny. 23

Tři úrovně kontroly pro každou kategorii

Pro Search, Training i Agent nabízí Cloudflare tři varianty: 23

1. Povolit provoz.
2. Blokovat na stránkách zobrazujících reklamu.
3. Blokovat na všech stránkách.

Vydavatel tak může například ponechat indexaci pro vyhledávání, ale zablokovat trénovací crawlery na celém webu. Nebo může zvolit užší variantu a chránit pouze monetizované stránky s reklamou.

Nejdůležitější háček: víceúčeloví crawlery

Z pohledu SEO je klíčové, že jeden crawler nemusí mít jen jeden účel. Cloudflare uvádí, že crawler kombinující chování Search a Training posuzuje podle všech svých rolí; přístup pak určí nejpřísnější použitelné pravidlo. 2615

Praktický dopad může být zásadní: pokud web blokuje Training, může tím ztratit i běžný vyhledávací přístup crawleru, který Cloudflare vyhodnocuje současně jako Search i Training. Mezi relevantní víceúčelové crawlery dokumentace a články o změně řadí Googlebot, Applebot a BingBot. 26

Pouhé ponechání kategorie Search ve stavu „povoleno“ proto samo o sobě nezaručuje přístup botovi, který má současně klasifikaci Training. Před celoplošným blokováním trénování by měl správce webu vyhodnotit možný dopad na indexaci ve vyhledávačích. 24

Pozor na starší volbu „Block AI bots“

Cloudflare uvádí, že konfigurace blokující AI trénování, včetně starší volby „Block AI bots“, se vztahují i na crawlery kombinující Search a Training. 2 Weby, které dříve zapnuly široké blokování AI botů s představou, že se netýká vyhledávání, by proto měly nastavení zkontrolovat.

Následné informace o zářijovém zavedení popisují i novější přístup „Disallow AI Training“. Ten má vyjádřit zákaz trénování, ale ponechat Googlebot, Applebot a BingBot pro vyhledávání, pokud je daný crawler označen jako „Accountable“. Konkrétní chování i případný převod starší konfigurace však závisí na zvolené volbě, takže je vhodné řídit se aktuálním nastavením v rozhraní Cloudflaru, nikoli jen názvem dřívějšího přepínače. 4

Proč Cloudflare odděluje vyhledávání od spotřeby obsahu AI

Za změnou stojí obava vydavatelů z narušení tradičního modelu webu. Vyhledávač stránku projde, zařadí do indexu a může na ni přivést čtenáře. Generativní AI však může obsah využít pro trénování nebo uživateli nabídnout vyhledanou odpověď přímo ve vlastním rozhraní — bez odpovídající návštěvnosti původního zdroje.

Cloudflare proto rámuje Search jako provoz, který by měl vracet návštěvy či obdobnou hodnotu, zatímco Training a Agent označuje za odlišné způsoby využití obsahu. Cílem je, aby vlastník webu mohl ponechat automatizaci, která mu přináší čtenáře a příjmy, a omezit tu, která obsah především spotřebovává. 13

Zásadní otázkou tedy není jen to, zda je bot „AI“. Důležité je, zda jeho chování podporuje objevování obsahu a vrací webu hodnotu, nebo zda materiál primárně využívá k trénování či k okamžitým úkonům AI. 13

Co by měli správci webů udělat

Před úpravou pravidel je rozumné zkontrolovat dopady podle jednotlivých typů chování:

• Pokud je prioritou indexace a potenciální návštěvnost z vyhledávačů, ponechte Search povolené.
• Volbu blokovat na stránkách s reklamou použijte, chcete-li chránit monetizovaný obsah bez plošného omezení celého webu.
• Blokování na všech stránkách nastavujte až po ověření, zda crawler nespojuje Search a Training.
• Prověřte starší konfiguraci „Block AI bots“, zejména pokud je pro web důležitá dohledatelnost přes Google, Apple nebo Bing. 236

Nové výchozí volby dávají vydavatelům podrobnější kontrolu. Kvůli pravidlu pro víceúčelové crawlery je ale jejich nastavení zároveň rozhodnutím s možným dopadem na SEO — nikoli jen otázkou postoje k AI.