Cloudflare: zákaz trénování AI už nemusí znamenat konec indexace ve vyhledávání

Cloudflare 15. září 2026 spustil nastavení Disallow AI Training. Pro provozovatele webů to znamená praktičtější volbu: mohou si zachovat indexaci ve vyhledávačích a současně dát najevo, že jejich obsah nemá být používán k trénování modelů AI. Doprovodné označení Accountable pak rozlišuje provozovatele botů, kteří tuto preferenci už dodržují nebo se k jejímu dodržování konkrétně zavázali. 5

Hlavní změna: rozhoduje účel crawleru, ne jen jeho jméno

Cloudflare nyní odděluje provoz crawlerů podle tří samostatně spravovaných účelů:

• Search: procházení obsahu kvůli indexaci ve výsledcích vyhledávání;
• Training: získávání obsahu pro trénování či dolaďování modelu AI;
• Agent: načítání obsahu při plnění akce, kterou si vyžádal uživatel. 10

To je podstatné, protože jedna crawlerová infrastruktura může sloužit více účelům. Dříve mohl zákaz crawleru spojovaného s AI zároveň ohrozit běžnou dohledatelnost webu ve vyhledávači. Disallow AI Training má umožnit užší volbu: vyhledávání ponechat, využití k trénování odmítnout. 5

Co znamená označení Accountable

Cloudflare vytvořil označení Accountable pro provozovatele botů, kteří dokážou oddělit indexaci pro vyhledávání od trénování tak, aby respektovali volbu majitele webu. Apple, Google a Microsoft toto nové nastavení buď respektují, nebo se zavázaly je respektovat v termínu uvedeném Cloudflare. 5

Pro vydavatele je to důležité zejména u provozovatelů se smíšeným využitím crawlerů. Pokud splňují standard Accountable, nemá být jejich crawler zcela odstřižen jen proto, že stejná společnost používá obsah také pro trénování. Kvalifikovaní provozovatelé tak mohou dál indexovat stránky pro vyhledávání i poté, co vydavatel trénování zakáže. 5

Oznámení Cloudflare dostupné v podkladech popisuje tento standard jen ve vyšší míře obecnosti. Nelze z něj ověřit termín nasazení u každého provozovatele, chování jednotlivých crawlerů ani kompletní technické závazky. Provozovatelé webů by proto měli ověřit vlastní nastavení botů a data o procházení, nikoli předpokládat stejné chování u všech služeb.

Co může zůstat povoleno a co se blokuje

Nové nastavení má zachovat indexaci pro vyhledávání u smíšených crawlerů s označením Accountable, zatímco použití stejného obsahu pro trénování odmítne. Cloudflare funkci výslovně představuje jako možnost zůstat indexován ve vyhledávání, ale nedovolit danému crawleru trénovat na obsahu webu. 5

Z dodaných podkladů nevyplývá úplný veřejný seznam crawlerů rozdělený na povolené a blokované. Lze z nich ale vyvodit toto:

• Přístup pro vyhledávání od kvalifikovaných provozovatelů Accountable může zůstat dostupný i při zákazu trénování. 5
• Kategorie Training a Agent lze blokovat nezávisle na kategorii Search. 10
• Nadále existuje i obecné nastavení pro blokování všech AI botů. Je vhodné pro rychlou pauzu nebo plošné omezení, ale je méně přesné než řízení podle účelu. 7

Pro weby závislé na organické návštěvnosti je to zásadní posun: odhlášení z trénování AI už nutně nemusí znamenat kompromis v podobě ztráty viditelnosti ve vyhledávání.

Stránky s reklamou a zářijová výchozí pravidla

Cloudflare už dříve oznámil, že od 15. září 2026 budou mít nové domény připojované ke Cloudflare na stránkách zobrazujících reklamu ve výchozím stavu blokované crawlery kategorií Training a Agent. 10 Pravidlo vychází z přístupu zaměřeného na vydavatele: obsah monetizovaný reklamou může vyžadovat přísnější výchozí ochranu před využitím AI.

Předchozí přístup ale přinášel riziko. Pokud crawler vykonával více úloh, restriktivní blokace celé kategorie mohla zasáhnout i procházení pro vyhledávání. Model Disallow AI Training a Accountable má tento konflikt řešit: vydavatel může chránit reklamně monetizovaný obsah před trénováním a zároveň zachovat indexaci tam, kde provozovatel crawleru umí obě použití spolehlivě oddělit. 5

Dostupné zdroje však úplně nepopisují, jak byly převedeny všechny již existující domény ani jaké výchozí režimy platily pro každý typ účtu. Majitelé starších domén by proto měli zkontrolovat vlastní konfiguraci, místo aby ji odvozovali z pravidel pro nově přidané domény.

Google-Extended, Applebot-Extended a řešení Bingu

Řízení podle účelu řeší problém, který se snaží adresovat i směrnice specifické pro jednotlivé vydavatele či provozovatele: oddělit vyhledávací aktivitu firmy od jejího využití obsahu pro AI.

Cloudflare v minulosti zmiňoval proprietární mechanismy Googlu, včetně Google-Extended a nosnippet, a současně uváděl zpětnou vazbu vydavatelů, podle níž tyto mechanismy nezabránily všem způsobům využití obsahu, jež chtěli mít pod kontrolou. 22 Z materiálů pro tento text nelze nezávisle potvrdit přesný rozsah ani aktuální chování Google-Extended, Applebot-Extended či směrnice NOARCHIVE používané jako řešení v ekosystému Bingu.

Širší závěr je ale jasnější než technické detaily: specializované odhlášení nebo závazek Accountable může podpořit instrukci „indexujte tuto stránku pro vyhledávání, ale netrénujte na ní“. Plošná blokace crawleru takové rozlišení spolehlivě nabídnout nemůže.

Proč jsou jemnější nastavení důležitá právě teď

Cloudflare ve své analýze označil 80 % AI crawlů za předchozích 12 měsíců za trénování; na vyhledávání připadalo 18 % a na uživatelské akce 2 %. Firma uvádí, že účel klasifikuje podle sdělení provozovatelů a oborových zdrojů. 16

Toto rozložení vysvětluje, proč mohou vydavatelé chtít oddělená nastavení místo jediného přepínače AI ano/ne. Mohou přijmout indexaci pro vyhledávání, odmítnout trvalé začlenění obsahu do modelu prostřednictvím trénování a samostatně rozhodnout o přístupu AI agentů v reálném čase.

Cloudflare v roce 2025 také uvedl, že více než 2,5 milionu webů se rozhodlo trénování AI zcela zakázat prostřednictvím spravovaného robots.txt nebo spravovaného pravidla blokujícího AI crawlery. 13 Zářijové ovládací prvky těmto webům nabízejí jemnější variantu tam, kde je prioritou i zachování viditelnosti ve vyhledávání.

Další krok: větší kontrola nad AI souhrny

Cloudflare uvedl, že chce vydavatelům na začátku roku 2027 nabídnout podrobnější kontrolu nad souhrny vytvářenými AI. 2 Dodané oznámení potvrzuje tento směr, nikoli však finální podobu produktu, způsob vymáhání ani přesné možnosti pro vydavatele.

Praktický závěr je zatím jednoduchý: pravidla pro Search, Training a Agent je vhodné kontrolovat jako tři samostatná rozhodnutí. Pokud je důležitá organická dohledatelnost, není nutné automaticky předpokládat, že omezení AI musí omezit i vyhledávání — zvlášť u provozovatele crawleru s označením Accountable. 5