Cloudflare obrací web naruby: Konec éry bezplatného stahování obsahu pro AI

Od 15. září 2026 Cloudflare ve výchozím nastavení zablokuje všechny AI crawleery, které pod jedním user-agentem kombinují indexování pro vyhledávače s tréninkem AI modelů nebo činností agentů – pokud to vydavatel výslovně nepovolí .

Nejde o drobnou změnu v nastavení. Cloudflare, který spravuje zhruba 20 % globálního webového provozu, přepíná výchozí režim internetu z „opt-out“ (crawleery jsou povoleny, dokud je výslovně nezakážete) na „opt-in“ pro AI-specifické crawleery . Pro vydavatele to znamená podnikovou úroveň ochrany proti botům hned po zapnutí. Pro AI společnosti to znamená konec bezplatného stahování obsahu ve velkém z webů chráněných Cloudflarem.

Hlavní změna: Termín 15. září 2026

Cloudflare stanovil 15. září 2026 jako konečný termín pro AI společnosti, aby rozdělily své webové crawleery do zřetelných, identifikovatelných kategorií podle toho, jak budou získaný obsah používat. Jakýkoli crawler, který jasně nedeklaruje svůj účel – nebo který spojuje indexování pro vyhledávače s tréninkem AI pod jedním user-agentem – bude ve výchozím nastavení blokován na provozu pocházejícím z Cloudflaru, a to zejména na stránkách, které zobrazují reklamu .

Po tomto datu budou mít noví zákazníci Cloudflaru a nově vytvořené weby výchozí nastavení, které povolí pouze jasně identifikované vyhledávací crawleery, zatímco AI tréninkové a AI agentní crawleery budou blokovány, dokud se vydavatel výslovně nerozhodne je povolit . Stávající zákazníci na bezplatném tarifu, kteří ručně neaktualizují své preference, budou rovněž převedeni na nová výchozí nastavení .

1. Nová výchozí nastavení: Z opt-out na opt-in

Dříve web fungoval na principu opt-out: crawleery byly povoleny, dokud je web výslovně neblokoval pomocí robots.txt. Cloudflare to pro AI-specifické crawleery obrátil na opt-in paradigma .

• Pro nové zákazníky a nové weby: AI crawleery používané pro trénink nebo činnost agentů jsou ve výchozím nastavení blokovány. Vydavatelé je musí aktivně povolit .
• Pro stávající zákazníky: Nastavení se automaticky nemění, ale vlastníci mohou (a je jim to důrazně doporučeno) přejít na nové tříkategoriální ovládací prvky v administraci Cloudflaru .
• Na stránkách s reklamou: Smíšené crawleery (ty, které zároveň indexují pro vyhledávání a stahují pro AI trénink) budou ve výchozím nastavení blokovány, protože výchozí politika zachází s neoznačeným nebo „smíšeným“ provozem jako s tréninkovým/agentním .

2. Tříkategoriální systém: Search, Agent, Training

Cloudflare zavedl novou klasifikaci, která vydavatelům umožňuje nastavit nezávislá pravidla pro tři typy chování botů, a to všem zákazníkům včetně uživatelů bezplatného tarifu :

Kategorie	Definice	Výchozí nastavení (od 15. září)
Search (Vyhledávání)	Crawleery, které indexují obsah, aby se mohl objevit ve výsledcích vyhledávání a posílat zpět vydavateli návštěvnost.	Ve výchozím nastavení povoleno – tito roboti přinášejí čtenáře a příjmy z reklamy.
Agent (Agenti)	Boti, kteří jednají jménem uživatele (např. AI asistenti provádějící úkoly, nakupování nebo rezervace).	Ve výchozím nastavení blokováno – vydavatelé se musí výslovně přihlásit.
Training (Trénink)	Boti, kteří stahují obsah výhradně pro trénink AI modelů, aniž by posílali zpět uživatele nebo uváděli zdroj.	Ve výchozím nastavení blokováno – vydavatelé se musí výslovně přihlásit.

Vydavatelé nyní mohou z jediné administrační obrazovky nastavit politiku jako „Povolit Search, Blokovat Training, Blokovat Agent“, a to i na bezplatném tarifu . To je podstatně jemnější než tradiční robots.txt, který umožňoval pouze hromadné povolení/zákaz pro daný user-agent. Cloudflare ve své dokumentaci definuje Search jako činnost, u které by majitelé webů „měli očekávat návštěvnost nebo jinou spravedlivou kompenzaci“ .

3. Přechod z Pay Per Crawl na Pay Per Use

Cloudflare nejprve v červenci 2025 představil Pay Per Crawl jako soukromou betu – tržiště, kde si vydavatelé mohli účtovat AI společnostem poplatky za každý požadavek, a to pomocí HTTP stavového kódu 402 („Payment Required“) k vyjednání přístupu . Tento systém umožňoval vydavatelům vrátit odpověď 402 s informací o ceně, když neschválený crawler požadoval obsah .

V dubnu 2026, během toho, co Cloudflare nazval Agents Week (13.–17. dubna), společnost tento model rozvinula do širšího rámce Pay Per Use, čímž sloučila systém platby za procházení do jediné konzole pro operátory dostupné napříč všemi tarify . Klíčový rozdíl:

• Pay Per Crawl (beta 2025): Model mikroplatby za každý požadavek – každý crawlingový požadavek spouštěl platební vyjednávání pomocí HTTP odpovědí 402 .
• Pay Per Use (GA 2026): Flexibilnější systém, kde si vydavatelé mohou nastavit vlastní podmínky – paušální licenční poplatky, sazby za procházení nebo předplatný přístup – a AI společnosti mohou přístup spravovat programově pomocí Cloudflare Bot Management a WAF pravidel .

Implementace Stack Overflow (únor 2026) ukázala produkční verzi: jejich program licencování dat používá Cloudflareovu kategorizaci botů k odesílání odpovědí 402 neautorizovaným crawlerům, čímž monetizuje ve velkém bez potřeby individuálních smluv .

Jak to mění situaci

Pro vydavatele

• Nový zdroj příjmů: AI společnosti nyní musí platit za tréninková data z webů chráněných Cloudflarem, místo aby je stahovaly zdarma .
• Jemná kontrola: Vydavatelé si mohou ponechat vyhledávací crawleery (které přinášejí návštěvnost), zatímco blokují tréninkové/agentní boty – chrání tak jak příjmy z reklamy, tak hodnotu obsahu .
• Výchozí ochrana: Menší vydavatelé, kteří si nemohli dovolit vlastní správu botů, nyní získávají blokování AI crawlerů na podnikové úrovni automaticky .

Pro AI společnosti

• Rostou náklady na tréninková data: Éra „bezplatného oběda“ stahování webů v masovém měřítku končí pro weby v síti Cloudflaru (~20 % webu) . AI společnosti musí buď platit vydavatelům, nebo vyjednat licenční dohody.
• Krize identity crawlerů: AI společnosti musí do 15. září přepracovat svou crawlerovou infrastrukturu, aby oddělily provoz pro vyhledávání, trénink a agenty do zřetelných, identifikovatelných user-agentů – jinak riskují úplné zablokování .
• Nejvíce je zasažen Google: Googlebot historicky sloužil dvojímu účelu (indexování pro vyhledávání a AI trénink pro Gemini/SGE). Politika Cloudflaru nutí Google, aby buď rozdělil svého robota, nebo riskoval, že jeho Googlebot bude blokován na stránkách s reklamou chráněných Cloudflarem .

Širší dopad na odvětví

• Nastavení standardu: Cloudflare fakticky definuje nový protokol pro chování AI crawlerů. Ostatní CDN a poskytovatelé hostingu mohou následovat .
• Content Signals Policy: Cloudflare zavedl novou sadu strojově čitelných direktiv v robots.txt, které jdou nad rámec přístupu na úrovni stránek a umožňují vydavatelům signalizovat, zda jejich obsah může být použit pro indexování ve vyhledávačích, trénink AI nebo AI agenty . Jedná se o rozšíření tradičního robots.txt, které pokrývá použití po přístupu, nikoli pouze povolení k procházení.