Cloudflare a OpenAI testují chytřejší AI vyhledávání díky signálům z webu v reálném čase

Co Cloudflare a OpenAI společně testují

Cloudflare a OpenAI 8. července 2026 oznámily výzkumný pilotní projekt, který má ověřit, zda mohou data z globální síťové infrastruktury Cloudflare zlepšit způsob, jakým AI vyhledávače objevují, indexují a následně využívají obsah z otevřeného webu .

Cílem je zvýšit přesnost a aktuálnost odpovědí a současně omezit zbytečné procházení webu. Generální ředitel Cloudflare Matthew Prince uvedl, že společnost chce využít „detailní síťové signály“ ke zefektivnění AI vyhledávání, aby uživatelé dostávali kvalitní odpovědi rychleji .

Jakou roli hrají síťové signály

Pilot pracuje s anonymizovanými a agregovanými signály zítě Cloudflare, přes kterou podle společnosti prochází více než 20 % globálního webového provozu . Nejde tedy o zveřejňování údajů o konkrétních uživatelích, ale o širší vzorce pozorované napříč sítí.

Mezi sledované signály patří zejména:

• Čerstvost obsahu – jak nedávno byla stránka vytvořena nebo aktualizována.
• Kvalita návštěvnosti – vzorce naznačující, zda je stránka aktivně využívána a zda její provoz působí důvěryhodně.
• Skutečné změny stránky – zda se obsah na serveru opravdu změnil a jak často, místo pouhého spoléhání na časové údaje v souborech sitemap.

Tyto informace mohou AI vyhledávači pomoci rozhodnout, co procházet, kdy stránku znovu načíst a který obsah může být zastaralý nebo méně relevantní. Systém by tak nemusel opakovaně stahovat každou stránku jen preventivně .

Výsledkem má být efektivnější indexování a odpovědi, které lépe odpovídají aktuálnímu stavu webu. Pro provozovatele AI služeb to může znamenat nižší náklady na infrastrukturu, zatímco vydavatelé by mohli získat přesnější zastoupení svého obsahu ve výsledcích.

Pilot je součástí širší změny pravidel Cloudflare

Spolupráce s OpenAI navazuje na širší soubor změn, které Cloudflare oznámil 1. července 2026 pod označením „Content Independence Day“ ^TBB. Společnost se snaží změnit dosavadní model, v němž AI firmy obsah často bezplatně procházejí, zatímco weby jen obtížně zjišťují, k jakému účelu data slouží a zda z toho mají odpovídající užitek.

Tři typy AI crawlerů

Cloudflare opouští jednoduché dělení na „AI bot“ a „běžného bota“. Crawlery nově třídí podle toho, co s obsahem dělají ^TB:

Kategorie	Účel	Typický příklad
Search	Indexování obsahu pro pozdější odpovědi na dotazy. Web by měl získat návštěvnost z odkazů nebo finanční kompenzaci.	Crawlery klasických vyhledávačů
Agent	Automatické akce v reálném čase jménem uživatele, například načtení obsahu v chatu nebo použití prohlížeče.	ChatGPT-User, agenti Claude nebo Gemini
Training	Sběr dat pro trénování či dolaďování modelu, při němž jsou data trvale použita v modelu.	Rozsáhlé trénovací crawlery

Cloudflare důrazně doporučuje firmám, které vykonávají všechny tři činnosti, aby pro každý účel používaly samostatné a jednoznačně identifikovatelné crawlery ^T. Provozovatel webu tak může přesněji rozhodnout, zda povolí například indexování pro vyhledávání, ale odmítne trénování modelů.

Co se změní od 15. září 2026

Od 15. září 2026 chce Cloudflare nastavit nová výchozí pravidla pro nové zákazníky, nové weby stávajících zákazníků a účty bezplatné úrovně ^TBB. U stránek, na nichž se zobrazují reklamy, mají platit tato výchozí nastavení:

• crawlery pro Training budou ve výchozím nastavení blokovány;
• crawlery pro Agent budou ve výchozím nastavení blokovány;
• smíšené crawlery, které kombinují vyhledávání, agenty nebo trénování, budou blokovány na stránkách s reklamou ^TB;
• crawlery určené pouze pro Search zůstanou ve výchozím nastavení povoleny, aby weby nezmizely z tradičního vyhledávání.

Nejde tedy o univerzální poplatek za přístup k webu ani o automatické zpoplatnění každého AI požadavku. Především se mění výchozí nastavení přístupu a odpovědnost za jasné rozlišení jednotlivých účelů ^TB. Provozovatelé webů mohou tato nastavení upravit podle svých potřeb.

Největší tlak míří na smíšené crawlery. Pokud jeden bot současně sbírá obsah pro vyhledávání i trénování modelu, vlastník webu nemůže snadno povolit jednu činnost a druhou zakázat. Cloudflare chce proto AI firmy přimět k oddělení crawlerů podle účelu — jinak mohou na reklamně podporované stránky přijít o výchozí přístup ^TB.

Od Pay Per Crawl k Pay Per Use

Cloudflare současně hledá nový způsob, jak finančně odměňovat vydavatele. V roce 2025 představila v neveřejné betě model Pay Per Crawl, který měl AI firmám účtovat jednotlivé požadavky crawlerů prostřednictvím běžné webové infrastruktury, autentizace a stavových kódů HTTP ^B.

Novější koncept Pay Per Use, oznámený v červenci 2026, posouvá důraz od samotného stažení stránky k jejímu skutečnému využití. Vydavatel by podle této myšlenky dostal zaplaceno tehdy, když jeho obsah reálně pomůže vytvořit odpověď AI, nikoli jen ve chvíli, kdy crawler stránku navštíví ^B. Cloudflare tento přístup popisuje jako jakousi měřenou službu pro AI vyhledávání: platit se má za dodanou hodnotu, ne pouze za přístup k datům.

Pay Per Use je zatím pouze raný experiment a výzkumný program. Cloudflare dosud nezveřejnil přesný ceník, způsob rozdělení příjmů mezi jednotlivé účastníky ani termín případného širšího spuštění ^B.

Jak do sebe jednotlivé kroky zapadají

Pilot s OpenAI, rozdělení crawlerů do tří kategorií, výchozí blokování smíšených botů i experiment s platbou za skutečné využití sledují jeden hlavní cíl: změnit pravidla pro přístup AI k webovému obsahu ^TBB.

1. Větší transparentnost: oddělené crawlery umožní vlastníkům webů zjistit, zda jejich obsah slouží pro vyhledávání, činnost agenta, nebo trénování modelu.
2. Větší kontrola pro vydavatele: výchozí nastavení omezí trénovací, agentní a smíšený provoz, zatímco klasické vyhledávání zůstane povoleno.
3. Nový kompenzační mechanismus: Pay Per Use se snaží navázat platbu na skutečný přínos obsahu pro odpověď AI, nikoli na pouhý počet návštěv crawleru.
4. Efektivnější AI vyhledávání: síťové signály Cloudflare mohou pomoci omezit zbytečné opakované procházení a zvýšit aktuálnost odpovědí.

Pokud se pilot osvědčí, AI vyhledávače by mohly získávat relevantnější obsah s menším množstvím zbytečných požadavků. Zda se současně podaří vytvořit udržitelný a transparentní systém odměňování webů, ale ukážou až další testy a konkrétní podmínky programu.