Cloudflare stawia ultimatum botom AI. Nowe zasady wejdą w życie 15 września 2026

To nie jest drobna zmiana w ustawieniach. Cloudflare, który zarządza około 20% światowego ruchu internetowego, odwraca dotychczasową normę: z systemu opt-out (boty dozwolone, chyba że zablokowane) na opt-in dla botów powiązanych z AI . Dla wydawców oznacza to wbudowaną ochronę na poziomie korporacyjnym. Dla firm AI – koniec darmowego, masowego skrobania stron objętych Cloudflare.

Istota zmiany: termin 15 września 2026

Cloudflare wyznaczył 15 września 2026 jako ostateczny termin dla firm AI na rozdzielenie swoich botów na odrębne, zidentyfikowane kategorie, w zależności od tego, do czego będą wykorzystywać zeskanowane treści. Każdy bot, który nie ogłosi jasno swojego celu – lub który łączy indeksowanie w celach wyszukiwania z trenowaniem AI pod jednym user-agentem – zostanie domyślnie zablokowany w ruchu pochodzącym z Cloudflare, szczególnie na stronach wyświetlających reklamy .

Po tej dacie nowi klienci Cloudflare i nowo utworzone strony będą mieć domyślne ustawienia zezwalające tylko na wyraźnie zidentyfikowane boty wyszukiwania, blokując boty trenowania AI i boty agentów – chyba że wydawca wyraźnie włączy je ręcznie . Obecni klienci korzystający z darmowego planu, którzy nie zaktualizują swoich preferencji, również zostaną objęci nowymi ustawieniami domyślnymi .

1. Nowe ustawienia domyślne: od opt-out do opt-in

Wcześniej w internecie obowiązywała norma opt-out: boty były dozwolone, chyba że strona wyraźnie zablokowała je za pomocą robots.txt. Cloudflare odwrócił tę zasadę w przypadku botów związanych z AI .

• Dla nowych klientów i nowych stron: Boty AI używane do trenowania modeli lub działań agentowych są domyślnie blokowane. Wydawcy muszą aktywnie je włączyć .
• Dla obecnych klientów: Ustawienia nie zmieniają się automatycznie, ale właściciele mogą (i są zachęcani) do migracji do nowego systemu trzech kategorii za pomocą panelu Cloudflare .
• Na stronach z reklamami: Boty o mieszanym przeznaczeniu (takie, które zarówno indeksują pod wyszukiwarki, jak i skrapują treści do trenowania AI) będą domyślnie blokowane, ponieważ domyślna polityka traktuje nieoznaczony lub „mieszany” ruch jako ruch trenowania/agentów .

2. System trzech kategorii botów: Search, Agent, Training

Cloudflare wprowadził nową klasyfikację, która pozwala wydawcom ustawić niezależne reguły dla trzech zachowań botów. Jest dostępna dla wszystkich klientów, także tych na darmowym planie :

Wydawcy mogą teraz ustawić politykę, np. „Zezwól na Search, zablokuj Training, zablokuj Agent” z jednego panelu, nawet na darmowym planie . To znacznie bardziej szczegółowe niż tradycyjny robots.txt, który pozwalał tylko na globalne zezwolenie lub blokadę dla danego user-agenta. W dokumentacji Cloudflare kategoria Search jest zdefiniowana jako aktywność, w ramach której „właściciele stron powinni spodziewać się ruchu polecającego lub innej godziwej rekompensaty” .

3. Przejście od Pay Per Crawl do Pay Per Use

Cloudflare wprowadził Pay Per Crawl w lipcu 2025 roku jako prywatną betę – rynek, na którym wydawcy mogli pobierać opłaty od firm AI za każdą sesję skanowania, używając kodu statusu HTTP 402 („Payment Required”) do negocjowania dostępu . System pozwalał wydawcom na zwrócenie odpowiedzi 402 z informacją o cenie, gdy niezatwierdzony bot żądał treści .

Do kwietnia 2026 roku, podczas Tygodnia Agentów Cloudflare (13-17 kwietnia), firma rozwinęła ten system w szerszy model Pay Per Use, włączając ramy per-crawl do jednej konsoli operatorskiej dostępnej na wszystkich poziomach planów . Kluczowa różnica:

• Pay Per Crawl (beta 2025): Model mikropłatności za każde żądanie – każde skanowanie wywoływało negocjację płatności przez odpowiedź HTTP 402 .
• Pay Per Use (GA 2026): Bardziej elastyczny system, w którym wydawcy mogą ustalać warunki – ryczałtowe opłaty licencyjne, stawki za skanowanie lub dostęp abonamentowy – a firmy AI mogą zarządzać dostępem programowo za pomocą narzędzi Cloudflare do zarządzania botami i reguł WAF .

Wdrożenie Stack Overflow (luty 2026) pokazało produkcyjną wersję: ich program licencjonowania danych wykorzystuje kategoryzację botów Cloudflare do wysyłania odpowiedzi 402 nieautoryzowanym botom, monetyzując na dużą skalę bez konieczności indywidualnych umów .

Jak to zmienia krajobraz

Dla wydawców

• Nowe źródło przychodów: Firmy AI muszą teraz płacić za dane treningowe ze stron objętych Cloudflare, zamiast skrapować je za darmo .
• Szczegółowa kontrola: Wydawcy mogą utrzymać boty wyszukiwania (które generują ruch reklamowy), blokując boty trenowania/agentów – chroniąc zarówno przychody z reklam, jak i wartość treści .
• Domyślna ochrona: Mali wydawcy, których nie było stać na zaawansowane zarządzanie botami, otrzymują teraz korporacyjną ochronę przed botami AI w standardzie .

Dla firm AI

• Rosną koszty danych treningowych: Era „darmowego lunchu” w postaci masowego skrobania sieci kończy się dla stron w sieci Cloudflare (~20% internetu) . Firmy AI muszą albo płacić wydawcom, albo negocjować umowy licencyjne.
• Kryzys tożsamości botów: Firmy AI muszą do 15 września przebudować infrastrukturę swoich botów, rozdzielając ruch związany z wyszukiwaniem, trenowaniem i agentami na odrębne, identyfikowalne user-agenty – w przeciwnym razie ryzykują całkowitą blokadę .
• Google jest najbardziej dotknięty: Bot Google’a historycznie służył dwóm celom (indeksowanie wyszukiwarki i trenowanie AI dla Gemini/SGE). Polityka Cloudflare zmusza Google do rozdzielenia swojego bota, grożąc zablokowaniem Googlebota na stronach z reklamami w sieci Cloudflare .

Szerszy wpływ na branżę

• Ruch wyznaczający standardy: Cloudflare skutecznie definiuje nowy protokół etykiety botów AI. Inni dostawcy CDN i hostingu mogą pójść w jego ślady .
• Polityka Content Signals: Cloudflare wprowadził nowy zestaw maszynowo odczytywalnych dyrektyw w robots.txt, które wykraczają poza dostęp na poziomie strony, pozwalając wydawcom sygnalizować, czy ich treści mogą być używane do indeksowania wyszukiwania, trenowania AI lub przez agentów AI . To rozszerzenie tradycyjnego robots.txt o regulację wykorzystania po uzyskaniu dostępu, a nie tylko o pozwolenie na skanowanie.