Cloudflare i OpenAI chcą, by wyszukiwarki AI szybciej znajdowały aktualne treści

Trzy kategorie crawlerów AI

Cloudflare zdecydowanie zachęca firmy, które realizują wszystkie trzy funkcje, do korzystania z oddzielnych i jednoznacznie rozpoznawalnych crawlerów dla każdego zastosowania ^T. Dla właścicieli stron ma to oznaczać większą przejrzystość: będą mogli łatwiej sprawdzić, czy dana firma indeksuje ich materiały na potrzeby wyszukiwarki, używa ich w działaniu agenta, czy też przeznacza je do treningu modelu.

Co zmieni się 15 września 2026 r.?

Od 15 września nowe ustawienia domyślne mają objąć nowych klientów Cloudflare, nowe witryny dodawane przez obecnych klientów oraz konta w bezpłatnym planie ^TBB. Na stronach wyświetlających reklamy domyślne zasady będą wyglądać następująco:

• crawlery Training będą domyślnie blokowane;
• crawlery Agent będą domyślnie blokowane;
• crawlery mieszane, łączące funkcje wyszukiwania, agentów i/lub trenowania, będą domyślnie blokowane na stronach z reklamami ^TB;
• crawlery przeznaczone wyłącznie do Search pozostaną domyślnie dozwolone, dzięki czemu strony nadal będą mogły pojawiać się w tradycyjnych wynikach wyszukiwania.

Najbardziej kontrowersyjny element dotyczy crawlerów mieszanych. Jeśli jeden bot pobiera tę samą treść jednocześnie do indeksowania, obsługi agentów i trenowania modeli, właściciel strony nie ma jasności, w jakim celu jego materiały są wykorzystywane. Domyślna blokada ma skłonić dostawców AI do rozdzielenia tych funkcji albo do uzyskania innego dostępu od właściciela witryny ^TB.

Warto podkreślić, że nie chodzi o automatyczne wprowadzenie opłaty za każdą wizytę crawlera ani o powszechny zakaz dostępu do internetu. Są to ustawienia domyślne, które właściciel witryny może zmienić w panelu Cloudflare ^FN.

Pay Per Use: płatność za wykorzystanie treści

Cloudflare rozwija także model rozliczeń nazwany Pay Per Use. Ma on zastąpić wcześniejszy kierunek Pay Per Crawl, testowany w prywatnej becie od 2025 r. ^BB.

• Pay Per Crawl zakładał opłatę za każde żądanie crawlera. Mechanizm miał wykorzystywać istniejące elementy infrastruktury internetowej, takie jak nagłówki żądań, uwierzytelnianie i kod HTTP 402 „Payment Required” ^B.
• Pay Per Use ma wiązać wynagrodzenie z faktycznym wykorzystaniem materiału — wydawca otrzymywałby zapłatę wtedy, gdy jego treść zasili odpowiedź wygenerowaną przez AI, a nie tylko wtedy, gdy bot ją pobierze ^B.

Cloudflare opisuje ten kierunek jako rodzaj rozliczanej usługi dla wyszukiwania AI: dostawca systemu płaci za wartość wykorzystanej informacji, a nie za sam techniczny dostęp do strony ^B. Jednocześnie Pay Per Use pozostaje na wczesnym etapie — firma określa go jako eksperyment i program badawczy. Nie opublikowano jeszcze dokładnych stawek, zasad podziału przychodów ani terminu powszechnego uruchomienia programu ^B.

Jeden plan, cztery elementy

Wspólny pilotaż z OpenAI, nowa klasyfikacja crawlerów, blokady dla botów mieszanych i model Pay Per Use składają się na jedną strategię ^TBB:

1. Większa przejrzystość — osobne crawlery mają ujawnić, czy treści są wykorzystywane do wyszukiwania, działania agentów czy trenowania modeli.
2. Większa kontrola wydawców — ustawienia domyślne ograniczają bardziej eksploatacyjne formy dostępu, jednocześnie zachowując możliwość pojawiania się w tradycyjnym wyszukiwaniu.
3. Nowy model wynagradzania — Pay Per Use próbuje zastąpić dawny układ „darmowe skanowanie w zamian za potencjalny ruch” płatnością zależną od rzeczywistego wykorzystania treści.
4. Sprawniejsze wyszukiwanie AI — sygnały Cloudflare mogą ograniczyć niepotrzebne skanowanie i pomóc systemom szybciej reagować na zmiany w internecie.

Jeśli pilotaż przyniesie oczekiwane rezultaty, wyszukiwarki AI mogą rzadziej pobierać niezmienione strony, a częściej trafiać do materiałów aktualnych i istotnych dla użytkownika. Dla wydawców oznacza to potencjalnie lepszą kontrolę nad dostępem do treści i dokładniejsze przypisywanie ich autorstwa. Dla firm AI — mniejsze koszty infrastruktury oraz bardziej aktualne źródła odpowiedzi.