Cloudflare: blokada treningu AI bez rezygnacji z indeksowania w wyszukiwarce

Cloudflare 15 września 2026 r. uruchomił funkcję Disallow AI Training. Jej praktyczny sens dla wydawców i właścicieli serwisów jest prosty: mogą zachować obecność w wynikach wyszukiwania, a równocześnie zakazać wykorzystywania swoich treści do trenowania modeli AI przez robota, który obsługuje oba te zastosowania. Towarzyszące rozwiązanie Accountable wskazuje operatorów, którzy już respektują tę preferencję albo konkretnie zobowiązali się do jej wdrożenia. 5

Najważniejsza zmiana: liczy się cel ruchu, nie tylko nazwa robota

Cloudflare pozwala osobno zarządzać trzema celami działania robotów:

• Search — pobieranie treści w celu indeksowania ich w wynikach wyszukiwania;
• Training — pobieranie treści do trenowania lub dostrajania modelu AI;
• Agent — pobieranie treści przez system AI wykonujący zadanie zlecone przez użytkownika. 10

To rozróżnienie jest istotne, ponieważ ta sama infrastruktura robota może służyć więcej niż jednemu celowi. Wcześniej blokada robota kojarzonego z AI mogła równocześnie ograniczyć zwykłe indeksowanie strony w wyszukiwarce. Nowe ustawienie ma umożliwić bardziej precyzyjną decyzję: dopuścić ruch wyszukiwawczy, lecz odmówić użycia materiałów do treningu. 5

Czym jest status „Accountable”

Cloudflare wprowadził oznaczenie Accountable dla operatorów robotów, którzy potrafią rozdzielić indeksowanie na potrzeby wyszukiwania od wykorzystania treści do treningu AI i respektować decyzję właściciela witryny. Apple, Google i Microsoft albo honorują nowe ustawienie, albo zobowiązały się do jego honorowania w terminie wskazanym przez Cloudflare. 5

Dla wydawców ma to znaczenie szczególnie w przypadku tzw. robotów o mieszanym zastosowaniu. Operator spełniający standard Accountable może nadal indeksować stronę dla wyszukiwarki po włączeniu zakazu treningu AI — nie powinien być traktowany tak, jakby został całkowicie zablokowany. 5

Dostępne materiały opisują standard na poziomie ogólnym. Nie pozwalają jednak potwierdzić dat wdrożeń u każdego operatora, zachowania poszczególnych robotów ani pełnych szczegółów technicznych zobowiązań. Właściciele witryn powinni więc sprawdzać własne ustawienia oraz dane o crawlach, zamiast zakładać identyczne działanie we wszystkich przypadkach.

Co może pozostać dostępne, a co jest blokowane

Nowe ustawienie ma zachować indeksowanie w wyszukiwarce przez mieszanych robotów operatorów Accountable, jednocześnie odrzucając wykorzystanie tej samej treści do treningu. Cloudflare wprost przedstawia tę funkcję jako sposób na pozostanie w indeksie przy odmowie treningu przez danego robota. 5

Udostępnione źródła nie zawierają pełnej, publicznej listy robotów z podziałem na dozwolone i blokowane. Potwierdzają jednak następujące wnioski praktyczne:

• ruch wyszukiwawczy od kwalifikujących się operatorów Accountable może pozostać dozwolony po zablokowaniu treningu; 5
• kategorie Training i Agent można blokować niezależnie od Search; 10
• opcja ogólnego blokowania wszystkich robotów AI nadal istnieje dla właścicieli stron, którzy wolą wstrzymać cały taki ruch albo zastosować szerokie ograniczenie, lecz jest mniej precyzyjna niż sterowanie według celu. 7

Dla serwisów zależnych od ruchu organicznego oznacza to mniejsze ryzyko konieczności wyboru między zakazem treningu AI a widocznością w wynikach wyszukiwania.

Strony z reklamami i domyślne ustawienia z 15 września

Cloudflare wcześniej zapowiedział, że od 15 września 2026 r. dla nowych domen wdrażanych do usługi ruch kategorii Training i Agent będzie domyślnie blokowany na stronach wyświetlających reklamy. 10 Założenie tej polityki jest korzystne dla wydawców: treści monetyzowane reklamami mogą wymagać bardziej restrykcyjnych ustawień wobec zastosowań AI.

Starszy model rodził jednak ryzyko dla robotów wielofunkcyjnych. Ograniczenie całej kategorii mogło odbić się również na crawlowaniu na potrzeby wyszukiwarki. Mechanizm Disallow AI Training wraz ze statusem Accountable ma rozwiązać ten konflikt: chronić finansowane reklamami treści przed treningiem modeli, bez utraty indeksowania tam, gdzie operator robota potrafi respektować rozróżnienie celów. 5

Źródła nie dokumentują w pełni sposobu migracji wszystkich wcześniej istniejących domen ani domyślnych konfiguracji dla każdego typu konta. Właściciele istniejących serwisów powinni sprawdzić własne polityki, zamiast wyciągać wnioski wyłącznie z zasad dla nowych domen.

Google-Extended, Applebot-Extended i obejście stosowane przez Bing

Sterowanie według celu odpowiada na problem, który odrębne dyrektywy dla konkretnych wydawców próbowały już rozwiązać: jak oddzielić aktywność wyszukiwarki od zastosowań AI tego samego operatora.

Cloudflare omawiał własnościowe mechanizmy rezygnacji Google, w tym Google-Extended oraz nosnippet, i wskazywał na sygnały od wydawców, że mechanizmy te nie zapobiegały wszystkim sposobom użycia treści, które chcieli oni kontrolować. 22 Przekazane materiały nie pozwalają niezależnie potwierdzić dokładnego zakresu ani aktualnego działania Google-Extended, Applebot-Extended czy dyrektywy NOARCHIVE stosowanej przez Bing.

Szerszy wniosek jest jednak jasny: dedykowany mechanizm rezygnacji albo zobowiązanie w ramach Accountable może umożliwić instrukcję: „indeksuj tę stronę dla wyszukiwania, ale nie używaj jej do treningu”. Zwykłe, pełne zablokowanie robota nie zapewnia takiego rozróżnienia.

Dlaczego dokładniejsze ustawienia są potrzebne

Z analizy ruchu Cloudflare wynika, że w poprzednich 12 miesiącach 80% crawlów AI sklasyfikowano jako pobieranie treści do treningu, 18% jako wyszukiwanie, a jedynie 2% jako działania wykonywane na rzecz użytkownika. Firma podaje, że klasyfikacja opiera się na deklaracjach operatorów i źródłach branżowych. 16

Te proporcje tłumaczą, dlaczego wydawcy mogą potrzebować osobnych ustawień zamiast jednego przełącznika „AI: włączone/wyłączone”. Serwis może akceptować indeksowanie, odrzucać trwałe włączanie treści do modelu w procesie treningu i osobno decydować o dostępie agentów działających w czasie rzeczywistym.

Cloudflare informował też w 2025 r., że ponad 2,5 mln witryn całkowicie zakazało treningu AI, korzystając z zarządzanego pliku robots.txt albo reguły blokującej roboty AI. 13 Wrześniowe ustawienia dają tym wydawcom bardziej szczegółową opcję tam, gdzie równie ważne jest zachowanie widoczności w wyszukiwarce.

Następny krok: większa kontrola nad podsumowaniami AI

Cloudflare zapowiedział, że na początku 2027 r. chce zapewnić wydawcom bardziej szczegółową kontrolę nad podsumowaniami generowanymi przez AI. 2 Dostępne ogłoszenie potwierdza ten kierunek, ale nie opisuje jeszcze ostatecznego projektu produktu, sposobu egzekwowania zasad ani konkretnych opcji dla wydawców.

Na dziś wniosek operacyjny jest prosty: polityki dla Search, Training i Agent warto traktować jako trzy osobne decyzje. Jeśli ważne jest pozyskiwanie ruchu z wyszukiwarek, ograniczenie AI nie musi automatycznie oznaczać ograniczenia indeksowania — zwłaszcza gdy operator robota ma oznaczenie Accountable. 5