Chega de 'raspar' de graça: Cloudflare define prazo de 15 de setembro para empresas de IA separarem seus robôs ou serem bloqueadas

A partir de 15 de setembro de 2026, a Cloudflare bloqueará qualquer crawler de IA que agrupe indexação de busca com treinamento de IA ou tarefas de agente em um único user-agent — a menos que o editor opte explicitamente por permitir .

Esta não é uma simples mudança de configuração. A Cloudflare, que gerencia cerca de 20% do tráfego global da internet, está virando o padrão da web de 'opt-out' (crawlers permitidos a menos que bloqueados) para 'opt-in' para crawlers específicos de IA . Para os editores, isso significa proteção de nível empresarial contra bots. Para as empresas de IA, significa o fim da raspagem gratuita em larga escala de sites que usam Cloudflare.

A Mudança Central: O Prazo de 15 de Setembro de 2026

A Cloudflare estabeleceu o 15 de setembro de 2026 como prazo para que as empresas de IA separem seus crawlers em categorias distintas e identificadas, com base em como o conteúdo será usado. Qualquer crawler que não declare claramente seu propósito — ou que agrupe indexação de busca com treinamento de IA sob um único user-agent — será bloqueado por padrão no tráfego originado da Cloudflare, particularmente em páginas que exibem anúncios .

Após essa data, novos clientes da Cloudflare e sites recém-criados terão configurações padrão que permitirão apenas crawlers de busca claramente identificados, bloqueando crawlers de treinamento e agentes de IA, a menos que o editor opte explicitamente por permiti-los . Clientes existentes do plano gratuito que não atualizarem manualmente suas preferências também serão migrados para os novos padrões .

1. Novas Configurações Padrão: De Opt-Out para Opt-In

Anteriormente, a web operava com uma norma de opt-out: os crawlers eram permitidos a menos que um site os bloqueasse explicitamente via robots.txt. A Cloudflare inverteu isso para um paradigma de opt-in para crawlers específicos de IA .

• Para novos clientes e novos sites: Crawlers de IA usados para treinamento ou ações de agente são bloqueados por padrão. Os editores devem ativá-los ativamente .
• Para clientes existentes: As configurações não mudam automaticamente, mas os proprietários podem (e são fortemente encorajados a) migrar para os novos controles de três categorias através do painel da Cloudflare .
• Em páginas com anúncios especificamente: Crawlers de uso misto (aqueles que indexam para busca e raspam para treinamento de IA) serão bloqueados por padrão, porque a política padrão trata o tráfego não rotulado ou 'misto' como tráfego de treinamento/agente .

2. O Sistema de Três Categorias: Busca, Agente, Treinamento

A Cloudflare introduziu uma nova classificação que permite que os editores definam regras independentes para três comportamentos de robôs, disponível para todos os clientes, incluindo os do plano gratuito :

Categoria	Definição	Configuração Padrão (15 de Setembro)
Busca (Search)	Crawlers que indexam conteúdo para que ele apareça nos resultados de busca e enviem tráfego de referência de volta ao editor.	Permitido por padrão — esses bots geram leitores e receita de anúncios.
Agente (Agent)	Bots que agem em nome de um usuário (ex.: assistentes de IA realizando tarefas, compras ou reservas).	Bloqueado por padrão — editores devem optar por permitir.
Treinamento (Training)	Bots que raspam conteúdo exclusivamente para treinar modelos de IA, sem enviar usuários ou atribuição de volta.	Bloqueado por padrão — editores devem optar por permitir.

Os editores agora podem definir uma política como 'Permitir Busca, Bloquear Treinamento, Bloquear Agente' a partir de um único painel, mesmo no plano gratuito . Isso é mais granular do que o robots.txt tradicional, que só permitia uma permissão/negação genérica por user-agent. A própria documentação da Cloudflare define Busca como uma atividade onde os proprietários de sites 'devem esperar tráfego de referência ou alguma compensação equitativa' .

3. Transição de 'Pague por Crawl' para 'Pague por Uso'

A Cloudflare introduziu o 'Pague por Crawl' (Pay Per Crawl) em julho de 2025 como um beta privado — um mercado onde os editores podiam cobrar das empresas de IA por requisição, usando códigos de status HTTP 402 ('Pagamento Requerido') para negociar o acesso . Este sistema permitia que os editores retornassem uma resposta 402 com informações de preço quando um crawler não aprovado solicitava conteúdo .

Em abril de 2026, durante a chamada Semana dos Agentes (13 a 17 de abril), a empresa evoluiu isso para um modelo mais amplo de 'Pague por Uso' (Pay Per Use), integrando a estrutura de pagamento por crawl em um console operacional único disponível em todos os níveis de plano . A distinção principal:

• Pague por Crawl (beta 2025): Um modelo de microtransação por requisição — cada solicitação de crawl disparava uma negociação de pagamento via respostas HTTP 402 .
• Pague por Uso (GA 2026): Um sistema mais flexível onde os editores podem definir termos — taxas de licenciamento fixas, taxas por crawl ou acesso estilo assinatura — e as empresas de IA podem gerenciar o acesso programaticamente através do gerenciamento de bots e das regras WAF da Cloudflare .

A implementação do Stack Overflow (fevereiro de 2026) demonstrou a versão de produção: seu programa de licenciamento de dados usa a categorização de bots da Cloudflare para servir respostas 402 a crawlers não autorizados, monetizando em escala sem contratos personalizados .

Como Isso Muda o Cenário

Para Editores (Publishers)

• Nova fonte de receita: As empresas de IA agora devem pagar pelos dados de treinamento de sites que usam Cloudflare, em vez de raspar gratuitamente .
• Controle granular: Os editores podem manter os crawlers de busca (que geram tráfego de anúncios) enquanto bloqueiam bots de treinamento/agente — protegendo tanto a receita de anúncios quanto o valor do conteúdo .
• Proteção padrão: Editores menores, que não podiam arcar com gerenciamento de bots personalizado, agora recebem proteção de nível empresarial contra crawlers de IA pronta para uso .

Para Empresas de IA

• Custo dos dados de treinamento aumenta: O 'almoço grátis' da raspagem em escala web termina para sites na rede da Cloudflare (~20% da web) . As empresas de IA terão que pagar os editores ou negociar acordos de licenciamento.
• Crise de identidade dos crawlers: As empresas de IA devem reformular sua infraestrutura de crawlers até 15 de setembro para separar o tráfego de busca, treinamento e agente em user-agents distintos e identificáveis — ou arriscar serem bloqueadas completamente .
• Google é o mais afetado: O crawler do Google historicamente serviu a propósitos duplos (indexação de busca e treinamento de IA para Gemini/SGE). A política da Cloudflare força o Google a dividir seu crawler ou ter seu Googlebot bloqueado em páginas com anúncios na Cloudflare .

Impacto Mais Amplo na Indústria

• Movimento definidor de padrões: A Cloudflare está efetivamente definindo um novo protocolo para a etiqueta dos crawlers de IA. Outras CDNs e provedores de hospedagem podem seguir o exemplo .
• Política de Sinais de Conteúdo: A Cloudflare introduziu um novo conjunto de diretivas legíveis por máquina no robots.txt que vão além do acesso por página, permitindo que os editores sinalizem se seu conteúdo pode ser usado para indexação de busca, treinamento de IA ou agentes de IA . Isso é uma extensão do robots.txt tradicional para cobrir o uso pós-acesso, não apenas a permissão de varredura.