Cloudflare permite bloquear treino de IA sem perder indexação na busca

A atualização da Cloudflare em 15 de setembro de 2026 mudou uma escolha que era particularmente delicada para sites e publishers: agora é possível continuar aparecendo na busca e, ao mesmo tempo, sinalizar que o conteúdo não pode ser usado para treinar modelos de IA.

O recurso se chama Disallow AI Training (“não permitir treinamento de IA”). Ele funciona em conjunto com a designação Accountable, dada a operadores que já respeitam essa preferência ou que assumiram um compromisso concreto de implementá-la. 5

A mudança central: controlar a finalidade, não apenas o bot

A Cloudflare divide o tráfego de rastreadores em três usos que podem ser administrados de forma independente:

• Busca (Search): rastreamento para indexar páginas e exibi-las em resultados de pesquisa;
• Treinamento (Training): coleta de conteúdo para treinar ou ajustar um modelo de IA;
• Agente (Agent): acesso ao conteúdo quando uma IA executa uma ação solicitada por uma pessoa. 10

Essa separação resolve um problema prático: a mesma infraestrutura de rastreamento pode servir a mais de uma finalidade. Antes, bloquear um crawler associado a IA poderia também comprometer a presença orgânica do site em buscadores.

Com o Disallow AI Training, o dono do site pode fazer uma escolha mais específica: permitir o acesso para busca, mas recusar o uso daquele conteúdo em treinamento de modelos. 5

O que significa o selo “Accountable”

A Cloudflare criou a designação Accountable para operadores de bots capazes de separar indexação em busca e uso para treinamento, respeitando a preferência do site. Apple, Google e Microsoft já honram a nova configuração ou se comprometeram a honrá-la dentro do cronograma informado pela Cloudflare. 5

Para publishers, isso é relevante porque evita que um rastreador útil para busca seja bloqueado por completo apenas porque sua empresa também atua com treinamento de IA. Assim, operadores de uso misto que atendam ao padrão podem continuar indexando páginas para pesquisa mesmo quando o site veta o treinamento. 5

O anúncio disponível descreve os critérios em linhas gerais, mas não traz elementos suficientes para confirmar a data de implementação de cada operador, o comportamento individual de cada crawler ou todos os detalhes técnicos dos compromissos. Por isso, é recomendável conferir as configurações de bots e os dados de rastreamento do próprio site, em vez de presumir comportamento idêntico entre empresas.

O que pode continuar liberado — e o que é bloqueado

O novo ajuste foi desenhado para preservar a indexação em busca por operadores mistos Accountable e rejeitar o uso do mesmo conteúdo em treinamento. A Cloudflare apresenta explicitamente o recurso como uma forma de permanecer indexado enquanto se recusa o treinamento por aquele crawler. 5

O material fornecido não estabelece uma lista pública completa, crawler por crawler, de permissões e bloqueios. Mas permite concluir que:

• O acesso para busca de operadores Accountable qualificados pode continuar liberado quando o treinamento é desativado. 5
• As categorias Treinamento e Agente podem ser bloqueadas separadamente da categoria Busca. 10
• A opção geral de “bloquear todos os bots de IA” continua disponível para quem preferir uma pausa ou uma restrição ampla, mas é menos precisa do que controles por finalidade. 7

Para sites dependentes de tráfego orgânico, a consequência é importante: a recusa ao treinamento deixa de exigir, necessariamente, uma perda de visibilidade nas buscas.

Páginas com anúncios e os padrões de setembro

A Cloudflare havia anunciado que, a partir de 15 de setembro de 2026, novos domínios que entrassem na plataforma teriam rastreadores de Treinamento e Agente bloqueados por padrão nas páginas que exibem anúncios. 10

A política parte de uma lógica voltada a publishers: conteúdo monetizado por publicidade pode justificar proteções mais restritivas contra usos de IA.

Havia, porém, um risco no modelo anterior. Quando um mesmo crawler tinha vários propósitos, um bloqueio por categoria podia também afetar o rastreamento para busca. A combinação de Disallow AI Training e Accountable é a resposta da Cloudflare a esse conflito: proteger conteúdo com anúncios contra treinamento, sem abrir mão da indexação quando o operador consegue respeitar essa divisão. 5

As fontes disponíveis não detalham completamente como todos os domínios já existentes foram migrados, nem quais padrões se aplicam a cada tipo de conta. Portanto, proprietários de domínios antigos devem revisar suas próprias políticas configuradas, sem inferir que a regra para novos domínios vale automaticamente para todos.

Google-Extended, Applebot-Extended e a alternativa da Bing

Controles por finalidade tratam de uma questão que diretivas específicas de publishers já tentavam resolver: separar a atividade de busca de uma empresa de seus usos de IA.

A Cloudflare citou mecanismos proprietários de opt-out do Google, como Google-Extended e nosnippet, e relatou feedback de publishers de que essas ferramentas não teriam impedido todos os usos de conteúdo que eles buscavam controlar. 22

O material fornecido não permite confirmar de forma independente o escopo exato ou o comportamento atual de Google-Extended, Applebot-Extended e da diretiva NOARCHIVE da Bing.

O ponto principal é mais claro que os detalhes de implementação: um opt-out dedicado ou um compromisso Accountable pode viabilizar a instrução “indexe esta página para busca, mas não a use para treinamento”. Um bloqueio genérico de crawler não consegue oferecer essa distinção com a mesma confiabilidade.

Por que controles mais específicos ganharam importância

Na análise de tráfego da própria Cloudflare, 80% do rastreamento por IA nos 12 meses anteriores foi classificado como treinamento, contra 18% para busca e apenas 2% para ações de usuários. A empresa afirma que essa classificação se baseia em declarações dos operadores e em fontes do setor. 16

A distribuição ajuda a explicar por que publishers podem preferir configurações separadas, em vez de um simples interruptor de IA ligado ou desligado. Um site pode aceitar indexação em busca, rejeitar a incorporação permanente do conteúdo em um modelo por treinamento e tomar outra decisão sobre acesso em tempo real por agentes.

A Cloudflare também informou, em 2025, que mais de 2,5 milhões de sites haviam optado por proibir completamente o treinamento de IA por meio de seu recurso gerenciado de robots.txt ou de uma regra gerenciada de bloqueio de crawlers de IA. 13 Os controles de setembro oferecem a esses sites uma alternativa mais granular quando preservar a visibilidade em buscas também é prioridade.

Próximo passo: controle sobre resumos produzidos por IA

A Cloudflare disse que pretende oferecer aos publishers controles mais detalhados sobre resumos gerados por IA no início de 2027. 2

O anúncio confirma essa direção, mas não especifica o desenho final do produto, o método de aplicação das regras ou as opções exatas que serão oferecidas.

Por enquanto, a orientação operacional é simples: trate Busca, Treinamento e Agente como decisões independentes. Se a descoberta orgânica é relevante para o site, não presuma que restringir IA precisa bloquear a busca — sobretudo quando o operador do crawler recebeu a designação Accountable. 5