O dilema do Googlebot: como o robô de busca se tornou um duto de IA e por que editores estão exigindo um "opt-out" real

A controvérsia se resume a três pontos:

• Falta de escolha real. Um editor não pode bloquear o Googlebot para IA sem também bloqueá-lo para a busca, o que destruiria seu tráfego e receita .
• Vantagem competitiva desleal. O domínio do Google na busca lhe dá um duto gratuito de conteúdo de editores, enquanto rivais como OpenAI, Anthropic ou Perplexity precisam negociar ou pagar. Dados da Cloudflare mostram que o Googlebot acessa quase o dobro de páginas que o GPTBot e o ClaudeBot, e 167 vezes mais que o PerplexityBot .
• Canibalização de tráfego. Os AI Overviews resumem o conteúdo diretamente nos resultados de busca, reduzindo a necessidade de o usuário clicar no site do editor, minando a receita de anúncios .

A resposta do CMA: uma exigência de conduta inédita no mundo

Em outubro de 2025, o CMA classificou o Google como tendo Status de Mercado Estratégico (SMS) em busca geral e publicidade associada, devido à sua participação de cerca de 90% do mercado britânico de buscas . Em 3 de junho de 2026, o CMA impôs uma Exigência de Conduta para Editores (Publisher Conduct Requirement, ou CR) — a primeira obrigação vinculante sob o Digital Markets, Competition and Consumers Act 2024 do Reino Unido .

Elementos-chave da CR:

• Exclusão de IA para editores. Pela primeira vez, editores podem impedir que seu conteúdo alimente recursos de IA no Google Search (AI Overviews, AI Mode) sem perder a visibilidade na busca tradicional .
• Exclusão para ajuste fino (fine-tuning). Após feedback da consulta pública, o Google também deve permitir que editores optem por não ter seu conteúdo usado para o ajuste fino de modelos de IA .
• Atribuição obrigatória. O Google deve fornecer links claros de volta ao conteúdo do editor nos resultados de busca gerados por IA .
• Transparência e conformidade. O Google precisa publicar relatórios de conformidade a cada seis meses no primeiro ano, com dados e métricas relevantes, e deve notificar proativamente os editores quando estender os controles a novos serviços de IA .
• Prazo de implementação. O Google tem nove meses (até março de 2027) para implementar todas as mudanças, embora o CMA espere controles-chave antes disso .

O CMA considerou explicitamente, mas rejeitou, a separação de rastreadores — forçar o Google a usar robôs diferentes para indexação de busca e para alimentar a IA — considerando a medida desproporcional. A conclusão foi que o custo para o Google seria materialmente mais alto e que controles aprimorados eram um remédio igualmente eficaz e mais proporcional .

A posição da Cloudflare: só a separação de rastreadores resolve

A Cloudflare, que gerencia o tráfego de cerca de um quinto da web, enviou uma resposta detalhada à consulta do CMA argumentando que a CR é um passo adiante, mas não resolve o problema estrutural . Seus argumentos centrais:

• A CR delega o controle de volta ao Google. Editores continuam dependentes dos sistemas proprietários do Google e não podem usar ferramentas de bloqueio de terceiros (como o próprio Crawl Control da Cloudflare) sem arriscar seu ranqueamento na busca .
• Separação de rastreadores é a única solução técnica. O Google deveria ser obrigado a usar um rastreador separado para treinamento e fundamentação de IA, para que os editores possam bloquear um sem prejudicar o outro .
• Controles granulares não bastam. A proposta do CMA distingue entre "treinamento/fundamentação de IA" e "recursos de IA generativa na busca" de uma forma tecnicamente confusa que a maioria dos editores não entenderá .
• Tamanho do problema. O Googlebot é responsável por cerca de 50% de todos os rastreamentos na web, e a busca com IA do Google coleta 3,2 vezes mais conteúdo do que a OpenAI .

O CEO da Cloudflare, Matthew Prince, viajou pessoalmente a Londres em outubro de 2025 para fazer lobby junto ao CMA por essa abordagem e vem defendendo publicamente a "separação" dos rastreadores de busca e IA desde então . A Cloudflare também anunciou que, a partir de 15 de setembro de 2026, bloqueará rastreadores de dupla finalidade em páginas com anúncios para clientes relevantes .

Onde as coisas estão agora

• O CMA impôs a CR em 3 de junho de 2026, dando aos editores uma ferramenta de exclusão de IA pela primeira vez . As obrigações substantivas de controle entram em vigor em 3 de dezembro de 2026 e a exigência permanece em vigor até 10 de outubro de 2030 .
• A Cloudflare continua a argumentar que a CR é insuficiente e que apenas a separação obrigatória de rastreadores restaurará a verdadeira autonomia dos editores .
• O Google disse que está testando novos controles que permitem aos editores gerenciar o uso de IA e alertou que "quebrar a Busca" ao forçar a separação de rastreadores pode prejudicar a experiência do usuário . Em sua resposta à consulta do CMA, o Google argumenta que a CR atinge o equilíbrio certo .
• O CMA deixou a porta aberta para novas ações, afirmando que está monitorando ativamente como o Google implementa essas mudanças e pode tomar medidas adicionais se necessário .

A batalha em torno do rastreador do Google não é apenas uma história do Reino Unido. A decisão do CMA está sendo observada de perto por reguladores na UE, nos EUA e em outras jurisdições, e o resultado pode estabelecer um precedente global para como o domínio da busca e o treinamento de IA se cruzam.