Cloudflare vs. la IA: el 15 de septiembre los buscadores deberán pagar o quedarse sin contenido

A partir del 15 de septiembre de 2026, Cloudflare bloqueará de forma predeterminada cualquier rastreador de inteligencia artificial que combine la indexación para buscadores con el entrenamiento de modelos de IA o tareas de agente bajo un solo identificador, a menos que el editor lo autorice explícitamente .

Esto no es un simple cambio de configuración. Cloudflare, que gestiona aproximadamente el 20% del tráfico web mundial, está invirtiendo el paradigma por defecto de internet: pasa de un modelo de "exclusión voluntaria" (los rastreadores pueden acceder a menos que se les bloquee) a uno de "inclusión voluntaria" para los rastreadores de IA . Para los editores, esto supone una protección antibots de nivel empresarial integrada. Para las empresas de IA, significa el fin de la recolección masiva y gratuita de datos en los sitios protegidos por Cloudflare.

El cambio fundamental: la fecha límite del 15 de septiembre de 2026

Cloudflare ha fijado el 15 de septiembre de 2026 como fecha límite para que las empresas de inteligencia artificial separen sus rastreadores web en categorías distintas y claramente identificadas según el uso que se dará al contenido rastreado. Cualquier rastreador que no declare su propósito de forma explícita, o que agrupe la indexación para buscadores con el entrenamiento de IA bajo un solo agente de usuario, será bloqueado por defecto en el tráfico gestionado por Cloudflare, especialmente en las páginas que muestran anuncios .

A partir de esa fecha, los nuevos clientes de Cloudflare y los sitios web de nueva creación tendrán una configuración por defecto que solo permitirá a los rastreadores de búsqueda claramente identificados, mientras que bloqueará a los rastreadores de entrenamiento y agentes de IA, a menos que el editor decida activarlos explícitamente . Los clientes existentes del plan gratuito que no actualicen manualmente sus preferencias también serán migrados a la nueva configuración .

1. Nueva configuración por defecto: de la exclusión a la inclusión voluntaria

Anteriormente, la web operaba bajo una norma de exclusión: los rastreadores podían acceder a menos que un sitio web los bloqueara explícitamente mediante el archivo robots.txt. Cloudflare ha invertido este paradigma para los rastreadores de IA, estableciendo un modelo de inclusión voluntaria .

• Para nuevos clientes y sitios nuevos: los rastreadores de IA utilizados para entrenamiento o acciones de agente están bloqueados por defecto. Los editores deben activarlos manualmente .
• Para clientes existentes: la configuración no cambia automáticamente, pero los propietarios pueden (y se les recomienda encarecidamente) migrar a los nuevos controles de tres categorías a través del panel de Cloudflare .
• En páginas con publicidad: los rastreadores de uso mixto (aquellos que indexan para búsquedas y a la vez extraen datos para entrenar modelos de IA) serán bloqueados por defecto, ya que la política predeterminada trata el tráfico no etiquetado o "mixto" como tráfico de entrenamiento o de agente .

2. El sistema de tres categorías: Búsqueda, Agente y Entrenamiento

Cloudflare ha introducido una nueva clasificación que permite a los editores establecer reglas independientes para tres comportamientos de los bots, disponible para todos los clientes, incluidos los del plan gratuito :

Categoría	Definición	Configuración por defecto (15 sept)
Búsqueda (Search)	Rastreadores que indexan contenido para que aparezca en los resultados de búsqueda y envíen tráfico de referencia al editor.	Permitido por defecto — estos bots generan lectores e ingresos publicitarios.
Agente (Agent)	Bots que actúan en nombre de un usuario (ej. asistentes de IA que realizan tareas, compras o reservas).	Bloqueado por defecto — el editor debe autorizarlos.
Entrenamiento (Training)	Bots que extraen contenido únicamente para entrenar modelos de IA, sin enviar usuarios de vuelta ni proporcionar atribución.	Bloqueado por defecto — el editor debe autorizarlos.

Los editores ahora pueden establecer una política como "Permitir Búsqueda, Bloquear Entrenamiento, Bloquear Agente" desde un solo panel, incluso en el plan gratuito . Esto es mucho más granular que el tradicional robots.txt, que solo permitía una autorización o denegación general por agente de usuario. La propia documentación de Cloudflare define la categoría de Búsqueda como una actividad en la que los propietarios de sitios "deben esperar recibir tráfico de referencia u otra compensación equitativa" .

3. Transición de 'Pay Per Crawl' a 'Pay Per Use'

Cloudflare presentó por primera vez el modelo Pay Per Crawl (Pago por Rastreo) en julio de 2025 como una versión beta privada: un mercado donde los editores podían cobrar a las empresas de IA por cada solicitud, utilizando códigos de estado HTTP 402 ("Pago Requerido") para negociar el acceso . Este sistema permitía a los editores devolver una respuesta 402 con información de precios cuando un rastreador no autorizado solicitaba contenido .

En abril de 2026, durante la denominada "Semana de los Agentes" (del 13 al 17 de abril), la compañía evolucionó este concepto hacia un modelo más amplio llamado Pay Per Use (Pago por Uso), integrando el marco de pago por rastreo en una consola de operador única disponible en todos los niveles de plan . La diferencia clave:

• Pay Per Crawl (beta 2025): un modelo de microtransacciones por solicitud: cada petición de rastreo activaba una negociación de pago mediante respuestas HTTP 402 .
• Pay Per Use (GA 2026): un sistema más flexible donde los editores pueden establecer sus propios términos —tarifas fijas de licencia, tarifas por rastreo o acceso por suscripción— y las empresas de IA pueden gestionar el acceso mediante programación a través de las reglas de gestión de bots y WAF de Cloudflare .

La implementación de Stack Overflow (febrero de 2026) demostró la versión de producción: su programa de licencias de datos utiliza la categorización de bots de Cloudflare para enviar respuestas 402 a los rastreadores no autorizados, monetizando a gran escala sin necesidad de contratos personalizados .

Cómo cambia esto el panorama

Para los editores

• Nueva fuente de ingresos: las empresas de IA ahora deben pagar por los datos de entrenamiento de los sitios protegidos por Cloudflare, en lugar de rastrearlos gratuitamente .
• Control granular: los editores pueden mantener los rastreadores de búsqueda (que generan tráfico publicitario) mientras bloquean los bots de entrenamiento y agentes, protegiendo tanto los ingresos por anuncios como el valor de su contenido .
• Protección por defecto: los editores más pequeños, que no podían permitirse sistemas de gestión de bots personalizados, ahora cuentan con un bloqueo de nivel empresarial para rastreadores de IA integrado de serie .

Para las empresas de IA

• Aumenta el coste de los datos de entrenamiento: el "almuerzo gratis" del rastreo a escala web termina para los sitios en la red de Cloudflare (~20% de la web) . Las empresas de IA deben pagar a los editores o negociar acuerdos de licencia.
• Crisis de identidad de los rastreadores: las empresas de IA deben reestructurar su infraestructura de rastreo antes del 15 de septiembre para separar el tráfico de búsqueda, entrenamiento y agentes en agentes de usuario distintos e identificables, o arriesgarse a ser bloqueadas por completo .
• Google es el más afectado: el rastreador de Google (Googlebot) ha servido históricamente a un doble propósito (indexación para búsqueda y entrenamiento de IA para Gemini/SGE). La política de Cloudflare obliga a Google a separar su rastreador o a que su Googlebot sea bloqueado en las páginas con publicidad dentro de la red de Cloudflare .

Impacto en la industria

• Movimiento que sienta un precedente: Cloudflare está definiendo de facto un nuevo protocolo de etiqueta para los rastreadores de IA. Es probable que otros CDN y proveedores de alojamiento sigan su ejemplo .
• Política de Señales de Contenido (Content Signals Policy): Cloudflare ha introducido un nuevo conjunto de directivas legibles por máquina en robots.txt que van más allá del permiso de acceso a una página. Permiten a los editores señalar si su contenido puede utilizarse para indexación en buscadores, entrenamiento de IA o agentes de IA. Es una extensión del robots.txt tradicional para cubrir el uso posterior al acceso, no solo el permiso de rastreo .