Cloudflare separa la indexación en buscadores del entrenamiento de IA

Cloudflare lanzó el 15 de septiembre de 2026 Disallow AI Training, una opción que cambia una disyuntiva habitual para los editores: pueden seguir apareciendo en los resultados de búsqueda y, al mismo tiempo, indicar que un rastreador de uso mixto no debe utilizar su contenido para entrenar modelos de IA. La designación complementaria Accountable identifica a los operadores que ya respetan esa preferencia o que se han comprometido de forma concreta a hacerlo. 5

La clave es el propósito del rastreo, no solo la identidad del bot

Cloudflare separa la actividad de los rastreadores en tres finalidades que pueden gestionarse de manera independiente:

• Search: rastreo para indexar contenido en los resultados de un buscador.
• Training: recopilación de contenido para entrenar o ajustar un modelo de IA.
• Agent: acceso al contenido mientras una IA realiza una acción solicitada por un usuario. 10

La diferencia importa porque una misma infraestructura de rastreo puede atender varios propósitos. Hasta ahora, bloquear un bot asociado a IA podía poner en riesgo la visibilidad orgánica en buscadores. Con Disallow AI Training, el propietario de un sitio puede optar por una restricción más específica: permitir la búsqueda y rechazar el entrenamiento. 5

Qué significa que un operador sea «Accountable»

Cloudflare creó la designación Accountable para los operadores de bots que pueden distinguir entre la indexación para búsqueda y el uso para entrenamiento, respetando la preferencia del sitio. Apple, Google y Microsoft ya cumplen la configuración o se han comprometido a cumplirla dentro del calendario indicado por Cloudflare. 5

Para los medios y otros editores, esta categoría tiene una consecuencia práctica importante: un rastreador útil para la búsqueda no tiene por qué quedar bloqueado por completo solo porque su operador también desarrolle o utilice sistemas de IA. Los operadores de uso mixto que cumplan el estándar pueden seguir indexando páginas para Search después de que el editor desactive Training. 5

La información disponible describe el estándar de forma general, pero no permite verificar las fechas de implementación de cada operador, el comportamiento de cada rastreador ni todos los compromisos técnicos. Por ello, cada sitio debería comprobar su propia configuración y sus datos de rastreo, en lugar de asumir que todos los operadores actúan de la misma forma.

Qué tráfico puede mantenerse y cuál se bloquea

La nueva opción está pensada para conservar la indexación en buscadores de los operadores mixtos Accountable mientras rechaza el uso del mismo contenido para entrenamiento. Cloudflare presenta expresamente la función como una forma de seguir indexado para búsqueda sin permitir que ese rastreador entrene con el contenido. 5

El material aportado no establece una lista pública completa de bots permitidos o bloqueados uno por uno. Sí permite extraer estas conclusiones:

• El acceso para búsqueda de los operadores Accountable que cumplan los requisitos puede mantenerse cuando se desactiva Training. 5
• Las categorías Training y Agent pueden bloquearse por separado de Search. 10
• La opción de bloquear todos los bots de IA sigue existiendo para quienes prefieran una pausa o una restricción general, aunque es menos precisa que los controles por finalidad. 7

Para los sitios que dependen del tráfico orgánico, la actualización reduce la necesidad de elegir entre excluir el entrenamiento de IA y conservar presencia en los buscadores.

Páginas con publicidad y los valores predeterminados de septiembre

Cloudflare había anunciado previamente que, desde el 15 de septiembre de 2026, los dominios nuevos que se incorporen al servicio tendrían bloqueados por defecto los rastreadores de Training y Agent en las páginas que muestran anuncios. 10

La política parte de un criterio enfocado en los editores: el contenido monetizado con publicidad puede requerir protecciones predeterminadas más estrictas frente a usos de IA. Sin embargo, cuando un rastreador cumple varias funciones, un bloqueo amplio por categoría podía afectar también a la indexación para búsqueda. Disallow AI Training y el modelo Accountable buscan resolver ese conflicto: proteger el contenido publicitario frente al entrenamiento sin perder la indexación cuando el operador puede respetar esa separación. 5

Las fuentes disponibles no detallan por completo cómo se migraron todos los dominios ya existentes ni qué valores predeterminados se aplicaron a cada tipo de cuenta. Los propietarios de dominios anteriores deberían revisar sus políticas configuradas en vez de inferirlas a partir de las reglas para dominios nuevos.

Google-Extended, Applebot-Extended y la alternativa de Bing

Los controles por finalidad abordan un problema que las directivas específicas de cada proveedor han tratado de resolver: separar el uso de un operador para la búsqueda de su uso para IA.

Cloudflare ha mencionado mecanismos propietarios de exclusión de Google, como Google-Extended y nosnippet, y ha recogido comentarios de editores según los cuales estos mecanismos no habían evitado todos los usos que querían controlar. 22 El material disponible para este artículo no permite confirmar de forma independiente el alcance exacto o el comportamiento actual de Google-Extended, Applebot-Extended ni de la directiva NOARCHIVE utilizada como alternativa en Bing.

La conclusión general sí es clara: una exclusión específica para entrenamiento o un compromiso Accountable permite transmitir una instrucción concreta —«indexa esta página para búsqueda, pero no la uses para entrenar»—. Un bloqueo indiscriminado de un rastreador no ofrece esa distinción de forma fiable.

Por qué importan los controles más detallados

El análisis de tráfico de Cloudflare clasificó el 80% del rastreo de IA de los 12 meses anteriores como entrenamiento, frente al 18% destinado a búsqueda y el 2% a acciones de usuarios. La empresa señala que su clasificación se basa en divulgaciones de los operadores y fuentes del sector. 16

Ese reparto ayuda a entender por qué los editores pueden preferir controles separados en lugar de un único interruptor para toda la IA. Un sitio puede aceptar la indexación, rechazar que su contenido quede incorporado de forma permanente en un modelo mediante entrenamiento y tomar una decisión distinta sobre el acceso en tiempo real de agentes.

Cloudflare también informó en 2025 de que más de 2,5 millones de sitios web habían optado por prohibir por completo el entrenamiento de IA mediante su función administrada de robots.txt o su regla de bloqueo de rastreadores de IA. 13 Los controles de septiembre ofrecen a esos editores una vía más granular cuando preservar la visibilidad en buscadores también es prioritario.

El siguiente paso: controlar los resúmenes generados por IA

Cloudflare ha dicho que pretende ofrecer a los editores controles más granulares sobre los resúmenes generados por IA a principios de 2027. 2 El anuncio disponible confirma esa dirección, pero no el diseño final del producto, el mecanismo de aplicación ni las opciones concretas para los sitios.

Por ahora, la lección operativa es directa: Search, Training y Agent deben revisarse como decisiones separadas. Si la visibilidad orgánica es importante, una restricción a la IA no tiene por qué limitar también la búsqueda, especialmente cuando el operador del rastreador cuenta con la designación Accountable. 5