Cloudflare permet de bloquer l’entraînement IA sans perdre son référencement

Cloudflare a lancé, le 15 septembre 2026, le réglage « Disallow AI Training ». Son intérêt concret pour les éditeurs est simple : ils peuvent chercher à rester visibles dans les moteurs de recherche tout en indiquant qu’un crawler ne doit pas utiliser leurs contenus pour entraîner ou affiner un modèle d’IA.

Le groupe « Accountable » identifie les opérateurs capables de respecter cette préférence, ou engagés à le faire selon le calendrier annoncé par Cloudflare. 5

Le changement clé : distinguer l’usage, pas seulement le bot

Les nouveaux contrôles de Cloudflare séparent les crawlers selon trois finalités, configurables indépendamment :

• Search : exploration de pages pour leur indexation dans les résultats de recherche ;
• Training : collecte de contenus destinée à entraîner ou à affiner un modèle d’IA ;
• Agent : accès aux contenus lorsqu’une IA accomplit une action demandée par un utilisateur. 10

Cette distinction répond à un problème récurrent : une même infrastructure de crawling peut servir plusieurs usages. Bloquer un crawler associé à l’IA risquait donc aussi d’empêcher une indexation utile pour le référencement naturel.

Avec « Disallow AI Training », un propriétaire de site peut faire un choix plus précis : maintenir l’accès pour la recherche, mais refuser l’usage de ses contenus à des fins d’entraînement. 5

Ce que recouvre le label « Accountable »

Cloudflare a créé cette désignation pour les opérateurs de bots capables de séparer l’indexation de recherche de l’entraînement des modèles, tout en respectant le choix du site. Apple, Google et Microsoft honorent déjà ce réglage ou se sont engagés à le faire dans le délai indiqué par Cloudflare. 5

Pour les éditeurs, l’enjeu est important : un crawler d’un acteur qui sert à la fois la recherche et des usages d’IA ne doit plus être bloqué dans son ensemble lorsque le site refuse l’entraînement. Les opérateurs mixtes qualifiés peuvent donc continuer à indexer les pages pour la recherche, même après l’activation du refus d’entraînement. 5

L’annonce disponible reste toutefois générale. Elle ne permet pas de vérifier, crawler par crawler, les dates de déploiement, les comportements techniques précis ou l’ensemble des engagements de chaque opérateur. Les propriétaires de sites ont donc intérêt à contrôler leurs propres réglages et leurs données de crawl, plutôt que de supposer un fonctionnement identique partout.

Ce qui peut rester autorisé — et ce qui peut être bloqué

Le réglage est conçu pour préserver l’indexation dans les moteurs de recherche pour les opérateurs mixtes « Accountable », tout en refusant l’utilisation des mêmes contenus pour l’entraînement. Cloudflare présente explicitement la fonction comme un moyen de rester indexé tout en interdisant l’entraînement par ce crawler. 5

Les sources fournies ne donnent pas une liste publique exhaustive des bots autorisés ou bloqués. Elles permettent néanmoins d’établir les points suivants :

• l’accès de recherche des opérateurs « Accountable » peut rester ouvert lorsque l’entraînement est interdit ; 5
• les catégories Training et Agent peuvent être bloquées séparément de Search ; 10
• l’option générale de blocage de tous les bots d’IA demeure disponible pour les sites souhaitant une restriction globale, mais elle est moins fine que les contrôles par finalité. 7

Pour les sites dépendants du trafic organique, cette évolution réduit donc la nécessité de choisir entre l’exclusion de l’entraînement IA et la présence dans les résultats de recherche.

Pages financées par la publicité : les réglages de septembre

Cloudflare avait annoncé qu’à compter du 15 septembre 2026, les nouveaux domaines ajoutés à son service verraient les crawlers de type Training et Agent bloqués par défaut sur les pages affichant de la publicité. 10

Cette politique repose sur une logique favorable aux éditeurs : les contenus monétisés par la publicité peuvent justifier des paramètres par défaut plus restrictifs pour les usages liés à l’IA.

Mais l’approche précédente comportait un risque : lorsqu’un crawler remplissait plusieurs fonctions, un blocage par catégorie pouvait aussi perturber l’exploration destinée au moteur de recherche. Le duo « Disallow AI Training » et « Accountable » vise précisément à résoudre ce conflit : protéger un contenu financé par la publicité contre l’entraînement, sans perdre l’indexation lorsque l’opérateur du crawler sait respecter cette séparation. 5

Les éléments disponibles ne détaillent pas complètement la migration des domaines déjà existants, ni les réglages appliqués à chaque type de compte. Les propriétaires de domaines plus anciens doivent donc vérifier leur configuration effective, sans déduire leurs paramètres des règles prévues pour les nouveaux domaines.

Google-Extended, Applebot-Extended et la solution de Bing

Les contrôles par finalité répondent à une difficulté que les directives propres à certains éditeurs ont tenté de traiter : séparer l’activité de recherche d’un opérateur de ses usages d’IA.

Cloudflare a évoqué les mécanismes propriétaires de Google, notamment Google-Extended et nosnippet, en rapportant que certains éditeurs estimaient qu’ils n’avaient pas empêché tous les usages qu’ils souhaitaient contrôler. 22

Les sources fournies ici ne permettent pas d’établir de manière indépendante la portée exacte ou le fonctionnement actuel de Google-Extended, d’Applebot-Extended ou de la directive NOARCHIVE utilisée comme solution de contournement chez Bing.

L’idée générale est cependant plus nette que les détails d’implémentation : une directive dédiée au refus d’entraînement, ou un engagement « Accountable », peut permettre de dire : « indexez cette page pour la recherche, mais ne l’utilisez pas pour entraîner un modèle ». Un blocage complet du crawler ne garantit pas cette nuance.

Pourquoi ces réglages plus fins comptent désormais

Selon l’analyse de trafic de Cloudflare, 80 % du crawling IA sur les douze mois précédents relevait de l’entraînement, contre 18 % pour la recherche et 2 % pour les actions réalisées à la demande d’un utilisateur. L’entreprise précise que cette classification repose sur les déclarations des opérateurs et sur des sources sectorielles. 16

Cette répartition explique l’intérêt de réglages séparés plutôt qu’un unique interrupteur « IA autorisée ou non ». Un éditeur peut accepter l’indexation, refuser l’intégration durable de ses contenus dans un modèle via l’entraînement, puis prendre une décision distincte pour l’accès en temps réel des agents IA.

Cloudflare indiquait aussi en 2025 que plus de 2,5 millions de sites avaient choisi d’interdire complètement l’entraînement IA via sa fonction de gestion de robots.txt ou sa règle de blocage des crawlers IA. 13 Les contrôles de septembre offrent à ces sites une option plus granulaire lorsque la visibilité dans les moteurs de recherche demeure prioritaire.

Prochaine étape : contrôler les résumés générés par IA

Cloudflare a indiqué vouloir donner aux éditeurs des contrôles plus détaillés sur les résumés générés par l’IA au début de 2027. 2

L’annonce confirme cette orientation, mais pas la conception finale du produit, son mode d’application ni les options exactes qui seront proposées.

À ce stade, le conseil opérationnel est direct : traiter Search, Training et Agent comme trois décisions distinctes. Pour un site où le référencement naturel est essentiel, une restriction visant l’IA ne doit pas automatiquement empêcher l’indexation — en particulier lorsqu’un opérateur de crawler porte la désignation « Accountable ». 5