Cloudflare impose un nouveau règlement aux robots d'IA : le 15 septembre 2026, le web passe en mode « opt-in »

À compter du 15 septembre 2026, Cloudflare bloquera tout robot d'IA qui combine l'indexation pour les moteurs de recherche avec l'entraînement de modèles d'IA ou des tâches d'agent sous un même « user-agent », sauf si l'éditeur donne son accord explicite .

Ce n'est pas un simple changement de réglage. Cloudflare, qui gère environ 20 % du trafic web mondial, inverse la logique dominante du web : on passe d'un modèle « opt-out » (les robots sont autorisés sauf interdiction explicite) à un modèle « opt-in » pour les robots dédiés à l'IA . Pour les éditeurs, cela signifie une protection de niveau professionnelle contre les robots, intégrée d'office. Pour les entreprises d'IA, c'est la fin de l'exploration web à grande échelle et gratuite sur les sites protégés par Cloudflare.

Le changement clé : la date limite du 15 septembre 2026

Cloudflare a fixé au 15 septembre 2026 la date limite pour que les entreprises d'IA séparent leurs robots d'exploration web en catégories distinctes et clairement identifiées, en fonction de l'utilisation qui sera faite du contenu exploré. Tout robot qui ne déclare pas clairement son objectif — ou qui regroupe l'indexation pour la recherche et l'entraînement de l'IA sous un même user-agent — sera bloqué par défaut sur le trafic transitant par Cloudflare, en particulier sur les pages affichant des publicités .

Après cette date, les nouveaux clients Cloudflare et les sites web nouvellement créés auront des paramètres par défaut qui autorisent uniquement les robots de recherche clairement identifiés, tout en bloquant les robots d'entraînement et d'agent d'IA, sauf si l'éditeur choisit explicitement de les autoriser . Les clients existants de l'offre gratuite qui ne mettront pas à jour manuellement leurs préférences seront également migrés vers ces nouveaux réglages par défaut .

1. Nouveaux paramètres par défaut : du « opt-out » à l'« opt-in »

Auparavant, le web fonctionnait sur une norme de « non-participation » (opt-out) : les robots étaient autorisés, sauf si un site web les bloquait explicitement via un fichier robots.txt. Cloudflare a inversé cette logique pour les robots d'IA spécifiques, instaurant un modèle d'« adhésion explicite » (opt-in) .

• Pour les nouveaux clients et les nouveaux sites : les robots d'IA utilisés pour l'entraînement ou les actions d'agent sont bloqués par défaut. Les éditeurs doivent les activer activement .
• Pour les clients existants : les paramètres ne changent pas automatiquement, mais les propriétaires peuvent (et sont fortement encouragés à) migrer vers les nouveaux contrôles à trois catégories via le tableau de bord Cloudflare .
• Sur les pages avec publicité, spécifiquement : les robots à usage mixte (ceux qui indexent pour la recherche et explorent pour l'entraînement de l'IA en même temps) seront bloqués par défaut, car la politique par défaut traite le trafic non étiqueté ou « mixte » comme du trafic d'entraînement ou d'agent .

2. Le système à trois catégories : Recherche, Agent, Entraînement

Cloudflare a introduit une nouvelle classification qui permet aux éditeurs de définir des règles indépendantes pour trois comportements de robots, accessible à tous les clients, y compris ceux de l'offre gratuite :

Catégorie	Définition	Paramètre par défaut (15 sept.)
Recherche	Robots qui indexent le contenu pour qu'il apparaisse dans les résultats de recherche et renvoient du trafic de recommandation vers l'éditeur.	Autorisé par défaut — ces robots génèrent des lecteurs et des revenus publicitaires.
Agent	Robots qui agissent pour le compte d'un utilisateur (ex. : assistants IA effectuant des tâches, des achats ou des réservations).	Bloqué par défaut — l'éditeur doit donner son accord.
Entraînement	Robots qui explorent le contenu uniquement pour entraîner des modèles d'IA, sans renvoyer d'utilisateurs ni de mention.	Bloqué par défaut — l'éditeur doit donner son accord.

Les éditeurs peuvent désormais définir une politique telle que « Autoriser la recherche, Bloquer l'entraînement, Bloquer l'agent » depuis un seul tableau de bord, même sur l'offre gratuite . C'est plus granulaire que le traditionnel robots.txt, qui ne permettait qu'une autorisation ou un refus global par user-agent. La documentation de Cloudflare définit la catégorie Recherche comme une activité pour laquelle les propriétaires de site « devraient s'attendre à recevoir du trafic de référence ou une autre compensation équitable » .

3. Transition du « Payer par exploration » au « Payer à l'utilisation »

Cloudflare a d'abord lancé le Payer par exploration (Pay Per Crawl) en juillet 2025 sous forme de bêta privée — un marché où les éditeurs pouvaient facturer les entreprises d'IA par requête, en utilisant les codes de statut HTTP 402 (« Paiement requis ») pour négocier l'accès . Ce système permettait aux éditeurs de renvoyer une réponse 402 avec des informations de prix lorsqu'un robot non approuvé demandait du contenu .

En avril 2026, pendant ce que Cloudflare a appelé la « Semaine des agents » (Agents Week, du 13 au 17 avril), l'entreprise a fait évoluer ce concept vers un modèle plus large de Payer à l'utilisation (Pay Per Use), intégrant le cadre de paiement par exploration dans une console d'exploitation unique, disponible pour tous les niveaux d'abonnement . La distinction clé :

• Payer par exploration (bêta 2025) : un modèle de microtransaction par requête — chaque demande d'exploration déclenchait une négociation de paiement via des réponses HTTP 402 .
• Payer à l'utilisation (disponible en 2026) : un système plus flexible où les éditeurs peuvent définir les conditions — frais de licence forfaitaires, tarifs par exploration, ou accès par abonnement — et les entreprises d'IA peuvent gérer l'accès de manière programmatique via les outils de gestion des robots et les règles WAF de Cloudflare .

La mise en œuvre chez Stack Overflow (février 2026) a démontré la version de production : leur programme de licence de données utilise la catégorisation des robots de Cloudflare pour envoyer des réponses 402 aux robots non autorisés, monétisant à grande échelle sans contrats sur mesure .

Comment cela change le paysage

Pour les éditeurs

• Nouvelle source de revenus : les entreprises d'IA doivent désormais payer pour les données d'entraînement provenant des sites protégés par Cloudflare, au lieu de les explorer gratuitement .
• Contrôle granulaire : les éditeurs peuvent conserver les robots de recherche (qui génèrent du trafic publicitaire) tout en bloquant les robots d'entraînement et d'agent — protégeant ainsi à la fois les revenus publicitaires et la valeur du contenu .
• Protection par défaut : les petits éditeurs qui ne pouvaient pas s'offrir une gestion personnalisée des robots bénéficient désormais d'un blocage des robots d'IA de niveau professionnel, intégré d'office .

Pour les entreprises d'IA

• Le coût des données d'entraînement augmente : le « repas gratuit » de l'exploration web à grande échelle prend fin pour les sites sur le réseau de Cloudflare (~20 % du web) . Les entreprises d'IA doivent soit payer les éditeurs, soit négocier des accords de licence.
• Crise d'identité pour les robots : les entreprises d'IA doivent remanier leur infrastructure de robots d'ici le 15 septembre pour séparer le trafic de recherche, d'entraînement et d'agent en user-agents distincts et identifiables — sous peine d'être bloquées .
• Google est le plus touché : le robot de Google (Googlebot) a historiquement servi à deux fins (indexation pour la recherche et entraînement de l'IA pour Gemini/SGE). La politique de Cloudflare force Google soit à diviser son robot, soit à voir son Googlebot bloqué sur les pages Cloudflare qui comportent des publicités .

Impact plus large sur le secteur

• Un geste qui fait norme : Cloudflare est en train de définir un nouveau protocole pour l'étiquette des robots d'IA. D'autres CDN et fournisseurs d'hébergement pourraient suivre le mouvement .
• Politique de signaux de contenu : Cloudflare a introduit un nouvel ensemble de directives lisibles par machine dans le fichier robots.txt qui vont au-delà de l'accès aux pages, permettant aux éditeurs de signaler si leur contenu peut être utilisé pour l'indexation de recherche, l'entraînement de l'IA ou les agents d'IA . Il s'agit d'une extension du traditionnel robots.txt pour couvrir l'utilisation après l'accès, et non plus seulement l'autorisation d'exploration.