Cloudflare blokkeert AI-trainers standaard: wat verandert er voor websites?

Cloudflare heeft op 15 september 2026 de standaardinstellingen voor AI-crawlers aangescherpt. Bij nieuwe domeinen die op het Cloudflare-netwerk worden aangesloten, worden crawlers in de categorieën Training en Agent standaard geblokkeerd op pagina’s waarop advertenties staan. Crawlers in de categorie Search blijven daarentegen standaard toegestaan. 215

Voor uitgevers en andere website-eigenaren is dat onderscheid relevant: zij kunnen zichtbaarheid in zoekdiensten behouden, terwijl ze systemen beperken die inhoud gebruiken voor het trainen van modellen of die in real time informatie ophalen voor een AI-assistent.

De nieuwe standaard: Training en Agent geblokkeerd op advertentiepagina’s

De standaardregel geldt voor nieuwe domeinen die bij Cloudflare worden aangemeld. Als Cloudflare op een pagina advertenties detecteert, worden twee soorten geautomatiseerd verkeer geblokkeerd:

• Training: crawlers die content verzamelen om een AI-model te trainen of verder af te stemmen.
• Agent: automatisering die direct namens een gebruiker handelt, zoals bots die voor een chatdienst pagina’s ophalen of agents die een browser bedienen. 13

Search blijft standaard toegestaan. Cloudflare rekent daar crawlers onder die inhoud verzamelen of indexeren om later vragen te kunnen beantwoorden. Volgens het bedrijf hoort daar voor de uitgever verwijzend verkeer of een andere eerlijke vorm van compensatie tegenover te staan. 13

Het gaat dus nadrukkelijk niet om een totaalverbod op AI. De standaardblokkade raakt alleen Training- en Agent-verkeer, en alleen pagina’s waarop advertenties worden getoond. 215

Voor welke Cloudflare-klanten geldt dit?

In de officiële documentatie noemt Cloudflare de nieuwe standaard voor domeinen die nieuw worden aangesloten op het netwerk. 215 Over de uitrol is daarnaast gemeld dat dit ook nieuwe sites van bestaande klanten en Free-abonnementen zonder handmatig aangepaste instellingen kan omvatten. 23

Bestaande klanten met al langer actieve zones moeten daarom niet zonder meer aannemen dat iedere site automatisch dezelfde regeling krijgt. De feitelijke uitkomst hangt af van de status van het domein, het abonnement en de bestaande configuratie. Controleer daarom in het Cloudflare-dashboard welke AI-crawlerregels voor de betreffende zone actief zijn. 23

Drie categorieën die afzonderlijk instelbaar zijn

Cloudflare behandelt niet elke AI-gerelateerde crawler als hetzelfde type bot. Het onderscheidt drie gedragingen die afzonderlijk kunnen worden beheerd: 13

Categorie	Wat valt eronder?	Standaard voor nieuwe domeinen op pagina’s met advertenties
Search	Content crawlen of indexeren om later vragen te beantwoorden	Toegestaan
Training	Content verzamelen voor training of finetuning van een model	Geblokkeerd
Agent	Automatisering die in real time namens een gebruiker handelt	Geblokkeerd

Per categorie kan een website-eigenaar uit drie instellingen kiezen:

1. Toestaan.
2. Blokkeren op pagina’s met advertenties.
3. Blokkeren op alle pagina’s. 23

Die verfijning maakt bijvoorbeeld mogelijk om zoekindexering toe te staan, maar trainingscrawlers op de hele website te weren. Een andere optie is de beperktere regel: alleen blokkeren op pagina’s die inkomsten uit advertenties genereren.

Het belangrijkste SEO-aandachtspunt: bots met meerdere functies

De classificatie van een crawler hoeft niet tot één gedrag beperkt te blijven. Cloudflare stelt dat crawlers die Search en Training combineren, op al hun gedragingen worden beoordeeld. De strengste toepasselijke regel bepaalt vervolgens of de crawler toegang krijgt. 2615

Dat kan verstrekkende gevolgen hebben. Blokkeert een site Training, dan kan een crawler die Cloudflare zowel als Search als Training aanmerkt, óók de toegang voor reguliere zoekcrawling verliezen. In de documentatie en berichtgeving worden Googlebot, Applebot en BingBot genoemd als voorbeelden van zulke relevante multifunctionele crawlers. 26

Met andere woorden: alleen Search toestaan is niet automatisch voldoende om een bot toegang te laten houden als die bot óók onder Training valt. Wie Training op de hele site wil blokkeren, doet er verstandig aan eerst het mogelijke effect op indexering en organische vindbaarheid te beoordelen. 24

Ook de oude instelling ‘Block AI bots’ verdient controle

Cloudflare heeft aangegeven dat instellingen die AI-training blokkeren, waaronder de oudere optie ‘Block AI bots’, eveneens van toepassing zijn op crawlers die Search en Training combineren. 2

Dat is vooral belangrijk voor sites die die brede, oude instelling eerder hebben aangezet in de veronderstelling dat alleen niet-zoekgerelateerd AI-verkeer werd geweerd.

Berichtgeving rond de uitrol noemt ook een nieuwere optie, ‘Disallow AI Training’. Die is bedoeld om een voorkeur tegen AI-training vast te leggen, terwijl Googlebot, Applebot en BingBot voor zoekdoeleinden beschikbaar kunnen blijven wanneer een crawler als ‘Accountable’ is aangemerkt. Welke werking en migratie van toepassing zijn, kan afhangen van de gekozen instelling. Beheerders moeten daarom uitgaan van de actuele optie in hun eigen Cloudflare-dashboard, niet alleen van de naam van een oude schakelaar. 4

Waarom Cloudflare zoeken loskoppelt van AI-gebruik

Achter de wijziging zit een herkenbare zorg van uitgevers. In het klassieke webmodel crawlt een zoekmachine pagina’s, neemt die op in een index en kan die bezoekers via links terugsturen naar de bron. Generatieve AI-diensten kunnen content daarentegen gebruiken voor modeltraining of antwoorden in hun eigen interface tonen, met mogelijk minder directe bezoekerswaarde voor de oorspronkelijke uitgever.

Cloudflare beschrijft Search als verkeer waarbij uitgevers verwijzingen of een vergelijkbare vergoeding mogen verwachten. De categorieën Training en Agent omvatten volgens het bedrijf andere vormen van gebruik of handelen met content. 13 De instellingen moeten eigenaren in staat stellen automatisering die waarde oplevert te behouden en verkeer dat vooral content verbruikt te beperken.

De kernvraag is dus niet simpelweg of een bot ‘AI’ is. Belangrijker is of het gedrag bijdraagt aan ontdekbaarheid en waarde terugbrengt naar de site, of dat het materiaal vooral gebruikt voor training of real-time AI-taken. 13

Wat website-eigenaren nu kunnen doen

Ga vóór een beleidswijziging per gedrag na wat de gevolgen kunnen zijn:

• Laat Search toe als indexering en mogelijk verwijzend verkeer prioriteit hebben.
• Kies blokkeren op pagina’s met advertenties als je vooral gemonetariseerde pagina’s wilt beschermen, zonder meteen een sitebrede restrictie in te voeren.
• Gebruik blokkeren op alle pagina’s pas nadat je hebt bekeken of een crawler zowel Search- als Training-gedrag heeft.
• Controleer bestaande instellingen voor ‘Block AI bots’, zeker als zichtbaarheid via Google, Apple of Bing belangrijk is. 236

De septemberregels geven uitgevers meer grip op geautomatiseerd verkeer. Maar door de behandeling van multifunctionele crawlers is de configuratie ook een SEO-beslissing — niet alleen een instelling voor AI-beleid.