Cloudflare laat sites AI-training blokkeren zonder zoekzichtbaarheid te verliezen

Cloudflare heeft op 15 september 2026 een keuze minder zwart-wit gemaakt voor uitgevers en andere website-eigenaren. Met Disallow AI Training kunnen zij vindbaar blijven in zoekmachines, terwijl zij een crawler die meerdere doelen dient verbieden om dezelfde inhoud voor AI-modeltraining te gebruiken. Het bijbehorende predicaat Accountable wijst operators aan die die voorkeur al respecteren of zich concreet hebben vastgelegd om dat te doen. 5

Niet langer alleen kijken naar welke bot het is, maar naar wat die doet

Cloudflare behandelt crawlverkeer voortaan als drie apart instelbare doelen:

• Search: pagina’s crawlen voor opname in zoekresultaten;
• Training: inhoud verzamelen om een AI-model te trainen of te finetunen;
• Agent: inhoud ophalen terwijl een AI-systeem een door de gebruiker gevraagde handeling uitvoert. 10

Dat onderscheid is relevant omdat dezelfde crawlerinfrastructuur meerdere doelen kan hebben. Wie voorheen een bot blokkeerde wegens AI-gebruik, kon daarmee ook gewone zoekindexering in gevaar brengen. De nieuwe instelling maakt een gerichtere keuze mogelijk: zoektoegang toestaan, maar gebruik voor training weigeren. 5

Wat het label Accountable inhoudt

Cloudflare heeft het label Accountable ingevoerd voor botoperators die zoekindexering en trainingsgebruik van elkaar kunnen scheiden en de voorkeur van een site-eigenaar respecteren. Apple, Google en Microsoft respecteren de nieuwe instelling al of hebben toegezegd dat volgens de door Cloudflare genoemde planning te doen. 5

Voor uitgevers is dat belangrijk: een nuttige zoekcrawler hoeft niet volledig geblokkeerd te worden enkel omdat de organisatie erachter ook AI-trainingsdoeleinden heeft. Bij gekwalificeerde mixed-use operators — partijen waarvan crawlers meerdere doelen kunnen dienen — kan de crawler pagina’s dus voor zoeken blijven indexeren nadat training is geweigerd. 5

De beschikbare aankondiging beschrijft de voorwaarden op hoofdlijnen. Daarmee zijn niet alle implementatiedata, het gedrag van elke individuele crawler of alle technische toezeggingen per operator te verifiëren. Controleer daarom de eigen botinstellingen en crawlgegevens, in plaats van uit te gaan van identiek gedrag bij alle partijen.

Wat beschikbaar kan blijven en wat apart wordt geblokkeerd

De instelling is bedoeld om zoekindexering door Accountable mixed-use operators te behouden, terwijl training met dezelfde content wordt geweigerd. Cloudflare presenteert de functie uitdrukkelijk als een manier om in de zoekindex te blijven zonder modeltraining door die crawler toe te staan. 5

Het beschikbare bronmateriaal biedt geen volledige openbare lijst per crawler van wat wel en niet wordt toegelaten. Wel volgen hieruit drie praktische punten:

• Zoektoegang van gekwalificeerde Accountable-operators kan beschikbaar blijven wanneer training is uitgeschakeld. 5
• De categorieën Training en Agent kunnen los van Search worden geblokkeerd. 10
• De optie om alle AI-bots te blokkeren blijft bestaan voor site-eigenaren die een tijdelijke pas op de plaats of een algemene beperking willen. Die optie is wel minder nauwkeurig dan sturen op doel. 7

Voor websites die afhankelijk zijn van organisch zoekverkeer is dat een wezenlijk verschil: een opt-out voor training hoeft niet langer automatisch ten koste te gaan van zichtbaarheid in zoekmachines.

Standaardinstellingen voor nieuwe domeinen met advertenties

Cloudflare had eerder aangekondigd dat vanaf 15 september 2026 bij nieuwe domeinen die bij Cloudflare worden ondergebracht, Training- en Agent-crawlers standaard zouden worden geblokkeerd op pagina’s waarop advertenties staan. 10 Achter die keuze zit een uitgeversgerichte gedachte: voor content die met advertenties wordt gefinancierd, kunnen strengere standaardregels voor AI-gebruik passend zijn.

De eerdere aanpak bracht echter een risico mee. Als een crawler verschillende doelen heeft, kan een restrictie per categorie ook het crawlen voor zoeken raken. Disallow AI Training en Accountable moeten dat conflict oplossen: uitgevers kunnen advertentie-ondersteunde content tegen training beschermen en tegelijkertijd zoekindexering behouden, voor zover de crawleroperator dat onderscheid kan uitvoeren. 5

De bronnen documenteren niet volledig hoe bestaande domeinen zijn gemigreerd of welke standaardinstellingen voor ieder accounttype golden. Eigenaren van al bestaande domeinen doen er daarom goed aan hun eigen beleid te controleren, en niet alleen af te gaan op de standaard voor nieuwe domeinen.

Google-Extended, Applebot-Extended en Bing

Doelspecifieke instellingen pakken een probleem aan waarvoor uitgevers eerder afhankelijk waren van afzonderlijke richtlijnen van platformbedrijven: zoekactiviteiten van een operator scheiden van het gebruik voor AI.

Cloudflare heeft gewezen op Googles eigen opt-outmechanismen, waaronder Google-Extended en nosnippet, en meldde feedback van uitgevers dat die mechanismen niet alle vormen van gebruik voorkwamen die zij wilden beperken. 22 Het voor dit artikel aangeleverde materiaal stelt niet zelfstandig de precieze reikwijdte of huidige werking vast van Google-Extended, Applebot-Extended of Bings NOARCHIVE-richtlijn.

De kern is duidelijker dan de technische uitwerking: een specifieke opt-out of een Accountable-toezegging kan de instructie ondersteunen: indexeer deze pagina voor zoeken, maar gebruik haar niet voor training. Een algemene crawlerblokkade kan dat onderscheid niet betrouwbaar leveren.

Waarom fijnmazige instellingen nu zwaarder wegen

Cloudflare classificeerde 80% van het AI-crawlverkeer in de voorafgaande twaalf maanden als training, tegenover 18% voor zoeken en 2% voor gebruikersacties. Volgens het bedrijf is die classificatie gebaseerd op verklaringen van operators en bronnen uit de sector. 16

Die verdeling maakt duidelijk waarom uitgevers behoefte kunnen hebben aan aparte keuzes in plaats van één AI-schakelaar aan of uit. Een uitgever kan zoekindexering accepteren, permanente opname van inhoud in een model via training afwijzen en vervolgens apart beslissen over directe toegang door agents.

Cloudflare meldde in 2025 ook dat meer dan 2,5 miljoen websites AI-training volledig hadden geweigerd via de beheerde robots.txt-functie of een beheerde regel voor het blokkeren van AI-crawlers. 13 De septemberinstellingen bieden deze websites een nauwkeuriger alternatief wanneer behoud van zoekzichtbaarheid eveneens prioriteit heeft.

Volgende stap: meer grip op AI-samenvattingen

Cloudflare zegt uitgevers begin 2027 gedetailleerdere controle te willen geven over door AI gegenereerde samenvattingen. 2 De beschikbare aankondiging bevestigt die richting, maar nog niet het uiteindelijke productontwerp, de wijze van handhaving of de precieze opties voor uitgevers.

De praktische les voor nu is eenvoudig: beoordeel Search, Training en Agent als drie afzonderlijke beleidskeuzes. Wie afhankelijk is van organische vindbaarheid, hoeft een AI-beperking niet automatisch te laten uitmonden in een beperking van zoekverkeer — zeker niet als de crawleroperator als Accountable is aangemerkt. 5