Cloudflare verplicht AI-bedrijven: vanaf 15 september moeten crawlers hun identiteit tonen of worden geblokkeerd

De deadline: 15 september 2026

Vanaf 15 september 2026 is het afgelopen met het vrijblijvend schrapen van websites voor AI-training. Cloudflare, het bedrijf dat ruim 20% van al het wereldwijde internetverkeer beheert, gaat dan standaard alle AI-crawlers blokkeren die niet duidelijk maken waarvoor ze content gebruiken .

Het gaat om een fundamentele omslag: van een internet waar crawlers standaard welkom waren, tenzij een website ze expliciet blokkeerde in robots.txt, naar een systeem waarbij AI-crawlers alleen toegang krijgen als de uitgever daar actief toestemming voor geeft .

De grote omslag: van 'opt-out' naar 'opt-in'

Het oude internet was gebouwd op vertrouwen: zoekmachines zoals Google konden ongestoord het hele web indexeren, en uitgevers accepteerden dat in ruil voor bezoekers. Dat model is met AI-training volledig ontwricht. AI-bedrijven schrapen miljoenen pagina's zonder dat er bezoekers terugkomen, en trainen er hun modellen mee. Cloudflare draait dat nu om .

• Nieuwe klanten en nieuwe websites: AI-crawlers voor training en agent-taken worden standaard geblokkeerd. De uitgever moet ze zelf aanzetten .
• Bestaande klanten: De instellingen veranderen niet automatisch, maar Cloudflare raadt ten zeerste aan om naar de nieuwe 3-categorieën-structuur over te stappen .
• Pagina's met advertenties: Crawlers die niet duidelijk zijn over hun doel worden standaard behandeld als trainingsverkeer en dus geblokkeerd .

Het driecategoriensysteem: Search, Agent en Training

Cloudflare verdeelt AI-verkeer voortaan in drie categorieën, die onafhankelijk van elkaar te beheren zijn. Dit geldt voor alle abonnementen, inclusief het gratis abonnement :

Categorie	Wat het doet	Standaardinstelling (vanaf 15 sept)
Search	Crawlers die content indexeren zodat het in zoekresultaten verschijnt. Dit brengt bezoekers en advertentie-inkomsten naar de uitgever.	Standaard toegestaan — deze bots leveren verkeer op.
Agent	Bots die namens een gebruiker taken uitvoeren, zoals AI-assistenten die boekingen doen of winkelen.	Standaard geblokkeerd — uitgever moet actief toestemming geven.
Training	Bots die content schrapen om AI-modellen te trainen, zonder bezoekers of naamsvermelding terug te sturen.	Standaard geblokkeerd — uitgever moet actief toestemming geven.

Een uitgever kan dus eenvoudig instellen: 'Zoeken toestaan, Training blokkeren, Agent blokkeren', allemaal vanuit één dashboard .

Van Pay Per Crawl naar Pay Per Use

In juli 2025 introduceerde Cloudflare de Pay Per Crawl-bèta: een systeem waarbij uitgevers AI-bedrijven per verzoek konden laten betalen, via een HTTP 402 ('Betaling vereist')-statuscode . Tijdens de Agents Week in april 2026 is dit verder ontwikkeld tot Pay Per Use, een flexibeler systeem dat beschikbaar is voor alle abonnementsvormen .

Het verschil:

• Pay Per Crawl (2025-bèta): Een micromodel per verzoek — elk crawlverzoek leidde tot een betalingsonderhandeling .
• Pay Per Use (2026 volledig beschikbaar): Uitgevers kunnen hun eigen voorwaarden bepalen: vaste licentiekosten, tarieven per crawl of abonnementsvormen .

Stack Overflow liet in februari 2026 zien hoe dat in de praktijk werkt: hun datalicentieprogramma gebruikt Cloudflare's botcategorisatie om ongewenste crawlers automatisch een 402-reactie te geven, en op grote schaal te gelde te maken .

Wat dit betekent voor uitgevers en AI-bedrijven

Voor uitgevers

• Nieuwe inkomstenbron: AI-bedrijven moeten betalen voor trainingsdata van Cloudflare-sites, in plaats van gratis te schrapen .
• Haarscherpe controle: Uitgevers kunnen zoekcrawlers (die bezoekers en advertentie-inkomsten opleveren) toestaan, terwijl trainings- en agent-bots worden geblokkeerd .
• Standaard bescherming: Kleine uitgevers krijgen nu zonder extra kosten dezelfde bescherming tegen gratis AI-schraping als grote mediaconcerns .

Voor AI-bedrijven

• Trainingsdata wordt duurder: Het 'gratis buffet' van het web is voorbij voor sites met Cloudflare. AI-bedrijven moeten betalen of onderhandelen .
• Crawler-identiteitscrisis: AI-bedrijven moeten hun crawler-infrastructuur voor 15 september herzien. Wie zoeken, training en agent-taken niet opsplitst in aparte, herkenbare gebruikersagents, wordt compleet geblokkeerd .
• Google is de grootste verliezer: Google's crawler doet historisch gezien dubbel dienst (zoekindexering én AI-training voor Gemini/SGE). Cloudflare dwingt Google nu om zijn crawlers te splitsen, of zijn Googlebot wordt geblokkeerd op advertentiepagina's .

De bredere impact

• Een nieuwe standaard: Cloudflare zet met deze zet de toon. Andere CDN's en hostingproviders zullen vermoedelijk volgen .
• Content Signals: Cloudflare introduceerde een nieuwe set machine-leesbare richtlijnen voor robots.txt die verder gaan dan paginaniveau. Uitgevers kunnen nu aangeven of content gebruikt mag worden voor zoekindexering, AI-training of AI-agents . Dit is een uitbreiding van de traditionele robots.txt die niet alleen over crawlen gaat, maar ook over gebruik na toegang.