Cloudflare en OpenAI testen slimmere AI-zoekfunctie met realtime netwerksignalen

Met die informatie kan een AI-zoekmachine gerichter beslissen wat moet worden gecrawld, wanneer een pagina opnieuw moet worden bezocht en welke inhoud mogelijk verouderd of minder relevant is. Zo hoeft niet elke pagina op goed geluk opnieuw te worden opgehaald .

Het beoogde resultaat is een efficiëntere indexering, minder onnodig netwerkverkeer en actuelere antwoorden. Voor websites kan dat bovendien betekenen dat gewijzigde informatie sneller wordt ontdekt.

De grotere strategie achter de pilot

Cloudflare presenteerde de nieuwe aanpak op 1 juli als “Content Independence Day” ^TBB. De kern is dat niet langer iedere AI-bot als één en dezelfde categorie wordt behandeld. Het bedrijf wil vooral weten waarvoor een crawler de content gebruikt.

Drie soorten AI-crawlers

Cloudflare onderscheidt drie gebruiksdoelen ^TB:

Cloudflare moedigt bedrijven die meerdere van deze functies aanbieden aan om voor elk doel een afzonderlijke en herkenbare crawler te gebruiken ^T. Dat moet websitebeheerders duidelijker maken wat er met hun content gebeurt en welke toegang zij wel of niet willen toestaan.

Wat verandert er op 15 september 2026?

Vanaf 15 september 2026 gelden nieuwe standaardinstellingen voor nieuwe Cloudflare-klanten, nieuwe websites van bestaande klanten en accounts uit het gratis abonnement ^TBB. Voor pagina’s waarop advertenties staan, worden de standaardregels als volgt:

• Training-crawlers: standaard geblokkeerd.
• Agent-crawlers: standaard geblokkeerd.
• Gemengde crawlers: standaard geblokkeerd wanneer zij Search, Training en/of Agent in één crawler combineren.
• Crawlers die uitsluitend voor Search worden gebruikt: standaard toegestaan, zodat websites vindbaar blijven in traditionele zoekdiensten ^TB.

De belangrijkste wijziging betreft de zogenoemde mixed-use crawlers. Deze bots verzamelen content bijvoorbeeld tegelijk voor zoekindexering en modeltraining. Daardoor kunnen websitebeheerders moeilijk bepalen welk gebruik zij toestaan: een site vindbaar maken in een zoekmachine betekent dan mogelijk automatisch ook content afstaan voor training.

De standaardblokkade is geen universele tol op AI-toegang en betekent ook niet dat elke website definitief wordt afgesloten. Het gaat om standaardinstellingen die beheerders kunnen aanpassen. Wel zet Cloudflare AI-bedrijven onder druk om hun crawlers op te splitsen per functie, of anders toegang te verliezen tot advertentie-ondersteunde pagina’s ^TB.

Van Pay Per Crawl naar Pay Per Use

Cloudflare werkt daarnaast aan een mogelijk nieuw verdienmodel voor uitgevers. Dat model verschuift de focus van betalen voor een crawl naar betalen voor de waarde die content in een AI-systeem oplevert ^BB.

• Pay Per Crawl: het eerdere experiment, dat in 2025 in een besloten bèta werd getest. AI-bedrijven zouden betalen telkens wanneer een crawler content opvraagt. De technische afhandeling maakt gebruik van bestaande HTTP-statuscodes en authenticatie ^B.
• Pay Per Use: het model dat Cloudflare in juli 2026 aankondigde. Uitgevers zouden worden betaald wanneer hun content daadwerkelijk bijdraagt aan een AI-antwoord, niet alleen omdat een bot de pagina heeft opgehaald ^B.

Cloudflare beschrijft Pay Per Use als een vroege test en onderzoeksprogramma. Details over prijzen, de verdeling van inkomsten en een algemene introductie zijn nog niet bekendgemaakt ^B.

Hoe vallen de ontwikkelingen samen?

De OpenAI-pilot, de nieuwe crawlercategorieën, de standaardblokkades en Pay Per Use vormen samen één bredere poging om de verhouding tussen AI-bedrijven en uitgevers opnieuw vorm te geven ^TBB.

1. Meer transparantie: afzonderlijke crawlers maken duidelijker of content wordt gebruikt voor zoeken, agentfuncties of training.
2. Meer controle voor websites: de standaardinstellingen beperken vooral training, agentgebruik en gemengde crawlers, terwijl traditionele zoekindexering toegestaan blijft.
3. Een mogelijke compensatielaag: Pay Per Use koppelt betaling aan het moment waarop content daadwerkelijk waarde toevoegt aan een AI-antwoord.
4. Efficiëntere AI-zoekopdrachten: de samenwerking met OpenAI gebruikt realtime signalen om onnodige crawls te beperken en relevante, actuele pagina’s sneller te vinden.

Voor AI-bedrijven kan dat lagere infrastructuurkosten betekenen. Voor uitgevers draait de inzet vooral om controle, zichtbaarheid en een eerlijker vergoeding voor content die in AI-antwoorden terechtkomt. De pilot bevindt zich nog in de onderzoeksfase; het is daarom te vroeg om te zeggen hoe groot het effect op zoekresultaten of inkomsten voor websites uiteindelijk zal zijn.