Cloudflare og OpenAI tester realtidsdata for skarpere AI-søgninger

Den type oplysninger kan hjælpe en AI-søgemaskine med at afgøre, hvad der skal crawles, hvornår en side bør crawles igen, og hvilket indhold der kan være forældet eller mindre relevant. På den måde behøver systemet ikke hente alle sider rutinemæssigt uden først at vide, om de er blevet ændret .

Tanken er, at mere målrettet crawling både kan reducere unødvendig trafik og give AI-svar, der i højere grad afspejler den aktuelle version af nettet ^B.

Cloudflares større plan for AI-crawlere

OpenAI-samarbejdet skal ses i sammenhæng med Cloudflares bredere initiativ, som virksomheden kaldte “Content Independence Day” den 1. juli 2026 ^TBB. Her går Cloudflare væk fra den simple opdeling mellem “AI-bot” og “ikke-AI-bot” og fokuserer i stedet på, hvad crawleren faktisk gør.

Tre kategorier: Search, Agent og Training

Cloudflare opdeler nu AI-crawlere i tre primære anvendelser ^TB:

Cloudflare anbefaler kraftigt, at virksomheder, der anvender alle tre funktioner, bruger separate crawlere, som tydeligt kan identificeres for hvert formål ^T.

Det er vigtigt for websiteejere, fordi adgang til indhold til traditionel søgning ikke nødvendigvis bør behandles på samme måde som adgang til modeltræning eller automatiserede handlinger. Med separate identiteter bliver det lettere at vælge, hvad der skal tillades.

Nye standardindstillinger fra 15. september 2026

Fra 15. september 2026 indfører Cloudflare nye standardindstillinger for nye kunder, nye websites hos eksisterende kunder og konti på gratisniveauet ^TBB. På sider med annoncer bliver udgangspunktet:

• Training-crawlere: Blokeres som standard.
• Agent-crawlere: Blokeres som standard.
• Blandede crawlere: Blokeres som standard på sider, der viser annoncer, hvis crawleren kombinerer søgning, agentfunktioner og/eller træning i samme arbejdsgang ^TB.
• Search-crawlere: Tillades som standard, så websites fortsat kan findes gennem traditionel søgning.

Den mest markante ændring rammer de såkaldte mixed-use-crawlere. De kan hente indhold til flere formål på én gang – for eksempel både søgeindeksering og AI-træning. Det gør det vanskeligt for websiteejeren at se, hvad indholdet konkret bruges til.

Cloudflares standardblokering lægger derfor pres på AI-virksomheder for at opdele deres crawlere efter formål. Websiteejere kan dog ændre indstillingerne, så standarden er ikke et generelt forbud mod al AI-adgang eller en universel betalingsmur ^TBB.

Fra betaling pr. crawling til betaling pr. brug

Cloudflare arbejder også på at ændre økonomien omkring AI-crawling. I 2025 introducerede virksomheden en privat betaversion af Pay Per Crawl, hvor AI-virksomheder skulle betale, hver gang en crawler hentede indhold. Modellen byggede på eksisterende webstandarder som HTTP-statuskoder og autentificering ^B.

Den nyere idé, Pay Per Use, knytter i stedet betalingen til den værdi, indholdet skaber:

• Pay Per Crawl: Betaling udløses, når en crawler anmoder om indhold.
• Pay Per Use: Udgiveren får potentielt betaling, når indholdet faktisk er med til at generere et AI-svar ^B.

Cloudflare beskriver Pay Per Use som en slags målt forsyningsmodel for AI-søgning: AI-virksomheden betaler for den værdi, den får ud af indholdet, snarere end blot for den tekniske adgang til en webside ^B.

Modellen er stadig på et tidligt eksperimentelt stadie og omtales som et forskningsprogram. Cloudflare har endnu ikke offentliggjort de præcise priser, fordelingsnøgler eller en tidsplan for en bred lancering ^B.

Hvordan hænger initiativerne sammen?

De nye crawlerkategorier, standardblokeringerne, Pay Per Use-eksperimentet og OpenAI-pilotprojektet peger i samme retning ^TBB:

1. Mere gennemsigtighed: Separate crawlere skal gøre det tydeligere, om et website besøges til søgning, agentfunktioner eller modeltræning.
2. Mere kontrol til websiteejere: Standardindstillingerne begrænser de mest omfattende former for dataindsamling, men lader traditionel søgesynlighed være åben som udgangspunkt.
3. En mulig betalingsmekanisme: Pay Per Use forsøger at koble betaling til den faktiske anvendelse af udgiverens indhold i AI-svar.
4. Mere effektiv AI-søgning: Cloudflare og OpenAI vil undersøge, om realtidsdata kan mindske unødvendig crawling og gøre svarene mere aktuelle og præcise.

For AI-virksomheder kan det betyde lavere infrastrukturudgifter, hvis sider kun hentes igen, når de faktisk har ændret sig. For udgivere kan det give større indsigt i, hvordan indhold bruges – og på længere sigt muligvis en mere direkte forbindelse mellem indholdets værdi og den betaling, det udløser.