Cloudflare og OpenAI tester sanntidssignaler for smartere AI-søk

Tre typer AI-roboter

Cloudflare går bort fra den enkle inndelingen «AI-robot eller ikke». I stedet skal roboter vurderes ut fra hva de faktisk brukes til ^TB:

Cloudflare oppfordrer selskaper som har flere av disse funksjonene, til å bruke separate og tydelig identifiserbare roboter for hvert formål ^T.

Nye standardinnstillinger fra 15. september

Fra 15. september 2026 skal nye standardinnstillinger gjelde for nye Cloudflare-kunder, nye nettsteder hos eksisterende kunder og kontoer på gratisnivået ^TBB. For sider som viser annonser, er hovedlinjene:

• Treningsroboter: Blokkeres som standard.
• Agentroboter: Blokkeres som standard.
• Roboter med blandet bruk: Blokkeres som standard på sider med annonser dersom de kombinerer søk, agentfunksjoner og/eller trening i samme crawler ^TB.
• Roboter som bare brukes til søk: Tillates som standard, slik at nettstedene fortsatt kan være synlige i tradisjonelle søk.

Det er særlig de såkalte blandede robotene Cloudflare vil til livs. Når én robot både samler inn innhold til søk og til modelltrening, blir det vanskelig for nettstedseieren å vite hva dataene skal brukes til. Standardblokkeringen legger derfor press på AI-selskaper til å skille funksjonene – eller miste tilgang til annonsefinansierte sider ^TB.

Dette er en standardinnstilling, ikke en universell betalingsmur. Nettstedseiere kan endre innstillingene i Cloudflare-kontoen sin ^FN.

Fra «Pay Per Crawl» til «Pay Per Use»

Cloudflare tester samtidig en ny måte å kompensere innholdsutgivere på. Selskapet beveger seg fra den tidligere Pay Per Crawl-modellen, som ble lansert i en privat betaversjon i 2025, mot Pay Per Use ^BB.

• Pay Per Crawl: AI-selskaper skulle betale hver gang en robot ba om innhold. Modellen brukte blant annet HTTP-statuskoder og autentisering for å håndtere betalt tilgang ^B.
• Pay Per Use: Utgivere skal i stedet kunne få betalt når innholdet deres faktisk bidrar til et AI-generert svar, ikke bare fordi en robot har hentet siden ^B.

Cloudflare beskriver dette som en målt tjeneste for AI-søk: Betalingen skal knyttes til verdien innholdet skaper, fremfor selve datahentingen ^B.

Ordningen er fortsatt på forsøks- og forskningsstadiet. Cloudflare har ikke offentliggjort nøyaktige priser, hvordan inntektene skal fordeles eller når modellen eventuelt blir tilgjengelig for alle ^B.

Hva betyr dette samlet?

De ulike initiativene peker i samme retning:

1. Mer åpenhet: Separate roboter gjør det tydeligere om innholdet brukes til søk, AI-agenter eller modelltrening.
2. Mer kontroll for nettstedseiere: Standardinnstillingene begrenser trening, agentbruk og blandet crawling på annonsefinansierte sider, samtidig som vanlig søkesynlighet opprettholdes.
3. En mulig ny betalingsmodell: Pay Per Use forsøker å knytte betalingen til når innhold faktisk brukes i et AI-svar.
4. Mer effektivt AI-søk: Cloudflare og OpenAI vil bruke ferske nettverkssignaler til å redusere unødvendig crawling og gjøre svarene mer aktuelle og presise ^TBB.

For utgivere handler dette om kontroll og mulig betaling. For AI-selskaper handler det om å bruke mindre datakraft på innhold som ikke har endret seg – og samtidig få bedre grunnlag for å finne det som er relevant.