Dette er ingen liten endring. Cloudflare, som håndterer omtrent 20 % av all global netttrafikk, snur internetts standard fra «velg bort» (roboter tillatt med mindre de blokkeres) til «velg inn» for AI-spesifikke roboter . For norske og internasjonale utgivere betyr det bedriftsnivå-beskyttelse rett ut av boksen. For AI-selskaper betyr det slutten på gratis, storskala nettskraping gjennom Cloudflare-beskyttede nettsteder.

Hovedendringen: Frist 15. september 2026

Cloudflare har satt 15. september 2026 som frist for AI-selskaper til å skille nettsøkerobotene sine i tydelige kategorier basert på hvordan innholdet skal brukes. Enhver robot som ikke tydelig erklærer formålet sitt – eller som blander søkeindeksering med AI-trening under én brukeragent – vil bli blokkert som standard på Cloudflare-trafikk, spesielt på sider som viser annonser .

Etter denne datoen vil nye Cloudflare-kunder og nyopprettede nettsteder ha standardinnstillinger som bare tillater tydelig identifiserte søkeroboter, mens AI-trenings- og AI-agentroboter blokkeres med mindre utgiveren aktivt velger dem inn . Eksisterende gratisplan-kunder som ikke oppdaterer preferansene sine manuelt, vil også bli migrert til de nye standardinnstillingene .

1. Nye standardinnstillinger: Fra «velg bort» til «velg inn»

Tidligere opererte nettet med en «velg bort»-norm: roboter ble tillatt med mindre et nettsted eksplisitt blokkerte dem via robots.txt. Cloudflare har snudd dette til et «velg inn»-paradigme for AI-spesifikke roboter .

– For nye kunder og nye nettsteder: AI-roboter som brukes til trening eller agenthandlinger, blokkeres som standard. Utgivere må aktivt aktivere dem .
– For eksisterende kunder: Innstillingene endres ikke automatisk, men eiere kan (og oppfordres sterkt til å) migrere til de nye tre-kategorikontrollene via Cloudflare-dashbordet .
– På annonsestøttede sider spesielt: Roboter med blandet bruk (de som både indekserer for søk og skraper for AI-trening) blokkeres som standard, fordi standardpolitikken behandler umerket eller «blandet» trafikk som trenings-/agenttrafikk .

2. Tre-kategorisystemet: Søk, Agent, Trening

Cloudflare har innført en ny klassifisering som lar utgivere sette uavhengige regler for tre robotadferder, tilgjengelig for alle kunder, inkludert gratisbrukere :

Utgivere kan nå sette en policy som «Tillat søk, blokker trening, blokker agent» fra ett enkelt dashbord, selv på gratisplanen . Dette er mer detaljert enn tradisjonell robots.txt, som bare tillot en generell tillat/nekt per brukeragent. Cloudflares egen dokumentasjon definerer Søk som aktivitet der nettsideeiere «bør forvente referansetrafikk eller annen rimelig kompensasjon» .

3. Overgangen fra Pay Per Crawl til Pay Per Use

Cloudflare introduserte først Pay Per Crawl i juli 2025 som en privat beta – en markedsplass der utgivere kunne fakturere AI-selskaper per forespørsel, ved å bruke HTTP 402 («Payment Required»)-statuskoder for å forhandle tilgang . Dette systemet tillot utgivere å returnere et 402-svar med prisinformasjon når en uautorisert robot ba om innhold .

I april 2026, under det Cloudflare kalte Agents Week (13.–17. april), hadde selskapet utviklet dette til en bredere Pay Per Use-modell, der per-rammeverket ble integrert i én operatørkonsoll tilgjengelig på alle plannivåer . Hovedforskjellen:

• Pay Per Crawl (2025-beta): En mikrotransaksjonsmodell per forespørsel – hver krypingsforespørsel utløste en betalingsforhandling via HTTP 402-svar .
• Pay Per Use (2026 GA): Et mer fleksibelt system der utgivere kan sette vilkår – faste lisensavgifter, priser per kryping eller abonnementsbasert tilgang – og AI-selskaper kan administrere tilgang programmatisk via Cloudflares robotadministrasjon og WAF-regler .

Stack Overflow-implementeringen (februar 2026) demonstrerte produksjonsversjonen: datalisensieringsprogrammet deres bruker Cloudflares botkategorisering til å sende 402-svar til uautoriserte roboter, og tjener penger i stor skala uten skreddersydde kontrakter .

Hvordan dette endrer landskapet

For utgivere (norske nettaviser, blogger, bedrifter)

• Ny inntektsstrøm: AI-selskaper må nå betale for treningsdata fra Cloudflare-beskyttede nettsteder, i stedet for å skrape gratis .
• Detaljert kontroll: Utgivere kan beholde søkeroboter (som driver annonsetrafikk) mens de blokkerer trenings-/agentroboter – og beskytter både annonseinntekter og innholdsverdi .
• Standardbeskyttelse: Mindre utgivere som ikke hadde råd til tilpasset robotadministrasjon, får nå bedriftsnivå-beskyttelse mot AI-skraping rett ut av boksen .

For AI-selskaper

• Kostnadene for treningsdata øker: «Gratislunsjen» med nettskraping i stor skala tar slutt for nettsteder på Cloudflares nettverk (~20 % av nettet) . AI-selskaper må enten betale utgivere eller forhandle lisensavtaler.
• Robotidentitetskrise: AI-selskaper må overhale robotinfrastrukturen innen 15. september for å skille søk, trening og agenttrafikk i distinkte, identifiserbare brukeragenter – eller risikere å bli blokkert fullstendig .
• Google er hardest rammet: Googles robot har historisk tjent to formål (søkeindeksering og AI-trening for Gemini/SGE). Cloudflares politikk tvinger Google til enten å splitte roboten sin eller få Googlebot blokkert på annonsestøttede Cloudflare-sider .

Bredere bransjepåvirkning

• Standardiserende grep: Cloudflare definerer i praksis en ny protokoll for AI-robotetikk. Andre CDN-er og hostingleverandører kan følge etter .
• Content Signals Policy: Cloudflare har introdusert et nytt sett med maskinlesbare direktiver i robots.txt som går utover sidebasert tilgang, slik at utgivere kan signalisere om innholdet deres kan brukes til søkeindeksering, AI-trening eller AI-agenter . Dette er en utvidelse av tradisjonell robots.txt til å dekke bruk etter tilgang, ikke bare krypingsrettigheter.

Dette er ingen liten endring. Cloudflare, som håndterer omtrent 20 % av all global netttrafikk, snur internetts standard fra «velg bort» (roboter tillatt med mindre de blokkeres) til «velg inn» for AI-spesifikke roboter . For norske og internasjonale utgivere betyr det bedriftsnivå-beskyttelse rett ut av boksen. For AI-selskaper betyr det slutten på gratis, storskala nettskraping gjennom Cloudflare-beskyttede nettsteder.

Hovedendringen: Frist 15. september 2026

Cloudflare har satt 15. september 2026 som frist for AI-selskaper til å skille nettsøkerobotene sine i tydelige kategorier basert på hvordan innholdet skal brukes. Enhver robot som ikke tydelig erklærer formålet sitt – eller som blander søkeindeksering med AI-trening under én brukeragent – vil bli blokkert som standard på Cloudflare-trafikk, spesielt på sider som viser annonser .

Etter denne datoen vil nye Cloudflare-kunder og nyopprettede nettsteder ha standardinnstillinger som bare tillater tydelig identifiserte søkeroboter, mens AI-trenings- og AI-agentroboter blokkeres med mindre utgiveren aktivt velger dem inn . Eksisterende gratisplan-kunder som ikke oppdaterer preferansene sine manuelt, vil også bli migrert til de nye standardinnstillingene .

1. Nye standardinnstillinger: Fra «velg bort» til «velg inn»

Tidligere opererte nettet med en «velg bort»-norm: roboter ble tillatt med mindre et nettsted eksplisitt blokkerte dem via robots.txt. Cloudflare har snudd dette til et «velg inn»-paradigme for AI-spesifikke roboter .

– For nye kunder og nye nettsteder: AI-roboter som brukes til trening eller agenthandlinger, blokkeres som standard. Utgivere må aktivt aktivere dem .
– For eksisterende kunder: Innstillingene endres ikke automatisk, men eiere kan (og oppfordres sterkt til å) migrere til de nye tre-kategorikontrollene via Cloudflare-dashbordet .
– På annonsestøttede sider spesielt: Roboter med blandet bruk (de som både indekserer for søk og skraper for AI-trening) blokkeres som standard, fordi standardpolitikken behandler umerket eller «blandet» trafikk som trenings-/agenttrafikk .

2. Tre-kategorisystemet: Søk, Agent, Trening

Cloudflare har innført en ny klassifisering som lar utgivere sette uavhengige regler for tre robotadferder, tilgjengelig for alle kunder, inkludert gratisbrukere :

Utgivere kan nå sette en policy som «Tillat søk, blokker trening, blokker agent» fra ett enkelt dashbord, selv på gratisplanen . Dette er mer detaljert enn tradisjonell robots.txt, som bare tillot en generell tillat/nekt per brukeragent. Cloudflares egen dokumentasjon definerer Søk som aktivitet der nettsideeiere «bør forvente referansetrafikk eller annen rimelig kompensasjon» .

3. Overgangen fra Pay Per Crawl til Pay Per Use

Cloudflare introduserte først Pay Per Crawl i juli 2025 som en privat beta – en markedsplass der utgivere kunne fakturere AI-selskaper per forespørsel, ved å bruke HTTP 402 («Payment Required»)-statuskoder for å forhandle tilgang . Dette systemet tillot utgivere å returnere et 402-svar med prisinformasjon når en uautorisert robot ba om innhold .

I april 2026, under det Cloudflare kalte Agents Week (13.–17. april), hadde selskapet utviklet dette til en bredere Pay Per Use-modell, der per-rammeverket ble integrert i én operatørkonsoll tilgjengelig på alle plannivåer . Hovedforskjellen:

• Pay Per Crawl (2025-beta): En mikrotransaksjonsmodell per forespørsel – hver krypingsforespørsel utløste en betalingsforhandling via HTTP 402-svar .
• Pay Per Use (2026 GA): Et mer fleksibelt system der utgivere kan sette vilkår – faste lisensavgifter, priser per kryping eller abonnementsbasert tilgang – og AI-selskaper kan administrere tilgang programmatisk via Cloudflares robotadministrasjon og WAF-regler .

Stack Overflow-implementeringen (februar 2026) demonstrerte produksjonsversjonen: datalisensieringsprogrammet deres bruker Cloudflares botkategorisering til å sende 402-svar til uautoriserte roboter, og tjener penger i stor skala uten skreddersydde kontrakter .

Hvordan dette endrer landskapet

For utgivere (norske nettaviser, blogger, bedrifter)

• Ny inntektsstrøm: AI-selskaper må nå betale for treningsdata fra Cloudflare-beskyttede nettsteder, i stedet for å skrape gratis .
• Detaljert kontroll: Utgivere kan beholde søkeroboter (som driver annonsetrafikk) mens de blokkerer trenings-/agentroboter – og beskytter både annonseinntekter og innholdsverdi .
• Standardbeskyttelse: Mindre utgivere som ikke hadde råd til tilpasset robotadministrasjon, får nå bedriftsnivå-beskyttelse mot AI-skraping rett ut av boksen .

For AI-selskaper

• Kostnadene for treningsdata øker: «Gratislunsjen» med nettskraping i stor skala tar slutt for nettsteder på Cloudflares nettverk (~20 % av nettet) . AI-selskaper må enten betale utgivere eller forhandle lisensavtaler.
• Robotidentitetskrise: AI-selskaper må overhale robotinfrastrukturen innen 15. september for å skille søk, trening og agenttrafikk i distinkte, identifiserbare brukeragenter – eller risikere å bli blokkert fullstendig .
• Google er hardest rammet: Googles robot har historisk tjent to formål (søkeindeksering og AI-trening for Gemini/SGE). Cloudflares politikk tvinger Google til enten å splitte roboten sin eller få Googlebot blokkert på annonsestøttede Cloudflare-sider .

Bredere bransjepåvirkning

• Standardiserende grep: Cloudflare definerer i praksis en ny protokoll for AI-robotetikk. Andre CDN-er og hostingleverandører kan følge etter .
• Content Signals Policy: Cloudflare har introdusert et nytt sett med maskinlesbare direktiver i robots.txt som går utover sidebasert tilgang, slik at utgivere kan signalisere om innholdet deres kan brukes til søkeindeksering, AI-trening eller AI-agenter . Dette er en utvidelse av tradisjonell robots.txt til å dekke bruk etter tilgang, ikke bare krypingsrettigheter.