Cloudflares nye politik: AI-selskaber skal betale for indhold eller blive blokeret

Kerneændringen: Deadline 15. september 2026

Cloudflare har sat 15. september 2026 som deadline for AI-selskaber til at opdele deres webcrawlere i særskilte, identificerede kategorier baseret på, hvordan det skrabede indhold vil blive brugt. Enhver crawler, der ikke tydeligt erklærer sit formål – eller som samler søgeindeksering med AI-træning under én user-agent – vil blive blokeret som standard på Cloudflare-origineret trafik, især på sider, der viser annoncer .

Efter denne dato vil nye Cloudflare-kunder og nye hjemmesider have standardindstillinger, der kun tillader tydeligt identificerede søgecrawlere, mens de blokerer AI-trænings- og AI-agent-crawlere, medmindre udgiveren aktivt vælger at tillade dem . Eksisterende gratisbrugere, der ikke manuelt opdaterer deres præferencer, vil også blive overført til de nye standarder .

1. Nye standardindstillinger: Fra opt-out til opt-in

Tidligere fungerede internettet efter en opt-out-norm: crawlere var tilladt, medmindre en hjemmeside eksplicit blokerede dem via robots.txt. Cloudflare har vendt dette til et opt-in-paradigme for AI-specifikke crawlere .

• For nye kunder og nye sider: AI-crawlere brugt til træning eller agent-opgaver er blokeret som standard. Udgivere skal aktivt aktivere dem .
• For eksisterende kunder: Indstillingerne ændres ikke automatisk, men ejere kan (og opfordres kraftigt til) at migrere til de nye tre-kategori-kontroller via Cloudflare-dashboardet .
• På annoncebaserede sider specifikt: Mixed-use-crawlere (dem, der både indekserer til søgning og skraber til AI-træning) vil blive blokeret som standard, fordi standardpolitikken behandler umærket eller 'blandet' trafik som trænings-/agent-trafik .

2. Tre-kategori-systemet: Search, Agent, Training

Cloudflare har indført en ny klassifikation, der lader udgivere sætte uafhængige regler for tre bot-adfærd, tilgængelig for alle kunder inklusive gratisbrugere :

Udgivere kan nu sætte en politik som 'Tillad Search, Bloker Training, Bloker Agent' fra ét dashboard, selv på gratisplanen . Dette er mere detaljeret end traditionel robots.txt, som kun tillod en blanket tillad/afvis pr. user-agent. Cloudflares egen dokumentation definerer Search som aktivitet, hvor sideejere 'bør forvente henvisningstrafik eller anden rimelig kompensation' .

3. Overgang fra Pay Per Crawl til Pay Per Use

Cloudflare introducerede først Pay Per Crawl i juli 2025 som en privat beta – en markedsplads, hvor udgivere kunne opkræve AI-selskaber pr. anmodning ved hjælp af HTTP 402 ('Payment Required') statuskoder til at forhandle adgang . Dette system tillod udgivere at returnere et 402-svar med prisoplysninger, når en uautoriseret crawler anmodede om indhold .

I april 2026, under det Cloudflare kaldte Agents Week (13.-17. april), havde virksomheden udviklet dette til en bredere Pay Per Use-model, der samlede Pay Per Crawl-rammen i én operatørkonsol tilgængelig på alle plantyper . Den vigtigste forskel:

• Pay Per Crawl (2025 beta): En mikrotransaktionsmodel pr. anmodning – hver crawl-anmodning udløste en betalingsforhandling via HTTP 402-svar .
• Pay Per Use (2026 GA): Et mere fleksibelt system, hvor udgivere kan sætte vilkår – faste licensgebyrer, takster pr. crawl eller abonnementslignende adgang – og AI-selskaber kan administrere adgang programmatisk via Cloudflares bot management og WAF-regler .

Stack Overflow-implementeringen (februar 2026) demonstrerede produktionsversionen: deres datalicensprogram bruger Cloudflares bot-kategorisering til at sende 402-svar til uautoriserede crawlere, der tjener penge i stor skala uden skræddersyede kontrakter .

Hvordan dette ændrer landskabet

For udgivere

• Ny indtægtskilde: AI-selskaber skal nu betale for træningsdata fra Cloudflare-beskyttede sider i stedet for at skrabe gratis .
• Granulær kontrol: Udgivere kan beholde søgecrawlere (som driver annoncetrafik), mens de blokerer trænings-/agent-bots – hvilket beskytter både annonceindtægter og indholdsværdi .
• Standardbeskyttelse: Mindre udgivere, der ikke havde råd til custom bot management, får nu virksomhedsbeskyttelse mod AI-crawlere ud af boksen .

For AI-selskaber

• Omkostningerne til træningsdata stiger: Den 'gratis frokost' med web-skrabning i stor skala slutter for sider på Cloudflares netværk (~20 % af nettet) . AI-selskaber må enten betale udgivere eller forhandle licensaftaler.
• Crawler-identitetskrise: AI-selskaber skal omstrukturere deres crawler-infrastruktur inden 15. september for at adskille søge-, trænings- og agent-trafik i særskilte, identificerbare user-agents – eller risikere at blive blokeret helt .
• Google er mest påvirket: Googles crawler har historisk tjent to formål (søgeindeksering og AI-træning til Gemini/SGE). Cloudflares politik tvinger Google til enten at opdele sin crawler eller få sin Googlebot blokeret på annoncebaserede Cloudflare-sider .

Bredere industriindflydelse

• Standardiserende skridt: Cloudflare definerer effektivt en ny protokol for AI-crawler-etikette. Andre CDN'er og hostingudbydere kan følge trop .
• Content Signals Policy: Cloudflare introducerede et nyt sæt maskinlæsbare direktiver i robots.txt, der går ud over sideadgang, så udgivere kan signalere, om deres indhold må bruges til søgeindeksering, AI-træning eller AI-agenter . Dette er en udvidelse af den traditionelle robots.txt til at dække brug efter adgang, ikke kun crawltilladelse.