Cloudflare: Behold søgeindeksering, men sig nej til AI-træning

For mange udgivere har valget hidtil været unødigt hårdt: Enten blokerer man AI-relaterede crawlere – og risikerer samtidig mindre synlighed i almindelige søgeresultater – eller også giver man adgang til indhold, som kan bruges til modeltræning.

Cloudflares lancering den 15. september 2026 af Disallow AI Training er tænkt som en løsning på netop det dilemma. Indstillingen lader et websted forblive indekseret til søgning, mens det samtidig afviser, at den samme crawler må bruge indholdet til AI-træning. Mærkningen Accountable identificerer de operatører, som enten allerede respekterer dette valg eller konkret har forpligtet sig til at gøre det. 5

Tre formål – tre separate valg

Cloudflare opdeler nu crawlertrafik i tre formål, som kan administreres uafhængigt:

• Search: crawling med henblik på indeksering i søgeresultater.
• Training: indsamling af indhold til at træne eller finjustere en AI-model.
• Agent: hentning af indhold, mens en AI-agent udfører en handling på brugerens vegne. 10

Skellet er centralt, fordi den samme tekniske crawlerinfrastruktur kan bruges til flere formål. Tidligere kunne en blokering af en crawler, der også var knyttet til AI, risikere at ramme almindelig søgeindeksering. Med Disallow AI Training kan webstedsejeren i stedet vælge mere præcist: Søgning kan tillades, mens træningsbrug afvises. 5

Hvad betyder Accountable?

Cloudflare bruger betegnelsen Accountable om botoperatører, der kan adskille søgeindeksering fra træningsbrug og respektere webstedsejerens præference. Apple, Google og Microsoft respekterer ifølge Cloudflare enten indstillingen allerede eller har forpligtet sig til at gøre det inden for Cloudflares angivne tidsramme. 5

For udgivere er pointen, at en ellers nyttig søgecrawler ikke nødvendigvis skal behandles som fuldt blokeret, blot fordi dens operatør også har AI-relaterede anvendelser. Kvalificerede crawlere med blandet brug kan dermed fortsat indeksere sider til søgning, efter at ejeren har fravalgt træning. 5

Cloudflares offentliggjorte materiale beskriver standarden overordnet, men giver ikke tilstrækkeligt grundlag for at fastslå hver enkelt operatørs implementeringsdato, konkrete crawleradfærd eller fulde tekniske forpligtelser. Derfor bør webstedsejere kontrollere egne botindstillinger og crawl-data frem for at antage ens praksis hos alle operatører.

Hvad kan fortsætte – og hvad bliver afvist?

Den nye indstilling er designet til at bevare søgeindeksering for Accountable-operatører med crawlere til flere formål, mens træningsbrug af det samme indhold afvises. Cloudflare beskriver selv funktionen som en måde at forblive indekseret i søgning på uden at lade den pågældende crawler træne på indholdet. 5

Kildematerialet indeholder ikke en komplet offentlig liste crawler for crawler over, hvem der tillades eller blokeres. Det understøtter dog disse praktiske konklusioner:

• Søgeadgang fra kvalificerede Accountable-operatører kan bevares, når AI-træning fravælges. 5
• Kategorierne Training og Agent kan blokeres separat fra Search. 10
• En generel indstilling til at blokere alle AI-bots findes stadig for ejere, der ønsker en samlet pause eller bred begrænsning, men den er mindre præcis end formålsopdelte kontroller. 7

For websteder, der er afhængige af organisk trafik, mindsker det behovet for at vælge mellem fravalg af træning og synlighed i søgemaskiner.

Sider med annoncer og standardindstillingerne fra september

Cloudflare havde tidligere varslet, at nye domæner, der blev oprettet hos Cloudflare fra 15. september 2026, som udgangspunkt ville få Training- og Agent-crawlere blokeret på sider med annoncer. 10 Baggrunden var et udgiverperspektiv: Indhold, der finansieres af annoncer, kan have behov for mere restriktive standarder for AI-anvendelser.

Den tidligere model medførte også en risiko. Hvis en crawler havde flere formål, kunne en restriktiv blokering på kategori-niveau også påvirke søgecrawling. Disallow AI Training og Accountable-modellen er Cloudflares svar på den konflikt: Udgivere kan beskytte annoncefinansieret indhold mod træning og samtidig bevare søgeindeksering, hvor crawleroperatøren kan respektere adskillelsen. 5

De tilgængelige kilder dokumenterer ikke fuldt ud, hvordan alle eksisterende domæner blev overført, eller hvilke standarder der gjaldt for alle kontotyper. Ejere af eksisterende domæner bør derfor gennemgå deres egne politikker frem for at udlede dem af standarden for nye domæner.

Google-Extended, Applebot-Extended og Bings løsning

Formålsspecifikke kontroller løser samme grundproblem, som særlige udgiverdirektiver har forsøgt at håndtere: at skille en operatørs søgeaktivitet fra dens AI-brug.

Cloudflare har omtalt Googles egne fravalgsmekanismer, herunder Google-Extended og nosnippet, og samtidig peget på feedback fra udgivere om, at de ikke havde forhindret alle de anvendelser af indhold, som udgivere ønskede at kontrollere. 22 Materialet her fastslår ikke selv den præcise rækkevidde eller aktuelle funktion af Google-Extended, Applebot-Extended eller Bings NOARCHIVE-direktiv.

Hovedpointen er dog klarere end de tekniske detaljer: Et særskilt fravalg eller en Accountable-forpligtelse kan understøtte beskeden: »Indeksér denne side til søgning, men brug den ikke til træning.« En bred blokering af en crawler kan ikke pålideligt give den samme adskillelse.

Hvorfor de finere indstillinger er vigtige nu

Cloudflares egen trafikanalyse klassificerede 80 % af AI-crawling i de foregående 12 måneder som træning, mod 18 % til søgning og 2 % til brugerhandlinger. Virksomheden oplyser, at klassificeringen bygger på operatørernes oplysninger og branchekilder. 16

Tallene forklarer, hvorfor mange udgivere kan foretrække separate indstillinger frem for én AI-kontakt, der blot hedder til eller fra. En udgiver kan eksempelvis acceptere synlighed i søgning, afvise at indhold indarbejdes varigt i en model gennem træning og træffe en selvstændig beslutning om AI-agenters adgang i realtid.

Cloudflare oplyste i 2025, at mere end 2,5 millioner websteder havde valgt helt at forbyde AI-træning via virksomhedens administrerede robots.txt-funktion eller regel til blokering af AI-crawlere. 13 September-kontrollerne giver disse udgivere en mere detaljeret mulighed, når søgesynlighed også er en prioritet.

Næste skridt: kontrol over AI-genererede resuméer

Cloudflare har sagt, at virksomheden vil give udgivere mere detaljeret kontrol over AI-genererede resuméer i begyndelsen af 2027. 2 Den tilgængelige meddelelse bekræfter retningen, men ikke det endelige produktdesign, håndhævelsen eller de konkrete valgmuligheder.

Den praktiske konklusion er foreløbig enkel: Gennemgå politikkerne for Search, Training og Agent som tre særskilte beslutninger. Hvis organisk synlighed er vigtig, bør man ikke gå ud fra, at en AI-begrænsning nødvendigvis også skal begrænse søgning – særligt ikke når crawleroperatøren er mærket Accountable. 5