Cloudflare lader websites blokere AI-træning uden at miste synlighed i søgning

Cloudflares indstilling Disallow AI Training skal løse et velkendt dilemma for udgivere: Hvordan siger man nej til, at indhold bruges til at træne AI-modeller, uden samtidig at forsvinde fra almindelige søgemaskiner?

Indstillingen blev lanceret 15. september 2026. Den lader et website angive, at indholdet ikke må bruges til træning, og blokerer den relevante crawlertrafik, samtidig med at kvalificerede crawlere med blandede formål fortsat kan få adgang til søgeindeksering. 720

Søgeindeksering og AI-træning er nu to forskellige ting

Cloudflare har erstattet den brede tilgang Block AI Bots med selvstændige kontroller for tre typer crawlerbrug:

• Search – crawling med henblik på indeksering i en søgemaskine
• Training – brug af indhold til træning eller finjustering af modeller
• Agent – trafik fra AI-agenter, der handler på vegne af brugere

Det gør det muligt at vælge en særskilt politik for hver brugssituation i stedet for at acceptere en alt-eller-intet-blokering. Cloudflare oplyser, at kontrollerne og de anbefalede indstillinger blev gjort tilgængelige for udgivere og virksomheder ved lanceringen 15. september. 1320

For et site, der vil kunne findes i søgning, men ikke vil levere materiale til modeltræning, er Disallow AI Training den relevante indstilling. Den offentliggør sitets præference om ingen træning via Cloudflares værktøjer til botpolitikker og robots.txt og håndhæver samtidig blokering af træningstrafik. 167

Sådan bevarer indstillingen adgang fra søgemaskiner

Nogle crawlere har flere formål. Googlebot, Applebot og Bingbot kan eksempelvis crawle for søgning, mens virksomhederne bag dem også kan have AI-relaterede anvendelser af indhold. Cloudflares politik skelner mellem søgefunktionen og træning.

Når Disallow AI Training er slået til:

• kan en kvalificeret crawler med blandede formål og status som Accountable fortsat få adgang til søgeindeksering
• forventes crawleroperatøren at respektere sitets afvisning af AI-træning
• blokeres dedikerede træningscrawlere samt crawlere med blandede formål, hvis deres operatører ikke har Accountable-status. 71724

Det er noget andet end Cloudflares stærkere indstilling Block. En fuld blokering kan også standse Googlebot, Applebot og Bingbot – inklusive deres crawling til søgning. Derfor er den ikke det oplagte valg, hvis fortsat synlighed i søgemaskiner er prioriteten. 1728

Hvad betyder Accountable?

Accountable er Cloudflares betegnelse for operatører af crawlere med blandede formål, der opfylder – eller på en konkret tidsplan har forpligtet sig til at opfylde – Cloudflares standarder for at adskille søgecrawling fra AI-relateret brug. Apple, Google og Microsoft var de første operatører, der fik betegnelsen. 72023

Statussen er ikke en generel tilladelse til AI-brug af et sites indhold. Den er Cloudflares grundlag for at lade en crawler med blandede formål beholde søgeadgang, når udgiveren har valgt Disallow AI Training.

De fire krav til Accountable-status

Cloudflare oplyste, at en operatør skal opfylde eller forpligte sig til at opfylde fire betingelser:

1. En mekanisme til fravalg af træning via robots.txt eller en tilsvarende standard.
2. Mulighed for fravalg af AI-genererede søgeopsummeringer, enten allerede tilgængelig eller lovet på en fastlagt tidsplan.
3. Indsigt på URL-niveau i, hvordan indhold bruges til søgning og træning.
4. En offentlig bekræftelse af, at fravalg af træning ikke fjerner adgang fra almindelig søgning. 2324

Kravene skal i princippet gøre skellet mellem søgning og træning efterprøvbart: Websiteejere skal både kunne udtrykke deres præference og få indsigt i, om den bliver respekteret.

Hvilke bots får fortsat adgang – og hvilke bliver blokeret?

Med Disallow AI Training er det ikke alene afgørende, om en bot kommer fra en AI-virksomhed. Det afgørende er, om der er tale om en crawler med blandede formål, hvis operatør har opnået Cloudflares Accountable-status.

Crawlerkategori	Behandling med Disallow AI Training
Accountable-crawlere med blandede formål, herunder Googlebot, Applebot og Bingbot	Kan fortsat få adgang til søgeindeksering 1722
Dedikerede crawlere til AI-træning	Blokeres 1722
Crawlere med blandede formål uden Accountable-status	Blokeres for træningsadgang 24

Modellen giver dermed udgivere en mere præcis politik end en universel blokering af AI-bots: En crawler kan kun beholde sin søgerolle, når operatøren har forpligtet sig til at overholde den separate begrænsning for træning.

Google, Apple og Bing: Sådan hænger kontrollerne sammen

Cloudflares funktion Bot Preference Sync holder sitets robots.txt synkroniseret med de AI-botpræferencer, der er angivet i Cloudflare-dashboardet for Search, Agent og Training. 16

For Google og Apple er træningskontrollerne adskilt fra deres crawlere til søgning:

• Google-Extended er Googles token til fravalg af træningsrelateret brug. Det er adskilt fra Googlebot, så en træningsbegrænsning kan angives uden i sig selv at blokere indeksering i Google Søgning. 27
• Applebot-Extended er Apples tilsvarende træningsrelaterede kontrol. Den holder Applebots søgerolle adskilt fra et fravalg af AI-træning. 1727
• Bingbot kan fortsat være tilgængelig for søgning under Cloudflares Accountable-model. Rammeværket omfatter også funktioner, som operatører har forpligtet sig til at levere efter en konkret tidsplan, og betyder derfor ikke nødvendigvis, at alle funktioner allerede findes hos alle operatører. 723

Standardindstillinger for nye domæner med annoncer

Cloudflare havde tidligere varslet nye standardindstillinger fra 15. september 2026. For nye domæner, der oprettes hos Cloudflare, er kategorierne Training og Agent som standard blokeret på sider, der viser annoncer. 13

Det er en smallere standard end at blokere et helt site fra søgemaskiner og afspejler Cloudflares forsøg på at give udgivere differentierede kontroller. De foreliggende kilder fastslår ikke en præcis, automatisk migreringsregel for alle eksisterende kunder. Websiteejere bør derfor gennemgå indstillingerne på zone-niveau for Search, Training og Agent frem for at antage, at en ældre opsætning automatisk er ændret.

Det vigtigste for udgivere

Det praktiske valg kan sammenfattes sådan:

• Vælg Disallow AI Training, hvis sitet fortsat skal kunne opdages via søgemaskiner, men indholdet ikke må anvendes til modeltræning.
• Vælg den bredere Block-politik kun, hvis du også er klar til at begrænse den pågældende crawlers adgang til søgning.
• Gennemgå indstillingerne for Search, Training og Agent hver for sig – særligt på annoncefinansierede sider og domæner med eksisterende botregler. 131720

Cloudflares kontroller fjerner ikke behovet for, at crawleroperatører respekterer offentliggjorte præferencer. Men lanceringen skaber en tydeligere grænse: Søgeindeksering kan fortsat være tilladt, mens AI-træning udtrykkeligt afvises, hvis crawleroperatøren opfylder Cloudflares Accountable-betingelser. 724