Cloudflare lar nettsteder stoppe KI-trening uten å miste synlighet i søk

Cloudflares lansering 15. september 2026 av Disallow AI Training gjør valget mindre enten–eller for publisister og andre nettstedseiere: De kan fortsatt være synlige i søk, samtidig som de sier nei til at innholdet brukes til å trene KI-modeller. Den tilhørende betegnelsen Accountable gjelder operatører som allerede respekterer dette valget, eller som har forpliktet seg konkret til å gjøre det. 5

Tre formål – tre separate valg

Cloudflare deler crawler-trafikk inn i tre formål som kan administreres uavhengig av hverandre:

• Search: crawling for å indeksere innhold til søkeresultater.
• Training: innhenting av innhold for å trene eller finjustere en KI-modell.
• Agent: henting av innhold mens en KI-agent utfører en handling på vegne av brukeren. 10

Skillet er viktig fordi samme crawler-infrastruktur kan brukes til flere formål. Tidligere kunne blokkering av en crawler knyttet til KI også sette vanlig synlighet i søk i fare. Med Disallow AI Training kan eieren velge mer presist: Tillat søk, men nekt bruk til modelltrening. 5

Dette betyr «Accountable»

Cloudflare har opprettet Accountable-betegnelsen for bot-operatører som kan skille mellom søkeindeksering og trening, og samtidig respektere nettstedseierens preferanse. Apple, Google og Microsoft enten respekterer den nye innstillingen eller har forpliktet seg til å gjøre det innenfor Cloudflares oppgitte tidsramme. 5

For publisister er dette særlig relevant fordi en nyttig søkecrawler ikke nødvendigvis må blokkeres helt bare fordi samme selskap også har KI-treningsformål. Operatører som kvalifiserer som Accountable, kan dermed fortsatt indeksere sider for søk etter at eieren har reservert innholdet mot trening. 5

Cloudflares tilgjengelige kunngjøring beskriver standarden på et overordnet nivå, men gir ikke nok detaljer til å fastslå hver operatørs dato for innføring, nøyaktige crawler-atferd eller fulle tekniske forpliktelser. Nettstedseiere bør derfor kontrollere egne bot-innstillinger og crawl-data, framfor å anta at alle aktører oppfører seg likt.

Hva kan fortsatt slippe gjennom – og hva stanses?

Den nye innstillingen er laget for å beholde søkeindeksering for Accountable-operatører med blandet bruk, mens trening på det samme innholdet avvises. Cloudflare beskriver uttrykkelig funksjonen som en måte å forbli indeksert for søk på uten å la den samme crawleren trene på innholdet. 5

Kildematerialet gir ikke en fullstendig offentlig liste over hvilke enkeltcrawlere som tillates eller blokkeres. Det støtter likevel disse praktiske konklusjonene:

• Søketilgang fra kvalifiserte Accountable-operatører kan forbli åpen når trening er avslått. 5
• Kategoriene Training og Agent kan blokkeres uavhengig av Search. 10
• Innstillingen for å blokkere alle KI-boter finnes fortsatt for eiere som ønsker en pause eller en generell sperre, men den er mindre presis enn formålsbaserte kontroller. 7

For nettsteder som er avhengige av organisk trafikk, reduserer oppdateringen dermed behovet for å velge mellom reservasjon mot trening og synlighet i søk.

Annonsesider og standardinnstillingene fra september

Cloudflare hadde tidligere varslet at nye domener som tas i bruk hos Cloudflare fra 15. september 2026, får Training- og Agent-crawlere blokkert som standard på sider som viser annonser. 10 Tanken bak er publisistvennlig: Innhold som finansieres med annonser kan ha behov for strengere standarder for KI-bruk.

Den tidligere modellen innebar også en risiko. Når én crawler hadde flere formål, kunne en streng blokkering på kategori-nivå påvirke søkecrawling. Disallow AI Training og Accountable-modellen er Cloudflares svar på denne konflikten: Publisister kan beskytte annonsestøttet innhold mot trening, men samtidig beholde søkeindeksering der crawler-operatøren klarer å respektere skillet. 5

Kildene dokumenterer ikke fullt ut hvordan alle eksisterende domener ble migrert, eller hvilke standardinnstillinger som gjelder for alle kontotyper. Eiere av etablerte domener bør derfor gjennomgå sine egne retningslinjer i stedet for å utlede dem fra standarden for nye domener.

Google-Extended, Applebot-Extended og Bings løsning

Formålsspesifikke kontroller forsøker å løse det samme grunnproblemet som operatørspesifikke direktiver: å skille et selskaps søkeaktivitet fra KI-bruken.

Cloudflare har omtalt Googles egne opt-out-mekanismer, blant annet Google-Extended og nosnippet, og viser til tilbakemeldinger fra publisister om at disse mekanismene ikke har hindret all bruk de ønsket å kontrollere. 22 Materialet her fastslår ikke uavhengig det nøyaktige omfanget eller dagens virkemåte for Google-Extended, Applebot-Extended eller Bings NOARCHIVE-direktiv.

Hovedpoenget er likevel tydeligere enn implementasjonsdetaljene: En dedikert reservasjon eller en Accountable-forpliktelse kan gjøre det mulig å si: «Indekser siden i søk, men ikke bruk den til trening.» En generell crawler-blokk kan ikke pålitelig gi det samme skillet.

Hvorfor finere kontroll blir viktigere

Cloudflares egen trafikkanalyse klassifiserte 80 prosent av KI-crawlingen de siste tolv månedene som trening, mot 18 prosent for søk og 2 prosent for brukerhandlinger. Selskapet opplyser at klassifiseringen bygger på operatørenes egne opplysninger og bransjekilder. 16

Fordelingen bidrar til å forklare hvorfor mange publisister trenger separate innstillinger framfor én KI-bryter av eller på. Et nettsted kan ønske søkeindeksering, men avvise at innholdet blir permanent innarbeidet i en modell gjennom trening. Tilgang for KI-agenter i sanntid kan så vurderes separat.

Cloudflare opplyste også i 2025 at mer enn 2,5 millioner nettsteder hadde valgt å blokkere KI-trening helt ved hjelp av selskapets administrerte robots.txt-funksjon eller regel for blokkering av KI-crawlere. 13 September-kontrollene gir disse nettstedene en mer detaljert løsning når det også er viktig å bevare synligheten i søk.

Neste steg: kontroll over KI-genererte sammendrag

Cloudflare har sagt at selskapet vil gi publisister mer finmasket kontroll over KI-genererte sammendrag tidlig i 2027. 2 Kunngjøringen bekrefter retningen, men ikke endelig produktutforming, håndhevingsmetode eller konkrete valg for publisister.

Inntil videre er det operative rådet enkelt: Vurder Search, Training og Agent som tre separate beslutninger. Er organisk synlighet viktig, bør man ikke automatisk anta at en KI-begrensning også må begrense søk – særlig når crawler-operatøren er klassifisert som Accountable. 5