Cloudflare: behåll synligheten i sök – stoppa AI-träning

Cloudflares lansering av Disallow AI Training den 15 september 2026 förändrar avvägningen för publicister och andra webbplatsägare. Det blir möjligt att fortsätta vara synlig i sökresultat och samtidigt tala om för en kvalificerad crawler med flera användningsområden att innehållet inte får användas för modellträning. Den kompletterande märkningen Accountable gäller operatörer som redan respekterar den inställningen eller har förbundit sig att göra det. 5

Den avgörande skillnaden: syftet, inte bara boten

Cloudflare delar upp crawlertrafik i tre syften som kan hanteras var för sig:

• Search: crawlning för att indexera innehåll i sökresultat.
• Training: insamling av innehåll för att träna eller finjustera en AI-modell.
• Agent: hämtning av innehåll när en AI-agent utför en åtgärd på uppdrag av en användare. 10

Skillnaden är viktig eftersom samma crawlerinfrastruktur kan användas för mer än ett syfte. Tidigare kunde en blockering av en crawler som förknippas med AI också äventyra den vanliga synligheten i sök. Med Disallow AI Training kan webbplatsägaren göra ett snävare val: tillåt sökåtkomst, men neka användning för träning. 5

Vad innebär Accountable?

Cloudflare har skapat märkningen Accountable för botoperatörer som kan hålla isär sökindeksering och träningsanvändning på ett sätt som respekterar webbplatsägarens val. Apple, Google och Microsoft respekterar den nya inställningen eller har åtagit sig att göra det enligt Cloudflares angivna tidplan. 5

För publicister är märkningen viktig eftersom den är tänkt att förhindra att en i övrigt användbar sökcrawler blockeras helt bara för att dess operatör också har AI-tjänster. Kvalificerade operatörer med blandad användning kan därmed fortsätta indexera sidor för sök efter att webbplatsägaren har nekat träning. 5

Cloudflares tillgängliga information beskriver standarden på övergripande nivå, men räcker inte för att verifiera varje operatörs införandedatum, enskilda crawlerbeteenden eller samtliga tekniska åtaganden. Webbplatsägare bör därför kontrollera sina egna botinställningar och crawl-data, i stället för att utgå från att alla operatörer fungerar identiskt.

Vilken trafik kan fortsätta – och vad stoppas?

Den nya inställningen är utformad för att behålla sökindeksering för Accountable-operatörer med blandad användning, samtidigt som träning på samma innehåll nekas. Cloudflare beskriver uttryckligen funktionen som ett sätt att vara kvar i sökindexet utan att låta den aktuella crawlern träna på innehållet. 5

Underlaget innehåller ingen fullständig offentlig lista över exakt vilka crawlers som tillåts eller blockeras. Däremot stöder det följande praktiska slutsatser:

• Sökåtkomst från kvalificerade Accountable-operatörer kan behållas när träning nekas. 5
• Kategorierna Training och Agent kan blockeras separat från Search. 10
• Inställningen att blockera alla AI-botar finns kvar för den som vill pausa eller införa en generell begränsning, men den är mindre precis än syftesbaserade kontroller. 7

För sajter som är beroende av organisk trafik innebär förändringen att de i mindre utsträckning behöver välja mellan att tacka nej till träning och att behålla sin synlighet i sök.

Annonssidor och standardinställningarna i september

Cloudflare hade tidigare meddelat att nya domäner som ansluts till tjänsten från och med den 15 september 2026 får Training- och Agent-crawlers blockerade som standard på sidor som visar annonser. 10 Policyn bygger på ett publicistperspektiv: annonsfinansierat innehåll kan motivera stramare grundinställningar för AI-användning.

Det tidigare upplägget innebar också en risk. Om en crawler hade flera syften kunde en restriktiv blockering på kategorinivå även påverka crawlning för sök. Modellen med Disallow AI Training och Accountable är Cloudflares svar på den konflikten: publicister ska kunna skydda annonsfinansierat innehåll mot träning och samtidigt behålla sökindeksering när crawleroperatören kan respektera uppdelningen. 5

Källmaterialet beskriver inte fullt ut hur alla befintliga domäner migrerades eller vilka standardinställningar som gällde för varje kontotyp. Ägare av redan etablerade domäner bör kontrollera den faktiska konfigurationen i sina egna konton, snarare än att dra slutsatser från standarden för nya domäner.

Google-Extended, Applebot-Extended och Bings lösning

Syftesbaserade kontroller försöker lösa samma grundproblem som operatörsspecifika direktiv: att skilja en aktörs sökverksamhet från dess AI-användning.

Cloudflare har tagit upp Googles egna opt-out-mekanismer, däribland Google-Extended och nosnippet, och hänvisat till återkoppling från publicister om att mekanismerna inte hade stoppat all användning de ville kunna kontrollera. 22 Det tillhandahållna materialet fastställer däremot inte den exakta omfattningen eller nuvarande funktionen för Google-Extended, Applebot-Extended eller Bings NOARCHIVE-direktiv.

Den bredare slutsatsen är tydligare än implementationsdetaljerna: ett särskilt opt-out-direktiv eller ett Accountable-åtagande kan stödja instruktionen ”indexera sidan för sök, men använd den inte för träning”. En generell crawlerblockering kan inte pålitligt ge samma uppdelning.

Därför blir mer finmaskiga val viktiga

I Cloudflares egen trafikanalys klassades 80 procent av AI-crawlningen under de föregående tolv månaderna som träning, jämfört med 18 procent för sök och 2 procent för användaråtgärder. Företaget uppger att klassificeringen bygger på operatörernas upplysningar och branschkällor. 16

Fördelningen förklarar varför publicister kan vilja ha separata inställningar i stället för en enda AI-knapp för av eller på. En utgivare kan vilja acceptera sökindeksering, neka att innehållet byggs in permanent i en modell genom träning och fatta ett separat beslut om AI-agenters realtidsåtkomst.

Cloudflare rapporterade också 2025 att över 2,5 miljoner webbplatser helt hade nekat AI-träning via företagets hanterade robots.txt-funktion eller regel för att blockera AI-crawlers. 13 Septemberkontrollerna ger dessa webbplatsägare en mer detaljerad väg framåt när söksynlighet också är viktig.

Nästa steg: kontroll över AI-sammanfattningar

Cloudflare har sagt att företaget siktar på att ge publicister mer detaljerad kontroll över AI-genererade sammanfattningar i början av 2027. 2 Det tillgängliga tillkännagivandet bekräftar inriktningen, men inte den slutliga produktutformningen, metoden för efterlevnad eller de exakta alternativen för publicister.

Det praktiska rådet just nu är enkelt: se Search, Training och Agent som tre separata beslut. Om organisk upptäckbarhet är viktig bör man inte utgå från att en AI-begränsning också måste begränsa sök – särskilt inte när crawleroperatören har Accountable-status. 5