Cloudflares 15-september-deadline: Så förändrar nya AI-regler webben

Från och med 15 september 2026 kommer Cloudflare att blockera alla AI-robotar som blandar sökindexering med AI-träning eller agentuppgifter under en och samma användaragent – om inte utgivaren uttryckligen väljer att tillåta det .

Det här är ingen liten inställningsändring. Cloudflare, som hanterar ungefär 20 procent av den globala webbtrafiken, vänder på internetets standard från "välj bort" (robotar tillåtna om de inte blockeras) till "välj in" för AI-specifika robotar . För utgivare innebär det ett inbyggt, företagsanpassat botskydd. För AI-bolag innebär det slutet för gratis, storskalig webbskrapning via Cloudflare-skyddade sajter.

Huvudförändringen: Deadline 15 september 2026

Cloudflare har satt 15 september 2026 som sista datum för AI-bolag att dela upp sina webbrobotar i distinkta, identifierade kategorier baserat på hur det skrapade innehållet ska användas. Alla robotar som inte tydligt deklarerar sitt syfte – eller som blandar sökindexering med AI-träning under en och samma användaragent – kommer att blockeras som standard på Cloudflare-trafik, särskilt på sidor som visar annonser .

Efter detta datum kommer nya Cloudflare-kunder och nyskapade webbplatser att ha standardinställningar som endast tillåter tydligt identifierade sökrobotar, medan AI-tränings- och AI-agentrobotar blockeras om inte utgivaren uttryckligen väljer att tillåta dem . Befintliga gratiskunder som inte manuellt uppdaterar sina inställningar kommer också att flyttas över till de nya standardinställningarna .

1. Nya standardinställningar: Från opt-out till opt-in

Tidigare fungerade webben enligt en opt-out-norm: robotar var tillåtna om inte en webbplats uttryckligen blockerade dem via robots.txt. Cloudflare har vänt på detta till en opt-in-modell för AI-specifika robotar .

• För nya kunder och nya sajter: AI-robotar som används för träning eller agentiska handlingar blockeras som standard. Utgivare måste aktivt aktivera dem .
• För befintliga kunder: Inställningarna ändras inte automatiskt, men ägare kan (och uppmuntras starkt att) migrera till de nya tre-kategori-kontrollerna via Cloudflare-instrumentpanelen .
• Specifikt för annonsstödda sidor: Robotar med blandad användning (de som både indexerar för sökning och skrapar för AI-träning) kommer att blockeras som standard, eftersom standardpolicyn behandlar omärkt eller "blandad" trafik som tränings-/agenttrafik .

2. Trestegssystemet för robotar: Sök, Agent, Träning

Cloudflare har infört en ny klassificering som låter utgivare sätta oberoende regler för tre robotbeteenden, tillgänglig för alla kunder inklusive de på gratisplanen :

Kategori	Definition	Standardinställning (15 sep)
Sök	Robotar som indexerar innehåll så att det kan visas i sökresultat och skicka hänvisningstrafik tillbaka till utgivaren.	Tillåten som standard – dessa robotar driver läsare och annonsintäkter.
Agent	Robotar som agerar på uppdrag av en användare (t.ex. AI-assistenter som utför uppgifter, shoppar eller bokar).	Blockeras som standard – utgivare måste välja in.
Träning	Robotar som skrapar innehåll enbart för att träna AI-modeller, utan att skicka tillbaka användare eller attribution.	Blockeras som standard – utgivare måste välja in.

Utgivare kan nu ställa in en policy som "Tillåt Sök, Blockera Träning, Blockera Agent" från en enda instrumentpanel, även på gratisplanen . Detta är mer granulärt än traditionell robots.txt, som bara tillät ett generellt tillåt/blockera per användaragent. Cloudflares egen dokumentation definierar Sök som aktivitet där sajtägare "bör förvänta sig hänvisningstrafik eller annan skälig ersättning" .

3. Övergång från Pay Per Crawl till Pay Per Use

Cloudflare introducerade först Pay Per Crawl i juli 2025 som en privat betatestning – en marknadsplats där utgivare kunde ta betalt av AI-bolag per förfrågan, med HTTP 402 ("Payment Required") statuskoder för att förhandla om åtkomst . Detta system gjorde det möjligt för utgivare att returnera ett 402-svar med prisinformation när en obehörig robot begärde innehåll .

I april 2026, under det som Cloudflare kallade Agents Week (13–17 april), hade företaget utvecklat detta till en bredare Pay Per Use-modell, där ramverket per crawl slogs samman till en enda operatörskonsol tillgänglig på alla prisnivåer . Den viktigaste skillnaden:

• Pay Per Crawl (betaversion 2025): En mikrotransaktionsmodell per förfrågan – varje crawl-förfrågan utlöste en betalningsförhandling via HTTP 402-svar .
• Pay Per Use (allmänt tillgänglig 2026): Ett mer flexibelt system där utgivare kan sätta villkor – fasta licensavgifter, avgifter per crawl eller abonnemangsliknande åtkomst – och AI-bolag kan hantera åtkomst programmatiskt via Cloudflares bot-hantering och WAF-regler .

Stack Overflows implementering (februari 2026) demonstrerade produktionsversionen: deras datalicensprogram använder Cloudflares botkategorisering för att skicka 402-svar till obehöriga robotar, vilket möjliggör intäktsgenerering i stor skala utan skräddarsydda avtal .

Hur detta förändrar landskapet

För utgivare

• Ny intäktskälla: AI-bolag måste nu betala för träningsdata från Cloudflare-skyddade sajter, istället för att skrapa gratis .
• Granulär kontroll: Utgivare kan behålla sökrobotar (som driver annonstrafik) samtidigt som de blockerar tränings-/agentrobotar – vilket skyddar både annonsintäkter och innehållsvärde .
• Standardskydd: Mindre utgivare som inte hade råd med anpassad bot-hantering får nu ett inbyggt, företagsanpassat AI-robotblockering .

För AI-bolag

• Kostnaden för träningsdata ökar: "Gratislunchen" med storskalig webbskrapning tar slut för sajter på Cloudflares nätverk (~20 % av webben) . AI-bolag måste antingen betala utgivare eller förhandla om licensavtal.
• Robotarnas identitetskris: AI-bolag måste bygga om sin robotinfrastruktur senast 15 september för att separera sök-, tränings- och agenttrafik i distinkta, identifierbara användaragenter – annars riskerar de att blockeras helt .
• Google påverkas mest: Googles robot har historiskt tjänat dubbla syften (sökindexering och AI-träning för Gemini/SGE). Cloudflares policy tvingar Google att antingen dela upp sin robot eller få sin Googlebot blockerad på annonsstödda Cloudflare-sidor .

Bredare branschpåverkan

• Standardiserande drag: Cloudflare håller på att definiera ett nytt protokoll för AI-robotetikett. Andra CDN:er och webbhotell kan följa efter .
• Content Signals Policy: Cloudflare introducerade en ny uppsättning maskinläsbara direktiv i robots.txt som går bortom sidnivååtkomst, så att utgivare kan signalera om deras innehåll får användas för sökindexering, AI-träning eller AI-agenter . Detta är en utvidgning av den traditionella robots.txt till att täcka användning efter åtkomst, inte bara crawlningsbehörighet.