Googles enda crawler skapar AI-kris – utgivare, myndigheter och Cloudflare i strid om valfrihet

CMAs svar: ett världsunikt uppförandekrav

I oktober 2025 utsåg Storbritanniens Competition and Markets Authority (CMA) Google till att ha strategisk marknadsstatus (SMS) inom allmän sökning och sökannonsering, med hänvisning till Googles ungefär 90-procentiga andel av den brittiska sökmarknaden . Den 3 juni 2026 införde CMA ett Publisher Conduct Requirement (CR) – den första bindande åtgärden enligt Storbritanniens Digital Markets, Competition and Consumers Act 2024 .

Viktiga delar av CR:

• AI-opt-out för utgivare. För första gången kan utgivare hindra att deras innehåll används för att driva AI-funktioner i Google Sök (AI Overviews, AI Mode) utan att förlora synlighet i sökresultaten .
• Opt-out för finjustering. Efter samråd måste Google också tillåta utgivare att välja bort att deras innehåll används för finjustering av AI-modeller .
• Obligatorisk attribution. Google måste tydligt länka tillbaka till utgivarnas innehåll i AI-genererade sökresultat .
• Transparens och efterlevnad. Google måste publicera efterlevnadsrapporter var sjätte månad det första året med nyckeldata och måste proaktivt meddela utgivare när kontrollerna utökas till nya AI-tjänster .
• Implementeringsdeadline. Google har nio månader (till mars 2027) på sig att genomföra alla förändringar, även om CMA förväntar sig att viktiga kontroller kommer tidigare .

CMA övervägde uttryckligen men avvisade crawler-separation – att tvinga Google att använda olika crawlers för sökindexering respektive AI-intag – som oproportionerligt. Man konstaterade att kostnaden för Google skulle bli väsentligt högre och att förbättrade kontroller var en lika effektiv och mer proportionerlig lösning .

Cloudflares hållning: crawler-separation är den enda verkliga lösningen

Cloudflare, som hanterar trafik för ungefär en femtedel av webben, lämnade ett detaljerat svar till CMAs samråd där man argumenterade för att CR är ett steg framåt men inte löser det strukturella problemet . Dess huvudsakliga argument:

• CR delegerar kontrollen tillbaka till Google. Utgivare förblir beroende av Googles egna system och kan inte använda tredjepartsblockeringsverktyg (som Cloudflares egen Crawl Control) utan att riskera sökrankningen .
• Crawler-separation är den enda tekniska lösningen. Google borde tvingas använda en separat crawler för AI-träning och grounding, så att utgivare kan blockera den ena utan att skada den andra .
• Granulära kontroller räcker inte. CMAs förslag skiljer mellan ”AI-träning/grounding” och ”sökgenerativa AI-funktioner” på ett tekniskt förvirrande sätt som de flesta utgivare inte kommer att förstå .
• Problemets omfattning. Googlebot står för ungefär 50 procent av all webbcrawlning, och Googles AI-sökning skrapar 3,2 gånger mer innehåll än OpenAI .

Cloudflares vd Matthew Prince reste personligen till London i oktober 2025 för att lobba CMA för detta tillvägagångssätt och har sedan dess offentligt drivit frågan om att ”koppla loss” sök- och AI-crawlers . Cloudflare meddelade också att man från och med 15 september 2026 kommer att blockera crawlers med blandade syften på annonsfinansierade sidor för relevanta kunder .

Var står vi nu?

• CMA införde CR den 3 juni 2026, vilket för första gången ger utgivare ett AI-opt-out-verktyg . De materiella kontrollskyldigheterna träder i kraft den 3 december 2026 och kravet gäller till och med den 10 oktober 2030 .
• Cloudflare fortsätter att hävda att CR är otillräckligt och att endast en obligatorisk crawler-separation kan återställa verklig utgivarautonomi .
• Google har sagt att man testar nya kontroller som låter utgivare hantera AI-användning, och varnade för att ”förstöra Sök” genom att tvinga fram crawler-separation skulle kunna skada användarupplevelsen . Googles eget svar till CMAs samråd hävdar att CR slår rätt balans .
• CMA har lämnat dörren öppen för ytterligare åtgärder och säger att man aktivt övervakar hur Google genomför förändringarna och kan vidta ytterligare steg om det behövs .

Striden om Googles crawler är inte bara en brittisk historia. CMAs beslut följs noga av regleringsmyndigheter i EU, USA och andra jurisdiktioner, och utfallet kan skapa ett globalt prejudikat för hur sökdominans och AI-träning samverkar.