Waarom Google's ene crawler voor zoeken en AI uitgevers en toezichthouders in de clinch brengt

De reactie van de CMA: een wereldwijde primeur

In oktober 2025 wees de Britse Competition and Markets Authority (CMA) Google aan als een onderneming met een 'strategische marktstatus' (SMS) in algemeen zoeken en zoekadvertenties, vanwege zijn ruwweg 90 procent aandeel in de Britse zoekmarkt . Op 3 juni 2026 legde de CMA een gedragsverplichting voor uitgevers (CR) op – de eerste bindende verplichting onder de Britse Digital Markets, Competition and Consumers Act 2024 .

Belangrijkste elementen van de CR:

• AI-opt-out voor uitgevers. Voor het eerst kunnen uitgevers voorkomen dat hun content wordt gebruikt voor AI-functies in Google Zoeken (AI Overviews, AI Mode), zonder hun zichtbaarheid in de zoekresultaten te verliezen .
• Opt-out voor 'fine-tuning'. Na feedback uit de consultatie moet Google uitgevers ook toestaan om zich uit te schrijven voor het gebruik van hun content voor het verfijnen van AI-modellen .
• Verplichte bronvermelding. Google moet in AI-gegenereerde zoekresultaten duidelijk met links naar de content van uitgevers verwijzen .
• Transparantie en naleving. Google moet de eerste twee jaar elke zes maanden nalevingsrapporten publiceren met belangrijke gegevens en uitgevers proactief informeren wanneer het de controles uitbreidt naar nieuwe AI-diensten .
• Implementatiedeadline. Google heeft negen maanden (tot maart 2027) om alle wijzigingen door te voeren, al verwacht de CMA de belangrijkste controles eerder .

De CMA heeft expliciet overwogen maar verworpen om Google te dwingen aparte crawlers te gebruiken voor zoekindexering en AI-inname. Dit vond de organisatie onevenredig. De kosten voor Google zouden aanzienlijk hoger zijn en verbeterde controles waren een even effectief en meer proportioneel middel .

Cloudflare's standpunt: scheiding van crawlers is de enige echte oplossing

Cloudflare, dat het verkeer afhandelt voor ongeveer een vijfde van het web, diende een gedetailleerde reactie in op de consultatie van de CMA. Het bedrijf stelt dat de CR een stap vooruit is, maar het structurele probleem niet oplost . De kernargumenten:

• De CR geeft de controle terug aan Google. Uitgevers blijven afhankelijk van Google's eigen systemen en kunnen geen tools van derden (zoals Cloudflare's eigen Crawl Control) gebruiken zonder hun zoekranking te riskeren .
• Scheiding van crawlers is de enige technische oplossing. Google zou verplicht moeten worden een aparte crawler te gebruiken voor AI-training en -verankering, zodat uitgevers de ene kunnen blokkeren zonder de andere te schaden .
• Gedetailleerde controles zijn niet genoeg. Het CMA-voorstel maakt een technisch verwarrend onderscheid tussen 'AI-training/verankering' en 'zoekgerelateerde generatieve AI-functies' dat de meeste uitgevers niet zullen begrijpen .
• Omvang van het probleem. Googlebot is verantwoordelijk voor ruwweg 50 procent van alle webcrawls, en Google's AI-zoekopdracht schraapt 3,2 keer meer content dan OpenAI .

Cloudflare-CEO Matthew Prince reisde in oktober 2025 persoonlijk naar Londen om bij de CMA te lobbyen voor deze aanpak en pleit sindsdien publiekelijk voor het 'ontvlechten' van de zoek- en AI-crawlers . Cloudflare kondigde ook aan dat het vanaf 15 september 2026 crawlers met een gemengd doel op advertentie-ondersteunde pagina's voor relevante klanten zal blokkeren .

Hoe het er nu voor staat

• De CMA legde de CR op op 3 juni 2026, waarmee uitgevers voor het eerst een AI-opt-outtool kregen . De wezenlijke controleverplichtingen treden in werking op 3 december 2026 en de verplichting blijft van kracht tot 10 oktober 2030 .
• Cloudflare blijft betogen dat de CR ontoereikend is en dat alleen een verplichte scheiding van crawlers de echte autonomie van uitgevers zal herstellen .
• Google heeft gezegd dat het nieuwe controles test waarmee uitgevers het AI-gebruik kunnen beheren, en waarschuwde dat het 'breken van Zoeken' door het forceren van crawlerscheiding de gebruikerservaring zou kunnen schaden . Google's eigen reactie op de CMA-consultatie stelt dat de CR de juiste balans vindt .
• De CMA houdt de deur open voor verdere actie en zegt actief te monitoren hoe Google deze veranderingen implementeert en indien nodig verdere stappen te zullen ondernemen .

De strijd om Google's crawler is niet alleen een Brits verhaal. Het besluit van de CMA wordt nauwlettend gevolgd door toezichthouders in de EU, de VS en andere rechtsgebieden, en de uitkomst kan een wereldwijde precedent scheppen voor hoe zoekdominantie en AI-training elkaar kruisen.