Der eine Crawler, der alles ändert: Wie Googlebot zur KI-Pipeline wurde und Verlage umkmpfen

Die Reaktion der CMA: Eine weltweit erste Auflage

Im Oktober 2025 stufte die CMA Google als Unternehmen mit strategischem Marktstatus (Strategic Market Status, SMS) im Bereich der allgemeinen Suche und Suchwerbung ein, da es rund 90 Prozent des britischen Suchmarktes kontrolliert . Am 3. Juni 2026 erließ die CMA eine Publisher Conduct Requirement (CR) – die erste verbindliche Auflage im Rahmen des britischen Digital Markets, Competition and Consumers Act 2024 .

Die wichtigsten Elemente der CR:

• KI-Opt-out für Verlage. Erstmals knnen Verlage verhindern, dass ihre Inhalte für KI-Funktionen in der Google-Suche (AI Overviews, AI Mode) verwendet werden, ohne auf die Sichtbarkeit in den klassischen Suchergebnissen verzichten zu müssen .
• Opt-out für das Feintuning. Nach Anregungen aus der Konsultation muss Google es Verlagen auch ermglichen, der Nutzung ihrer Inhalte für das Feintuning von KI-Modellen zu widersprechen .
• Pflicht zur Quellenangabe. Google muss in KI-generierten Suchergebnissen klar mit Links auf die Verlagsinhalte verweisen .
• Transparenz und Compliance. Google muss in den ersten sechs Monaten alle sechs Monate Compliance-Berichte mit wichtigen Daten und Kennzahlen verffentlichen und Verlage proaktiv informieren, wenn es die Kontrollen auf neue KI-Dienste ausweitet .
• Umsetzungsfrist. Google hat neun Monate Zeit (bis Mrz 2027), um alle Änderungen umzusetzen, auch wenn die CMA erwartet, dass wichtige Kontrollen früher kommen .

Die CMA hat eine Trennung der Crawler – also die Verpflichtung für Google, unterschiedliche Crawler für die Suchindexierung und die KI-Erfassung zu verwenden – ausdrücklich geprüft, aber als unverhältnismäßig abgelehnt. Sie kam zu dem Schluss, dass die Kosten für Google deutlich höher wären und dass verbesserte Kontrollen eine gleich wirksame und angemessenere Maßnahme seien .

Cloudflares Position: Nur die Trennung der Crawler ist die echte Lsung

Cloudflare, das den Traffic für etwa ein Fünftel des gesamten Webs abwickelt, hat eine ausführliche Stellungnahme zur CMA-Konsultation eingereicht. Darin heißt es, die CR sei ein Fortschritt, aber behebe das strukturelle Problem nicht . Die Kernargumente:

• Die CR gibt die Kontrolle an Google zurück. Verlage bleiben von Googles proprietären Systemen abhängig und knnen keine Drittanbieter-Blockierungstools (wie Cloudflares eigenen Crawl Control) nutzen, ohne ihre Such-Rankings zu gefährden .
• Die Trennung der Crawler ist die einzige technische Lsung. Google sollte verpflichtet werden, einen separaten Crawler für KI-Training und -Grounding zu verwenden, damit Verlage den einen blockieren knnen, ohne den anderen zu beeinträchtigen .
• Feinsteuerung reicht nicht. Der CMA-Vorschlag unterscheidet zwischen „KI-Training/Grounding“ und „generativen KI-Funktionen in der Suche“ in einer technisch verwirrenden Weise, die die meisten Verlage nicht verstehen werden .
• Ausmaß des Problems. Googlebot ist für etwa 50 Prozent aller Web-Crawls verantwortlich, und Googles KI-Suche erfasst 3,2-mal mehr Inhalte als OpenAI .

Cloudflare-CEO Matthew Prince reiste im Oktober 2025 persönlich nach London, um bei der CMA für diesen Ansatz zu werben, und setzt sich seitdem ffentlich für die „Entkopplung“ von Such- und KI-Crawlern ein . Cloudflare kündigte außerdem an, ab dem 15. September 2026 Mixed-Purpose-Crawler auf werbefinanzierten Seiten für entsprechende Kunden zu blockieren .

Der aktuelle Stand

• Die CMA hat die CR am 3. Juni 2026 erlassen, die Verlagen erstmals ein KI-Opt-out ermglicht . Die materiellen Kontrollpflichten treten am 3. Dezember 2026 in Kraft, und die Auflage gilt bis zum 10. Oktober 2030 .
• Cloudflare argumentiert weiterhin, dass die CR unzureichend ist und nur eine verbindliche Trennung der Crawler die wahre Autonomie der Verlage wiederherstellen kann .
• Google hat erklärt, es teste neue Kontrollen, die Verlagen die Verwaltung der KI-Nutzung ermglichen, und warnte davor, dass ein „Zerbrechen der Suche“ durch eine erzwungene Crawler-Trennung die Benutzererfahrung beeinträchtigen knnte . In seiner eigenen Stellungnahme zur CMA-Konsultation argumentiert Google, dass die CR die richtige Balance finde .
• Die CMA hat die Tr für weitere Maßnahmen offengelassen und erklrt, sie beobachte aktiv, wie Google die Änderungen umsetze, und werde bei Bedarf weitere Schritte einleiten .

Der Kampf um Googles Crawler ist keine rein britische Angelegenheit. Die Entscheidung der CMA wird von Regulierungsbehrden in der EU, den USA und anderen Rechtsordnungen genau beobachtet und knnte einen globalen Präzedenzfall dafür schaffen, wie sich Suchdominanz und KI-Training überschneiden.