Cloudflare zwingt KI-Firmen zur Transparenz: Neue Regeln für Webcrawler ab September 2026

Ab dem 15. September 2026 tritt eine grundlegende Änderung in Kraft: Cloudflare blockiert auf werbefinanzierten Seiten standardmäßig sämtliche KI-Crawler, die ihre Funktion nicht eindeutig ausweisen – also etwa Bots, die gleichzeitig Suchindizes befüllen, KI-Modelle trainieren und Agentenaufgaben übernehmen .

Cloudflare, das etwa 20 Prozent des weltweiten Webverkehrs steuert, kehrt damit das bisherige Prinzip des Internets um: Statt standardmäßig alles zu erlauben, was nicht explizit verboten ist (Opt-out), gilt für KI-spezifische Crawler künftig ein Opt-in-Modell . Für Verlage bedeutet das einen unternehmensweiten Schutz vor unerwünschten Datensammlern. Für KI-Unternehmen hingegen endet das kostenlose, massenhafte Auslesen von Cloudflare-geschützten Websites.

Die Kernänderung: Stichtag 15. September 2026

Cloudflare setzt KI-Unternehmen eine klare Frist bis zum 15. September 2026. Bis dahin müssen sie ihre Webcrawler in eindeutig gekennzeichnete Kategorien aufteilen, je nachdem, wie die gesammelten Inhalte genutzt werden. Crawler, die ihren Zweck nicht klar benennen oder die Suchindexierung mit KI-Training unter einem einzigen User-Agent zusammenfassen, werden auf Cloudflare-Seiten standardmäßig geblockt – insbesondere auf Seiten mit Werbung .

Ab diesem Stichtag erhalten neue Cloudflare-Kunden und neu erstellte Websites Standardeinstellungen, die nur klar identifizierte Such-Crawler zulassen, während KI-Trainings- und KI-Agenten-Crawler blockiert werden, es sei denn, der Publisher stimmt explizit zu . Auch bestehende Free-Tier-Kunden, die ihre Einstellungen nicht manuell anpassen, werden auf die neuen Voreinstellungen umgestellt .

1. Neue Standardeinstellungen: Vom Opt-out zum Opt-in

Bislang galt im Web ein Opt-out-Prinzip: Crawler durften grundsätzlich zugreifen, es sei denn, eine Website blockierte sie explizit per robots.txt. Cloudflare kehrt dieses Prinzip für KI-spezifische Crawler nun um .

• Für Neukunden und neue Websites: KI-Crawler, die für Training oder Agentenaktivitäten genutzt werden, sind standardmäßig blockiert. Publisher müssen sie aktiv freischalten .
• Für Bestandskunden: Die Einstellungen ändern sich nicht automatisch, aber die Betreiber können (und werden nachdrücklich aufgefordert) über das Cloudflare-Dashboard auf die neuen Drei-Kategorien-Steuerung umstellen .
• Speziell auf werbefinanzierten Seiten: Crawler mit gemischter Nutzung (die sowohl für die Suche indexieren als auch für KI-Training Daten sammeln) werden standardmäßig blockiert. Die Standardeinstellung behandelt nicht gekennzeichneten oder gemischten Traffic als Trainings-/Agenten-Traffic .

2. Das Drei-Kategorien-System: Suche, Agent, Training

Cloudflare führt eine neue Klassifizierung ein, die es Publishern ermöglicht, für drei Bot-Verhalten unabhängige Regeln festzulegen. Das System steht allen Kunden zur Verfügung, auch denen des Free-Tarifs :

Kategorie	Definition	Standardeinstellung (ab 15. September)
Suche (Search)	Crawler, die Inhalte indexieren, damit sie in Suchergebnissen erscheinen und Traffic zurück zum Publisher leiten.	Standardmäßig erlaubt – diese Bots bringen Leser und Werbeeinnahmen.
Agent (Agent)	Bots, die im Auftrag eines Nutzers handeln (z. B. KI-Assistenten bei Aufgaben, Shopping oder Buchungen).	Standardmäßig blockiert – Publisher müssen zustimmen.
Training (Training)	Bots, die Inhalte ausschließlich zum Trainieren von KI-Modellen sammeln, ohne Nutzer zurückzubringen oder Quellen zu nennen.	Standardmäßig blockiert – Publisher müssen zustimmen.

Publisher können nun direkt aus einem Dashboard eine Politik wie „Suche erlauben, Training blockieren, Agent blockieren“ festlegen – selbst im kostenlosen Tarif . Das ist deutlich feiner granular als das traditionelle robots.txt, das nur eine pauschale Erlaubnis oder Ablehnung pro User-Agent zuließ. Cloudflares eigene Dokumentation definiert Suche als Aktivität, bei der Seitenbetreiber „Weiterleitungsverkehr oder andere angemessene Vergütung erwarten sollten“ .

3. Vom „Pay Per Crawl“ zum „Pay Per Use“

Cloudflare startete im Juli 2025 mit der privaten Beta von Pay Per Crawl – einem Marktplatz, auf dem Publisher pro Anfrage eine Gebühr von KI-Unternehmen verlangen konnten. Dazu wurde der HTTP-Statuscode 402 („Payment Required“) genutzt, um den Zugang zu verhandeln . Dieses System erlaubte es Publishern, eine 402-Antwort mit Preisinformationen zu senden, wenn ein nicht autorisierter Crawler auf Inhalte zugreifen wollte .

Bis zur Agents Week 2026 (13.–17. April) hatte Cloudflare das Modell zu einem umfassenderen Pay Per Use-System weiterentwickelt. Dabei wurde das Pay-per-Crawl-Framework in eine einzige Bedienerkonsole integriert, die für alle Tarifstufen verfügbar ist . Die wesentlichen Unterschiede:

• Pay Per Crawl (2025, Beta): Ein Mikrotransaktionsmodell pro Abruf – jede Crawler-Anfrage löste eine Zahlungsverhandlung über HTTP-402-Antworten aus .
• Pay Per Use (2026, Allgemein verfügbar): Ein flexibleres System, bei dem Publisher die Bedingungen festlegen können – etwa Pauschalgebühren, Abrufpreise oder abonnementähnliche Zugänge. KI-Unternehmen können den Zugriff programmgesteuert über Cloudflares Bot-Management und WAF-Regeln verwalten .

Die Implementierung bei Stack Overflow (Februar 2026) zeigte die produktive Version: Dessen Datenlizenzierungsprogramm nutzt Cloudflares Bot-Kategorisierung, um 402-Antworten an nicht autorisierte Crawler zu senden und so ohne individuelle Verträge zu monetarisieren .

Was das für die Landschaft bedeutet

Für Verlage und Website-Betreiber

• Neue Einnahmequelle: KI-Unternehmen müssen für Trainingsdaten von Cloudflare-geschützten Websites bezahlen, statt sie kostenlos zu scrapen .
• Feinsteuerung: Publisher können Such-Crawler (die Werbetraffic bringen) erlauben, während sie Trainings-/Agenten-Bots blockieren – das schützt sowohl Werbeeinnahmen als auch den Wert der Inhalte .
• Standardschutz: Kleinere Publisher, die sich kein individuelles Bot-Management leisten konnten, erhalten jetzt automatisch einen professionellen KI-Crawler-Schutz .

Für KI-Unternehmen

• Kosten für Trainingsdaten steigen: Das „kostenlose Mittagessen“ des massenhaften Web-Scrapings endet für Websites auf Cloudflares Netzwerk (~20 % des Webs) . KI-Unternehmen müssen Publisher entweder bezahlen oder Lizenzverträge aushandeln.
• Identitätskrise der Crawler: KI-Unternehmen müssen bis zum 15. September ihre Crawler-Infrastruktur umbauen, um Such-, Trainings- und Agenten-Traffic in getrennte, identifizierbare User-Agents aufzuteilen – andernfalls droht die vollständige Blockade .
• Google ist am stärksten betroffen: Sein Crawler (Googlebot) diente bislang gleichzeitig der Suchindexierung und dem KI-Training für Gemini/SGE. Cloudflares Politik zwingt Google entweder zur Aufteilung seines Crawlers oder dazu, dass Googlebot auf werbefinanzierten Cloudflare-Seiten geblockt wird .

Breitere Auswirkungen auf die Branche

• Wegweisender Standard: Cloudflare definiert faktisch ein neues Protokoll für die KI-Crawler-Etikette. Andere CDNs und Hosting-Anbieter könnten diesem Beispiel folgen .
• Content Signals Policy: Cloudflare führte einen neuen Satz maschinenlesbarer Direktiven in robots.txt ein, die über den bloßen Seitenzugriff hinausgehen. Publisher können damit signalisieren, ob ihre Inhalte für die Suchindexierung, das KI-Training oder KI-Agenten genutzt werden dürfen . Dies ist eine Erweiterung des traditionellen robots.txt auf die Nutzung nach dem Zugriff, nicht nur auf die Crawler-Erlaubnis.