Cloudflares neue KI-Crawler-Standards erklärt

Cloudflare zieht seit dem 15. September 2026 eine deutlichere Grenze zwischen klassischer Suchindexierung und KI-Nutzung von Webinhalten. Bei neu zu Cloudflare kommenden Domains werden Crawler der Kategorien Training und Agent auf Seiten mit Werbeanzeigen standardmäßig blockiert. Crawler der Kategorie Search dürfen dagegen weiter zugreifen. 215

Für Publisher und andere Website-Betreiber ist das relevant: Sie können Sichtbarkeit über Suchmaschinen grundsätzlich erhalten und zugleich automatisierte Zugriffe einschränken, die Inhalte für das Training von Modellen übernehmen oder sie in Echtzeit für KI-Assistenten abrufen.

Der neue Standard: Training und Agent auf Werbeseiten blockiert

Die Vorgabe betrifft neue Domains beim Onboarding zu Cloudflare. Erkennt Cloudflare auf einer Seite Werbung, sperrt das System standardmäßig zwei Arten automatisierten Traffics:

• Training: Crawler, die Inhalte zum Trainieren oder Feinabstimmen eines KI-Modells sammeln.
• Agent: Automatisierte Zugriffe, die in Echtzeit im Auftrag einer Person handeln – etwa Chat-Abruf-Bots oder browsersteuernde Agenten. 13

Search bleibt standardmäßig zugelassen. Cloudflare versteht darunter Crawler, die Inhalte erfassen oder indexieren, damit ein Dienst später Fragen dazu beantworten kann. Nach Cloudflares Einordnung sollte dieser Zugriff dem Publisher Verweis-Traffic oder eine andere angemessene Gegenleistung bringen. 13

Es handelt sich also nicht um eine pauschale KI-Sperre. Die Voreinstellung betrifft nur Training und Agent – und nur Seiten, auf denen Werbung angezeigt wird. 215

Welche Cloudflare-Kunden sind betroffen?

Laut Cloudflare-Dokumentation gelten die neuen Standardregeln für Domains, die neu in das Cloudflare-Netzwerk aufgenommen werden. 215 Berichte über die Einführung nennen darüber hinaus neue Websites bestehender Kunden sowie Free-Tier-Konten, deren Einstellungen nicht manuell angepasst wurden. 23

Bestehende Kunden sollten jedoch nicht davon ausgehen, dass jede bereits eingerichtete Zone automatisch dieselbe Regel erhält. Ausschlaggebend sind unter anderem der Onboarding-Status der Domain, der Tarif und die vorhandene Konfiguration. Wer Klarheit braucht, sollte die KI-Crawler-Einstellungen der jeweiligen Zone im Cloudflare-Dashboard prüfen. 23

Drei Kategorien, die getrennt steuerbar sind

Cloudflare behandelt automatisierten Traffic nicht mehr als einheitlichen „KI-Bot“-Block, sondern unterscheidet nach dem Verhalten des Crawlers. Die drei Kategorien lassen sich unabhängig voneinander konfigurieren: 13

Kategorie	Wofür sie steht	Standard bei neuen Domains auf Seiten mit Werbung
Search	Inhalte crawlen oder indexieren, um später Fragen beantworten zu können	Erlaubt
Training	Inhalte zum Trainieren oder Feinabstimmen eines Modells sammeln	Blockiert
Agent	Echtzeit-Automatisierung im Auftrag eines Nutzers	Blockiert

Für jede Kategorie stehen drei Optionen zur Verfügung:

1. Traffic zulassen.
2. Traffic auf Seiten mit Werbung blockieren.
3. Traffic auf allen Seiten blockieren. 23

Damit kann ein Publisher beispielsweise Suchindexierung weiter erlauben, Training-Crawler aber auf der gesamten Website sperren – oder sich auf die engere Regel für werbefinanzierte Seiten beschränken.

Das SEO-Risiko: Crawler mit mehreren Funktionen

Die Bezeichnung eines Crawlers steht nicht zwingend für nur ein Verhalten. Cloudflare erklärt, dass Crawler, die Search und Training kombinieren, nach all ihren Funktionen bewertet werden. Es gilt dabei die jeweils restriktivste anwendbare Regel. 2615

Das kann eine wichtige Folge haben: Blockiert eine Website Training, kann ein Crawler, den Cloudflare zugleich als Search- und Training-Crawler einstuft, auch seinen normalen Zugang zur Suchindexierung verlieren. Als relevante Beispiele nennen Dokumentation und Berichterstattung Googlebot, Applebot und BingBot. 26

„Search erlauben“ sichert also nicht automatisch den Zugriff eines Bots, der gleichzeitig als Training-Crawler klassifiziert wird. Wer Training für die gesamte Website blockieren möchte, sollte die möglichen Folgen für die Indexierung vorher abwägen. 24

Was gilt für die ältere Einstellung „Block AI bots“?

Cloudflare weist darauf hin, dass Konfigurationen zur Blockierung von KI-Training – einschließlich der älteren Option „Block AI bots“ – auch auf Crawler mit einer Kombination aus Search und Training wirken. 2 Das ist besonders für Websites wichtig, die den älteren, weit gefassten Schalter aktiviert hatten und davon ausgingen, er betreffe nur KI-Zugriffe außerhalb der Suche.

Spätere Berichte über den Start im September beschreiben zudem einen Ansatz namens „Disallow AI Training“. Dieser soll eine No-Training-Präferenz ausdrücken und Googlebot, Applebot sowie BingBot für die Suche verfügbar lassen, sofern ein Crawler als „Accountable“ eingestuft ist. Da das konkrete Verhalten und der Umstellungspfad von der ausgewählten Einstellung abhängen können, sollten Administratoren die aktuell im Cloudflare-Dashboard angezeigte Option prüfen – statt sich allein auf die Bezeichnung eines älteren Schalters zu verlassen. 4

Warum Cloudflare Suche und KI-Nutzung trennt

Hinter der Änderung steht ein Kernanliegen vieler Publisher: Klassische Suchmaschinen crawlen und indexieren Seiten, können anschließend aber Leser über Links zur Quelle zurückführen. Generative KI-Dienste können Inhalte dagegen für Modelltraining verwenden oder abgerufene Antworten direkt in ihrer eigenen Oberfläche ausgeben – mit potenziell weniger direktem Verweis-Traffic für die ursprüngliche Quelle.

Cloudflare beschreibt Search als Traffic, bei dem Publisher Verweise oder eine gleichwertige Vergütung erwarten sollten. Die Kategorien Training und Agent erfassen dagegen andere Formen, Inhalte zu übernehmen oder in Echtzeit mit ihnen zu arbeiten. 13 Mit den Kontrollen sollen Betreiber Automatisierung zulassen können, die aus ihrer Sicht Nutzen bringt, und andere Zugriffe begrenzen.

Die entscheidende Frage lautet damit nicht bloß, ob ein Bot „KI“ ist. Entscheidend ist, ob sein Verhalten zur Auffindbarkeit von Inhalten beiträgt und der Website einen Wert zurückgibt – oder ob es Material vor allem für Training und KI-Aufgaben in Echtzeit konsumiert. 13

Was Website-Betreiber jetzt prüfen sollten

Vor einer Umstellung lohnt sich ein Blick auf die Auswirkungen je Kategorie:

• Search erlaubt lassen, wenn Indexierung und möglicher Verweis-Traffic Priorität haben.
• Auf Seiten mit Werbung blockieren wählen, wenn vor allem monetarisierte Inhalte geschützt werden sollen, ohne eine vollständige Website-Sperre einzurichten.
• Auf allen Seiten blockieren erst auswählen, nachdem geprüft wurde, ob ein Crawler Search und Training kombiniert.
• Bestehende „Block AI bots“-Konfigurationen überprüfen – besonders dann, wenn die Sichtbarkeit in der Google-, Apple- oder Bing-Suche wichtig ist. 236

Cloudflares September-Standards geben Publishern mehr Kontrolle. Durch die Behandlung von Crawlern mit mehreren Funktionen ist die Einstellung aber auch eine SEO-Entscheidung – nicht nur eine Frage der KI-Strategie.