KI-Training blockieren, in der Suche bleiben: Cloudflares neue Bot-Regeln erklärt

Für Publisher war es bislang ein unangenehmes Entweder-oder: KI-Crawler sperren – und womöglich auch Reichweite über die Websuche verlieren. Cloudflare will diesen Zielkonflikt mit „Disallow AI Training“ auflösen. Die am 15. September 2026 eingeführte Einstellung erlaubt es Websites, die Nutzung ihrer Inhalte zum Trainieren oder Fine-Tuning von KI-Modellen abzulehnen und zugleich für die normale Suche auffindbar zu bleiben. 720

Suche, Training und KI-Agenten werden getrennt behandelt

Cloudflare ersetzt den pauschalen Ansatz „Block AI Bots“ durch drei getrennt steuerbare Arten von Crawler-Zugriffen:

• Search: Inhalte für einen Suchindex crawlen
• Training: Inhalte zum Trainieren oder Fine-Tuning eines Modells verwenden
• Agent: Zugriffe von KI-Agenten, die im Auftrag von Nutzern handeln

Website-Betreiber können damit für jeden Zweck eine eigene Regel festlegen, statt Bots nur insgesamt zuzulassen oder auszusperren. Die Kontrollen und empfohlenen Einstellungen wurden laut Cloudflare mit dem Start am 15. September für Publisher und Unternehmen verfügbar. 1320

Wer in Suchergebnissen bleiben, seine Inhalte aber nicht für Modelltraining freigeben möchte, nutzt Disallow AI Training. Die Option veröffentlicht die Präferenz „kein KI-Training“ über Cloudflares Bot-Richtlinien und robots.txt-Werkzeuge und setzt zugleich Sperrregeln für Trainingszugriffe durch. 167

Warum die Suchsichtbarkeit erhalten bleiben kann

Einige Crawler erfüllen mehrere Aufgaben. Googlebot, Applebot und Bingbot etwa indexieren Websites für die Suche, während ihre Betreiber Inhalte auch in KI-bezogenen Diensten verwenden können. Cloudflare unterscheidet nun zwischen diesen Verwendungszwecken.

Ist Disallow AI Training aktiviert, gilt:

• Ein als Accountable eingestufter Crawler mit mehreren Einsatzzwecken darf weiterhin für die Suchindexierung zugreifen.
• Sein Betreiber soll die Ablehnung der Website beim KI-Training beachten.
• Reine Trainings-Crawler sowie Crawler mit mehreren Einsatzzwecken ohne Accountable-Status werden durch die Trainingssperre blockiert. 71724

Davon zu unterscheiden ist die strengere Option Block. Sie kann auch Googlebot, Applebot und Bingbot einschließlich ihres Such-Crawlings sperren. Wer die Sichtbarkeit in der Suche bewahren will, sollte daher nicht pauschal blockieren. 1728

Was hinter der Kennzeichnung „Accountable“ steckt

Accountable ist Cloudflares Bezeichnung für Betreiber gemischt genutzter Crawler, die die Anforderungen des Unternehmens zur Trennung von Such-Crawling und KI-Nutzung erfüllen – oder verbindlich zugesagt haben, sie innerhalb eines festgelegten Zeitraums zu erfüllen. Apple, Google und Microsoft erhielten diese Einstufung zuerst. 72023

Die Einstufung bedeutet ausdrücklich keine allgemeine Erlaubnis, Inhalte für KI zu verwenden. Sie ist vielmehr die Grundlage dafür, dass ein gemischt genutzter Crawler nach Aktivierung von Disallow AI Training weiterhin für die Suche zugreifen darf.

Die vier Anforderungen

Crawler-Betreiber müssen laut Cloudflare vier Bedingungen erfüllen oder deren Umsetzung verbindlich zusagen:

1. Eine Möglichkeit, KI-Training über robots.txt oder einen vergleichbaren Standard abzulehnen.
2. Eine Opt-out-Möglichkeit für KI-generierte Suchzusammenfassungen – bereits verfügbar oder zu einem konkret benannten Termin zugesagt.
3. Transparenz auf URL-Ebene darüber, wie Inhalte für Suche und Training verwendet werden.
4. Eine öffentliche Bestätigung, dass ein Trainings-Opt-out nicht den Zugang zur gewöhnlichen Websuche beendet. 2324

Damit soll die Trennung zwischen Suchindexierung und Modelltraining zumindest nachvollziehbar werden: Website-Betreiber brauchen sowohl ein klares Signal für ihre Entscheidung als auch Transparenz darüber, ob diese berücksichtigt wird.

Welche Bots dürfen weiter suchen – und welche werden gesperrt?

Entscheidend ist nicht allein, ob ein Bot zu einem KI-Unternehmen gehört. Maßgeblich ist, ob es sich um einen gemischt genutzten Crawler eines als Accountable eingestuften Betreibers handelt.

Crawler-Kategorie	Behandlung bei „Disallow AI Training“
Accountable-Crawler mit Suchfunktion, darunter Googlebot, Applebot und Bingbot	Können für die Suchindexierung zugelassen bleiben. 1722
Ausschließlich für KI-Training eingesetzte Crawler	Werden blockiert. 1722
Gemischt genutzte Crawler ohne Accountable-Status	Werden für den Trainingszugriff blockiert. 24

Cloudflare bietet damit eine präzisere Regel als ein universelles KI-Bot-Verbot: Der Suchzugriff bleibt nur dort erhalten, wo der Betreiber die getrennte Trainingsbeschränkung akzeptiert und die dafür verlangte Transparenz bietet.

Google, Apple und Bing: die technischen Signale

Mit Bot Preference Sync kann Cloudflare die robots.txt-Datei einer Website mit den im Dashboard gesetzten Präferenzen für Search, Agent und Training abgleichen. 16

Bei Google und Apple sind die Trainingssignale von den Such-Crawlern getrennt:

• Google-Extended ist Googles Kennzeichnung für ein Trainings-Opt-out. Sie ist von Googlebot getrennt, sodass sich ein Verbot des KI-Trainings ausdrücken lässt, ohne die Indexierung in der Google-Suche automatisch zu unterbinden. 27
• Applebot-Extended erfüllt bei Apple die entsprechende Funktion: Applebots Rolle für die Suche kann von einem Opt-out gegen KI-Training getrennt bleiben. 1727
• Bingbot kann im Accountable-Modell für die Suche weiter zugelassen werden. Cloudflare weist jedoch darauf hin, dass die Einstufung auch Zusagen für Funktionen umfassen kann, die ein Betreiber erst innerhalb eines festgelegten Zeitrahmens bereitstellt. 723

Voreinstellungen für neue Domains mit Werbung

Cloudflare hatte bereits neue Standardregeln für den 15. September 2026 angekündigt: Bei neuen Domains, die bei Cloudflare eingerichtet werden, werden die Kategorien Training und Agent auf Seiten mit Werbung standardmäßig blockiert. 13

Das ist keine pauschale Suchsperre für die gesamte Website. Bestehende Kunden sollten dennoch ihre Einstellungen auf Zonenebene für Search, Training und Agent prüfen: Aus den vorliegenden Quellen geht keine konkrete automatische Umstellung für jede bereits bestehende Konfiguration hervor.

Was Publisher jetzt beachten sollten

Für die Praxis lässt sich die Entscheidung so zusammenfassen:

• Disallow AI Training wählen, wenn die Website in Suchmaschinen auffindbar bleiben, aber nicht zum Training von Modellen verwendet werden soll.
• Die umfassendere Option Block nur wählen, wenn auch Einschränkungen beim Suchzugriff der betroffenen Crawler akzeptabel sind.
• Die Regeln für Search, Training und Agent getrennt kontrollieren – besonders bei werbefinanzierten Seiten und bei Domains mit bereits vorhandenen Bot-Regeln. 131720

Die neuen Cloudflare-Einstellungen ersetzen nicht die Pflicht der Crawler-Betreiber, veröffentlichte Präferenzen tatsächlich zu respektieren. Sie ziehen aber eine deutlichere Grenze: Suchindexierung kann erlaubt bleiben, während KI-Training ausdrücklich untersagt wird – sofern der Betreiber des Crawlers die Accountable-Bedingungen erfüllt. 724