Cloudflare: Suchindexierung behalten, KI-Training gezielt untersagen

Cloudflare hat am 15. September 2026 eine wichtige neue Wahlmöglichkeit für Publisher und andere Website-Betreiber eingeführt: Mit „Disallow AI Training“ können sie Inhalte weiterhin für die Suche auffindbar halten, dem betreffenden Crawler aber die Nutzung zum Training von KI-Modellen untersagen. Die ergänzende Kennzeichnung „Accountable“ soll zeigen, welche Bot-Betreiber diese Trennung bereits respektieren oder sich verbindlich dazu verpflichtet haben. 5

Nicht mehr nur der Bot zählt, sondern sein Zweck

Cloudflare trennt Crawler-Zugriffe in drei unabhängig steuerbare Zwecke:

• Search (Suche): Inhalte werden für Suchergebnisse indexiert.
• Training: Inhalte werden zum Trainieren oder Fine-Tuning eines KI-Modells genutzt.
• Agent: Inhalte werden abgerufen, während ein KI-Agent eine von Nutzern angeforderte Aufgabe ausführt. 10

Der Unterschied ist relevant, weil dieselbe Crawler-Infrastruktur mehrere Zwecke erfüllen kann. Bislang konnte das Blockieren eines mit KI verbundenen Crawlers zugleich die normale Auffindbarkeit in Suchmaschinen beeinträchtigen. Mit „Disallow AI Training“ soll eine präzisere Regel möglich sein: Suche erlauben, Modelltraining ablehnen. 5

Was die Kennzeichnung „Accountable“ bedeutet

Cloudflare vergibt die Bezeichnung „Accountable“ an Bot-Betreiber, die Suchindexierung und Trainingsnutzung so trennen können, dass die Entscheidung einer Website respektiert wird. Apple, Google und Microsoft respektieren die neue Einstellung nach Cloudflares Angaben bereits oder haben zugesagt, dies innerhalb eines von Cloudflare genannten Zeitrahmens zu tun. 5

Für Publisher ist das vor allem deshalb wichtig, weil ein für die Suche nützlicher Crawler nicht pauschal blockiert werden muss, nur weil derselbe Betreiber auch KI-Training betreibt. Qualifizierte gemischt genutzte Crawler können Seiten damit weiterhin für die Suche erfassen, obwohl Training untersagt wurde. 5

Die vorliegenden Ankündigungen beschreiben den Standard jedoch nur auf übergeordneter Ebene. Sie reichen nicht aus, um für jeden Betreiber einen konkreten Umsetzungszeitpunkt, das Verhalten jedes einzelnen Crawlers oder sämtliche technischen Zusagen zu bestätigen. Betreiber von Websites sollten daher ihre Bot-Einstellungen und Crawl-Daten selbst prüfen.

Was weiter zugreifen darf – und was blockiert wird

Die neue Einstellung soll bei gemischt genutzten, als „Accountable“ eingestuften Betreibern die Suchindexierung erhalten, während die Trainingsnutzung derselben Inhalte abgelehnt wird. Cloudflare beschreibt das ausdrücklich als Möglichkeit, in der Suche indexiert zu bleiben und gleichzeitig Training durch diesen Crawler zu untersagen. 5

Die bereitgestellten Quellen enthalten keine vollständige öffentliche Liste, welche Crawler im Detail erlaubt oder gesperrt sind. Sie stützen aber diese praktischen Schlussfolgerungen:

• Suchzugriffe qualifizierter „Accountable“-Betreiber können verfügbar bleiben, wenn Training untersagt ist. 5
• Die Kategorien Training und Agent lassen sich getrennt von Search blockieren. 10
• Die Einstellung, alle KI-Bots zu blockieren, bleibt als umfassendere Option bestehen. Sie eignet sich für eine generelle Sperre oder eine vorläufige Pause, ist aber weniger präzise als zweckbezogene Regeln. 7

Gerade für Websites, deren Reichweite stark von organischer Suche abhängt, entschärft das Update damit einen Zielkonflikt: Ein Trainings-Opt-out muss nicht zwangsläufig den Verlust der Suchpräsenz bedeuten.

Werbefinanzierte Seiten: neue Standardregeln seit September

Cloudflare hatte zuvor angekündigt, dass bei neuen Domains, die ab dem 15. September 2026 zu Cloudflare kommen, Crawler für Training und Agenten auf Seiten mit Werbung standardmäßig blockiert werden. 10 Dahinter steht ein publisherfreundlicher Ansatz: Für werbefinanzierte Inhalte sollen bei KI-Nutzungen restriktivere Voreinstellungen gelten.

Die frühere Regelung brachte allerdings ein Risiko mit sich. Wenn ein Crawler mehrere Zwecke erfüllte, konnte eine breit angelegte Kategoriensperre auch das Crawling für die Suche treffen. Das Modell aus „Disallow AI Training“ und „Accountable“ soll diesen Konflikt auflösen: Publisher können werbefinanzierte Inhalte gegen Training schützen und die Suchindexierung dort erhalten, wo der Crawler-Betreiber die Trennung verlässlich umsetzen kann. 5

Nicht vollständig dokumentiert ist in den vorliegenden Quellen, wie alle bereits bestehenden Domains migriert wurden oder welche Standardwerte für jeden Kontotyp galten. Wer eine länger bestehende Domain betreibt, sollte deshalb die tatsächlich hinterlegten Richtlinien prüfen, statt von den Vorgaben für neue Domains auf die eigene Konfiguration zu schließen.

Google-Extended, Applebot-Extended und Bings NOARCHIVE

Zweckbezogene Kontrollen gehen ein Problem an, das betreiberspezifische Direktiven bereits lösen sollten: Suchnutzung und KI-Nutzung desselben Unternehmens voneinander zu trennen.

Cloudflare hat Googles proprietäre Opt-out-Mechanismen wie Google-Extended und nosnippet thematisiert. Zugleich verweist das Unternehmen auf Rückmeldungen von Publishern, wonach diese Mechanismen nicht alle Nutzungen verhinderten, die sie kontrollieren wollten. 22 Die hier vorliegenden Materialien erlauben keine unabhängige Aussage über Reichweite oder aktuelles Verhalten von Google-Extended, Applebot-Extended oder Bings NOARCHIVE-Direktive.

Die übergeordnete Erkenntnis ist dennoch klar: Ein spezielles Opt-out oder eine „Accountable“-Zusage kann die Vorgabe ermöglichen: „Diese Seite für die Suche indexieren, aber nicht für Modelltraining verwenden.“ Eine pauschale Crawler-Sperre kann diese Unterscheidung nicht zuverlässig abbilden.

Warum feinere Regeln für Publisher wichtiger werden

Nach Cloudflares eigener Auswertung entfielen in den vorherigen zwölf Monaten 80 % des KI-Crawlings auf Training, 18 % auf Suche und 2 % auf nutzerveranlasste Aktionen. Die Einordnung beruht laut Cloudflare auf Angaben der Betreiber und Branchenquellen. 16

Diese Verteilung zeigt, weshalb ein einfacher KI-Schalter für viele Publisher zu grob sein dürfte. Eine Website kann Suchindexierung akzeptieren, die dauerhafte Übernahme von Inhalten in ein Modell durch Training ablehnen und den Echtzeit-Zugriff durch Agenten separat bewerten.

Cloudflare berichtete zudem 2025, dass sich mehr als 2,5 Millionen Websites dafür entschieden hatten, KI-Training über die verwaltete robots.txt-Funktion oder eine Regel zum Blockieren von KI-Crawlern vollständig zu untersagen. 13 Die September-Regeln eröffnen diesen Betreibern einen granulareren Weg, wenn ihnen zugleich Sichtbarkeit in Suchmaschinen wichtig ist.

Nächster Schritt: Kontrolle über KI-Zusammenfassungen

Cloudflare will Publishern nach eigenen Angaben Anfang 2027 detailliertere Kontrolle über KI-generierte Zusammenfassungen geben. 2 Die bereitgestellte Ankündigung bestätigt diese Richtung, nennt aber noch kein endgültiges Produktdesign, keine Durchsetzungsmethode und keine konkreten Auswahlmöglichkeiten.

Für den Moment ist die praktische Konsequenz einfach: Die Regeln für Search, Training und Agent sollten getrennt überprüft werden. Wer auf organische Auffindbarkeit angewiesen ist, sollte nicht automatisch davon ausgehen, dass eine KI-Beschränkung auch die Suche einschränken muss – insbesondere bei Crawler-Betreibern mit „Accountable“-Status. 5