Cloudflare und OpenAI starten Forschungspilot: Echtzeit-Netzsignale sollen KI-Suche intelligenter machen

Am 8. Juli 2026 gaben Cloudflare und OpenAI den Start eines beispiellosen Forschungspiloten bekannt. Ziel ist es, mithilfe von Echtzeit-Signalen aus Cloudflares globalem Netzwerk die Indexierung und Qualität von KI-Suchergebnissen zu verbessern . Der Pilot ist der jüngste Baustein einer umfassenderen Cloudflare-Strategie, die am 1. Juli 2026 vorgestellt wurde. Diese sieht eine Neuklassifizierung von KI-Crawlern in drei verhaltensbasierte Kategorien vor, führt ab dem 15. September 2026 neue Standard-Blockaden für gemischt genutzte Crawler ein und experimentiert mit einem „Pay-per-Use“-Vergütungsmodell für Publisher ^TBB.

Der Cloudflare-OpenAI-Forschungspilot

Was ist das?

Cloudflare und OpenAI starten einen gemeinsamen Forschungspilot, der die Daten von Cloudflares Edge-Netzwerk mit den hochmodernen Suchfunktionen von OpenAI kombiniert . Cloudflare-CEO Matthew Prince erklärte, das Ziel sei es, „feingranulare Netzwerksignale zu nutzen, um bessere Wege zur Steigerung der KI-Sucheffizienz zu finden, damit Nutzer schneller hochwertige Antworten erhalten“ .

Wie funktioniert es (Echtzeit-Netzwerksignale)?

Der Pilot verwendet anonymisierte, aggregierte Signale aus Cloudflares Netzwerk, das mehr als 20 % des globalen Webverkehrs abwickelt . Zu den spezifischen Signalen gehören:

• Aktualität von Inhalten: Wie kürzlich eine Seite aktualisiert oder erstellt wurde.
• Traffic-Qualität: Muster, die darauf hinweisen, ob eine Seite aktiv genutzt und vertrauenswürdig ist.
• Tatsächliche Seitenänderungsdaten: Ob und wie oft sich der Inhalt auf dem Server tatsächlich ändert, anstatt sich auf Sitemap-Zeitstempel zu verlassen.

Diese Signale helfen einer KI-Suchmaschine zu entscheiden, was gecrawlt werden soll, wann ein erneuter Crawl nötig ist und welche Inhalte wahrscheinlich veraltet oder minderwertig sind – ohne jede Seite spekulativ abrufen zu müssen . Das Ergebnis sind eine effizientere Indexierung und zeitnähere, genauere Antworten.

Die übergeordnete Strategie: Die Richtlinien-Überholung vom 1. Juli 2026

Der OpenAI-Pilot ist Teil einer viel größeren Reihe von Richtlinien- und Produktänderungen, die Cloudflare am 1. Juli 2026 ankündigte – und als „Tag der Unabhängigkeit der Inhalte“ („Content Independence Day“) bezeichnete ^TBB.

Neue Drei-Kategorien-Taxonomie für KI-Crawler

Cloudflake löste sich von der einfachen Einteilung „KI-Bot oder nicht“ und verlangt nun, dass alle Crawler in eine oder mehrere von drei Kategorien eingeordnet werden ^TB:

Kategorie	Verhalten	Beispiel
Suche (Search)	Indexieren von Inhalten, um später Fragen zu beantworten. Seitenbetreiber sollten Referral-Traffic oder eine Vergütung erhalten.	Standard-Suchmaschinen-Crawler
Agent	Echtzeit-Automatisierungshandlungen im Namen eines Nutzers (Chat-Abruf, Browser-Agenten).	ChatGPT-User, Claude, Gemini Agenten
Training	Crawlen zum Trainieren oder Feintunen eines Modells. Daten werden dauerhaft in das Modell aufgenommen.	Bulk-Training-Crawler

Cloudflare „ermutigt ausdrücklich“ Unternehmen, die alle drei Zwecke verfolgen, separate, identifizierbare Crawler für jeden Zweck zu betreiben ^T.

Neue Standardeinstellungen ab dem 15. September 2026

Ab dem 15. September 2026 wird Cloudflare neue Standardeinstellungen für alle Neukunden, neue Seiten bestehender Kunden und Konten des Free-Tarifs durchsetzen ^TBB:

• Training-Crawler → Standardmäßig blockiert auf Werbeseiten.
• Agent-Crawler → Standardmäßig blockiert auf Werbeseiten.
• Mixed-Use-Crawler (Bots, die Such-, Trainings- und/oder Agentenfunktionen in einem Durchgang kombinieren) → Standardmäßig blockiert auf allen Seiten, die Werbung enthalten ^TB.
• Reine Such-Crawler → Standardmäßig erlaubt, damit Seiten in der traditionellen Suche auffindbar bleiben.

Die schärfste Änderung betrifft Mixed-Use-Crawler: Diese Bots sammeln Inhalte für Suche und KI-Training in einem einzigen Durchgang, was es für Seitenbetreiber unmöglich macht, den Zweck der Datenerhebung zu unterscheiden. Cloudflares Standard-Blockade zwingt KI-Unternehmen dazu, ihre Crawler entweder aufzuteilen oder den Zugang zu werbefinanzierten Seiten zu verlieren ^TB.

Pay per Use: Experimente mit Vergütung für Publisher

Am 1. Juli 2026 kündigte Cloudflare außerdem an, von seinem früheren Pay-per-Crawl-Modell (angekündigt 2025) auf ein Pay-per-Use-Modell umzustellen ^BB:

• Pay per Crawl (private Beta 2025): KI-Unternehmen zahlten jedes Mal, wenn ein Crawler eine Inhaltsanfrage stellte, unter Verwendung von HTTP-Statuscodes und Authentifizierung ^B.
• Pay per Use (angekündigt Juli 2026): Publisher werden vergütet, wenn ihre Inhalte tatsächlich eine KI-Antwort antreiben, nicht nur, wenn sie gecrawlt werden ^B. Dies wird als „verbrauchsabhängiger Versorgungsdienst“ („metered utility“) für die KI-Suche beschrieben – das KI-Unternehmen zahlt für den gelieferten Wert, nicht für den reinen Zugriff ^B.

Das Pay-per-Use-Modell wird weiterhin als „frühes Experiment“ und „Forschungsprogramm“ beschrieben ^B. Genaue Preise, Umsatzbeteiligungen und der Zeitplan für die allgemeine Verfügbarkeit wurden noch nicht veröffentlicht.

Wie die Teile zusammenspielen

Der OpenAI-Forschungspilot, die Drei-Kategorien-Taxonomie, die Standard-Blockaden für Mixed-Use-Crawler und die Pay-per-Use-Experimente sind alle Teil einer kohärenten Strategie ^TBB:

1. Transparenz erzwingen – Durch die Forderung nach separaten Crawlern für Suche, Training und Agenten können Seitenbetreiber endlich sehen, was jeder Bot tut.
2. Kontrolle für Seitenbetreiber schaffen – Die Standardeinstellungen blockieren die ausbeuterischsten Verhaltensweisen (Training, Agenten, Mixed-Use), während die Auffindbarkeit erhalten bleibt (Suche erlaubt).
3. Vergütungsschicht aufbauen – Pay per Use ersetzt den brüchigen Deal „crawlen umsonst, dafür Verweise“ durch eine Bezahlung, die an die tatsächliche Generierung von KI-Antworten geknüpft ist.
4. KI-Suche intelligenter machen – Der OpenAI-Pilot nutzt Cloudflares Echtzeit-Signale, um unnötiges Crawlen zu reduzieren und die Aktualität und Genauigkeit von KI-Antworten zu verbessern, was sowohl Publishern (bessere Zuordnung) als auch KI-Unternehmen (niedrigere Infrastrukturkosten) zugutekommt.