Cloudflare och OpenAI testar realtidssignaler för smartare AI-sökningar

Tanken är att en AI-sökmotor ska kunna avgöra vad som bör genomsökas, när en sida behöver genomsökas på nytt och vilket innehåll som kan vara inaktuellt eller mindre relevant. Då behöver sökmotorn inte hämta varje sida på måfå .

Det kan ge effektivare indexering och mer aktuella svar. För webbplatsägare kan det samtidigt innebära färre onödiga förfrågningar, medan AI-företag kan minska kostnaderna för infrastruktur och datainsamling.

Cloudflares större förändring av AI-trafik

Samarbetet med OpenAI passar in i ett bredare initiativ som Cloudflare kallade ”Content Independence Day” den 1 juli 2026 ^TBB. I stället för att bara fråga om en crawler är en ”AI-bot” eller inte, vill Cloudflare klassificera den efter vad den faktiskt gör.

Tre kategorier av AI-crawlers

Cloudflare uppmanar företag som använder alla tre funktionerna att köra separata och tydligt identifierbara crawlers för varje ändamål ^T. Det skulle ge webbplatsägare bättre möjlighet att säga ja till exempelvis sökindexering, men nej till modellträning.

Nya standardinställningar från den 15 september 2026

Från och med 15 september 2026 ska nya standardinställningar gälla för nya Cloudflare-kunder, nya webbplatser hos befintliga kunder och konton på gratisnivån ^TBB. På sidor som visar annonser innebär standardläget i huvudsak följande:

• Training-crawlers blockeras som standard.
• Agent-crawlers blockeras som standard.
• Crawlers med blandad användning – alltså botar som kombinerar sökning, agentfunktioner och/eller träning – blockeras som standard på sidor med annonser ^TB.
• Search-crawlers tillåts som standard, så att webbplatser fortsatt kan hittas i traditionella sökningar.

Den mest betydande förändringen gäller de blandade crawlers som samlar in material för flera ändamål i samma besök. Då kan webbplatsägaren inte se om åtkomsten används för sökindexering, AI-agenter eller modellträning. Cloudflares standardblockering pressar därför AI-företag att separera sina crawlers – annars riskerar de att förlora åtkomst till annonsfinansierade sidor ^TB.

Det är viktigt att skilja på en standardinställning och ett generellt betalningskrav. Webbplatsägare kan ändra inställningarna, och den 15 september införs inte automatiskt en avgift för all AI-trafik.

Från Pay Per Crawl till Pay Per Use

Cloudflare experimenterar också med hur innehållsägare kan få ersättning när AI-företag använder deras material. Företaget går från den tidigare modellen Pay Per Crawl, som presenterades i en privat betaversion 2025, mot en modell kallad Pay Per Use ^BB.

• Pay Per Crawl: AI-företaget debiteras när en crawler hämtar innehåll. Den tidigare modellen byggde på befintlig webbteknik, bland annat HTTP-statuskoder och autentisering ^B.
• Pay Per Use: Innehållsägaren får betalt när materialet faktiskt bidrar till ett AI-svar – inte bara när en bot hämtar sidan ^B.

Cloudflare beskriver idén som en slags mätbar nyttotjänst för AI-sökning: betalningen ska kopplas till värdet som innehållet skapar, snarare än till själva åtkomsten ^B.

Pay Per Use är fortfarande ett tidigt experiment och ett forskningsprogram. Cloudflare har ännu inte offentliggjort exakta priser, hur intäkterna ska delas eller när modellen kan bli allmänt tillgänglig ^B.

Vad betyder förändringarna tillsammans?

De olika delarna – forskningsprojektet med OpenAI, den nya crawler-indelningen, standardblockeringarna och Pay Per Use – pekar mot samma mål ^TBB:

1. Ökad transparens: Separata crawlers ska göra det tydligare om trafiken gäller sökning, agenter eller träning.
2. Större kontroll för webbplatsägare: Standardläget begränsar de mest omfattande formerna av datainsamling, samtidigt som traditionell sökbarhet bevaras.
3. En möjlig ersättningsmodell: Pay Per Use försöker ersätta den gamla balansen ”gratis genomsökning i utbyte mot hänvisningstrafik” med betalning kopplad till faktisk användning.
4. Effektivare AI-sökning: Cloudflares realtidssignaler ska hjälpa OpenAI och andra AI-söktjänster att genomsöka färre sidor i onödan och prioritera innehåll som är färskt och relevant.

För användaren kan resultatet bli snabbare och mer aktuella AI-svar. För publicister handlar frågan samtidigt om kontroll, synlighet och om att få ersättning när deras journalistik eller annat innehåll används för att formulera svar.