Come funziona il progetto pilota Cloudflare–OpenAI

Il progetto combina i dati della rete edge di Cloudflare con le capacità di ricerca di OpenAI. Secondo Matthew Prince, cofondatore e CEO di Cloudflare, l’obiettivo è usare «segnali di rete granulari» per rendere la ricerca AI più efficiente e aiutare gli utenti a ottenere risposte di qualità in meno tempo .

Cloudflare sostiene che la propria rete trasporti oltre il 20% del traffico web globale, offrendo così una prospettiva ampia sui cambiamenti e sui modelli di traffico delle pagine . Il progetto utilizza segnali anonimizzati e aggregati, tra cui:

• Freschezza dei contenuti: quanto recentemente una pagina è stata pubblicata o aggiornata.
• Qualità del traffico: modelli che possono indicare se una pagina è utilizzata attivamente e presenta segnali di affidabilità.
• Modifiche effettive della pagina: se e quanto spesso il contenuto cambia realmente sul server, invece di basarsi soltanto sulle date indicate nelle sitemap.

Queste informazioni possono aiutare un motore di ricerca AI a decidere quali pagine scansionare, quando eseguire una nuova scansione e quali contenuti potrebbero essere obsoleti o poco rilevanti. In questo modo si riducono le richieste superflue: una pagina non deve essere recuperata nuovamente se i segnali indicano che non è cambiata .

Il possibile risultato è un’indicizzazione più efficiente e risposte più aggiornate e accurate. Per gli operatori AI questo potrebbe significare meno costi infrastrutturali; per i siti web, meno scansioni inutili e una maggiore probabilità che i contenuti pertinenti vengano utilizzati e attribuiti correttamente.

La nuova classificazione dei crawler AI

Il progetto con OpenAI si inserisce nella strategia che Cloudflare ha presentato il 1° luglio con il nome “Content Independence Day” . Al posto della distinzione semplificata tra “bot AI” e “bot non AI”, Cloudflare propone tre categorie basate sul comportamento del crawler:

Cloudflare incoraggia le aziende che svolgono tutte e tre le attività a utilizzare crawler separati e facilmente identificabili. Per i gestori dei siti, sapere se una richiesta serve a produrre traffico di ricerca, a eseguire un’azione o ad addestrare un modello è essenziale per decidere quali accessi autorizzare .

Cosa cambia dal 15 settembre 2026

A partire dal 15 settembre 2026, le nuove impostazioni predefinite riguarderanno i nuovi clienti Cloudflare, i nuovi siti aggiunti dai clienti esistenti e gli account del piano gratuito . Sulle pagine che mostrano pubblicità:

• i crawler Training saranno bloccati per impostazione predefinita;
• i crawler Agent saranno bloccati per impostazione predefinita;
• i crawler a uso misto, che combinano funzioni di ricerca, addestramento e/o agenti, saranno bloccati per impostazione predefinita;
• i crawler Search-only resteranno autorizzati per impostazione predefinita, così da mantenere la presenza dei siti nei motori di ricerca tradizionali .

Il cambiamento più significativo riguarda i crawler a uso misto. Questi bot raccolgono contenuti per più scopi durante la stessa scansione, rendendo difficile per l’editore capire se i dati verranno utilizzati per generare traffico, alimentare un agente o addestrare un modello. Il blocco predefinito spinge quindi le aziende AI a separare le funzioni dei propri crawler oppure a rinunciare all’accesso alle pagine supportate dalla pubblicità .

Le impostazioni sono predefinite: i gestori dei siti possono modificarle dalla propria configurazione Cloudflare, secondo le opzioni disponibili per il loro account .

Dal Pay Per Crawl al Pay Per Use

Cloudflare sta anche cercando di cambiare il modo in cui viene remunerato l’accesso ai contenuti online. Nel 2025 aveva avviato in beta privata il modello Pay Per Crawl, che prevedeva un pagamento ogni volta che un crawler AI richiedeva una pagina. Il sistema utilizzava meccanismi già presenti nell’infrastruttura web, come intestazioni di richiesta, autenticazione e il codice HTTP 402 Payment Required per comunicare l’intento di pagamento e le condizioni di accesso .

Nel luglio 2026 la società ha invece presentato il modello Pay Per Use. In questo schema l’editore verrebbe pagato quando il proprio contenuto contribuisce realmente a una risposta AI, non semplicemente quando un bot lo scarica . Cloudflare lo descrive come una sorta di utenza a consumo per la ricerca AI: il pagamento dovrebbe essere legato al valore prodotto, anziché alla sola richiesta tecnica della pagina .

Il modello resta però un esperimento iniziale e un programma di ricerca. Cloudflare non ha ancora pubblicato prezzi definitivi, criteri per la divisione dei ricavi o una tempistica per la disponibilità generale .

Una nuova trattativa tra siti web e aziende AI

Le iniziative annunciate da Cloudflare seguono una logica comune:

1. Più trasparenza: crawler distinti rendono più chiaro se un’azienda sta indicizzando contenuti, utilizzandoli tramite un agente o raccogliendoli per l’addestramento.
2. Più controllo per gli editori: le impostazioni predefinite limitano i comportamenti più invasivi sulle pagine pubblicitarie, mantenendo al contempo la possibilità di essere scoperti nella ricerca tradizionale.
3. Un possibile livello di compensazione: Pay Per Use prova a superare il vecchio scambio implicito tra scansione gratuita e traffico di ritorno, collegando il pagamento all’effettivo utilizzo del contenuto.
4. Una ricerca AI più efficiente: il progetto con OpenAI punta a usare i segnali della rete per evitare nuove scansioni quando una pagina non è cambiata e per dare maggiore priorità ai contenuti freschi e rilevanti .

Il progetto pilota non introduce da solo un nuovo sistema universale di pagamento per il web. È piuttosto un test su come i dati di rete possano migliorare la ricerca AI, mentre le nuove classificazioni dei crawler e il modello Pay Per Use cercano di ridefinire le regole economiche e operative dell’accesso ai contenuti online.

Come funziona il progetto pilota Cloudflare–OpenAI

Il progetto combina i dati della rete edge di Cloudflare con le capacità di ricerca di OpenAI. Secondo Matthew Prince, cofondatore e CEO di Cloudflare, l’obiettivo è usare «segnali di rete granulari» per rendere la ricerca AI più efficiente e aiutare gli utenti a ottenere risposte di qualità in meno tempo .

Cloudflare sostiene che la propria rete trasporti oltre il 20% del traffico web globale, offrendo così una prospettiva ampia sui cambiamenti e sui modelli di traffico delle pagine . Il progetto utilizza segnali anonimizzati e aggregati, tra cui:

• Freschezza dei contenuti: quanto recentemente una pagina è stata pubblicata o aggiornata.
• Qualità del traffico: modelli che possono indicare se una pagina è utilizzata attivamente e presenta segnali di affidabilità.
• Modifiche effettive della pagina: se e quanto spesso il contenuto cambia realmente sul server, invece di basarsi soltanto sulle date indicate nelle sitemap.

Queste informazioni possono aiutare un motore di ricerca AI a decidere quali pagine scansionare, quando eseguire una nuova scansione e quali contenuti potrebbero essere obsoleti o poco rilevanti. In questo modo si riducono le richieste superflue: una pagina non deve essere recuperata nuovamente se i segnali indicano che non è cambiata .

Il possibile risultato è un’indicizzazione più efficiente e risposte più aggiornate e accurate. Per gli operatori AI questo potrebbe significare meno costi infrastrutturali; per i siti web, meno scansioni inutili e una maggiore probabilità che i contenuti pertinenti vengano utilizzati e attribuiti correttamente.

La nuova classificazione dei crawler AI

Il progetto con OpenAI si inserisce nella strategia che Cloudflare ha presentato il 1° luglio con il nome “Content Independence Day” . Al posto della distinzione semplificata tra “bot AI” e “bot non AI”, Cloudflare propone tre categorie basate sul comportamento del crawler:

Cloudflare incoraggia le aziende che svolgono tutte e tre le attività a utilizzare crawler separati e facilmente identificabili. Per i gestori dei siti, sapere se una richiesta serve a produrre traffico di ricerca, a eseguire un’azione o ad addestrare un modello è essenziale per decidere quali accessi autorizzare .

Cosa cambia dal 15 settembre 2026

A partire dal 15 settembre 2026, le nuove impostazioni predefinite riguarderanno i nuovi clienti Cloudflare, i nuovi siti aggiunti dai clienti esistenti e gli account del piano gratuito . Sulle pagine che mostrano pubblicità:

• i crawler Training saranno bloccati per impostazione predefinita;
• i crawler Agent saranno bloccati per impostazione predefinita;
• i crawler a uso misto, che combinano funzioni di ricerca, addestramento e/o agenti, saranno bloccati per impostazione predefinita;
• i crawler Search-only resteranno autorizzati per impostazione predefinita, così da mantenere la presenza dei siti nei motori di ricerca tradizionali .

Il cambiamento più significativo riguarda i crawler a uso misto. Questi bot raccolgono contenuti per più scopi durante la stessa scansione, rendendo difficile per l’editore capire se i dati verranno utilizzati per generare traffico, alimentare un agente o addestrare un modello. Il blocco predefinito spinge quindi le aziende AI a separare le funzioni dei propri crawler oppure a rinunciare all’accesso alle pagine supportate dalla pubblicità .

Le impostazioni sono predefinite: i gestori dei siti possono modificarle dalla propria configurazione Cloudflare, secondo le opzioni disponibili per il loro account .

Dal Pay Per Crawl al Pay Per Use

Cloudflare sta anche cercando di cambiare il modo in cui viene remunerato l’accesso ai contenuti online. Nel 2025 aveva avviato in beta privata il modello Pay Per Crawl, che prevedeva un pagamento ogni volta che un crawler AI richiedeva una pagina. Il sistema utilizzava meccanismi già presenti nell’infrastruttura web, come intestazioni di richiesta, autenticazione e il codice HTTP 402 Payment Required per comunicare l’intento di pagamento e le condizioni di accesso .

Nel luglio 2026 la società ha invece presentato il modello Pay Per Use. In questo schema l’editore verrebbe pagato quando il proprio contenuto contribuisce realmente a una risposta AI, non semplicemente quando un bot lo scarica . Cloudflare lo descrive come una sorta di utenza a consumo per la ricerca AI: il pagamento dovrebbe essere legato al valore prodotto, anziché alla sola richiesta tecnica della pagina .

Il modello resta però un esperimento iniziale e un programma di ricerca. Cloudflare non ha ancora pubblicato prezzi definitivi, criteri per la divisione dei ricavi o una tempistica per la disponibilità generale .

Una nuova trattativa tra siti web e aziende AI

Le iniziative annunciate da Cloudflare seguono una logica comune:

1. Più trasparenza: crawler distinti rendono più chiaro se un’azienda sta indicizzando contenuti, utilizzandoli tramite un agente o raccogliendoli per l’addestramento.
2. Più controllo per gli editori: le impostazioni predefinite limitano i comportamenti più invasivi sulle pagine pubblicitarie, mantenendo al contempo la possibilità di essere scoperti nella ricerca tradizionale.
3. Un possibile livello di compensazione: Pay Per Use prova a superare il vecchio scambio implicito tra scansione gratuita e traffico di ritorno, collegando il pagamento all’effettivo utilizzo del contenuto.
4. Una ricerca AI più efficiente: il progetto con OpenAI punta a usare i segnali della rete per evitare nuove scansioni quando una pagina non è cambiata e per dare maggiore priorità ai contenuti freschi e rilevanti .

Il progetto pilota non introduce da solo un nuovo sistema universale di pagamento per il web. È piuttosto un test su come i dati di rete possano migliorare la ricerca AI, mentre le nuove classificazioni dei crawler e il modello Pay Per Use cercano di ridefinire le regole economiche e operative dell’accesso ai contenuti online.