Cloudflare inverte le regole del web: dal 15 settembre 2026 i crawler IA dovranno pagare per i contenuti

A partire dal 15 settembre 2026, Cloudflare bloccherà qualsiasi crawler IA che combini l'indicizzazione per la ricerca con l'addestramento di modelli o attività da agente sotto un unico user-agent, a meno che l'editore non scelga esplicitamente di abilitarlo .

Non è una semplice modifica alle impostazioni. Cloudflare, che gestisce circa il 20% del traffico web globale, sta ribaltando la regola predefinita di Internet: da un sistema basato sull'"opt-out" (crawler permessi a meno che non vengano bloccati esplicitamente) si passa a un sistema di "opt-in" per i crawler IA specifici . Per gli editori, significa una protezione di livello enterprise integrata. Per le aziende di IA, significa la fine dello scraping gratuito su larga scala dai siti protetti da Cloudflare.

La scadenza del 15 settembre 2026

Cloudflare ha fissato il 15 settembre 2026 come termine ultimo per le aziende di IA per separare i propri crawler web in categorie distinte e identificate, in base all'uso che verrà fatto dei contenuti raccolti. Qualsiasi crawler che non dichiari chiaramente il proprio scopo, o che abbini l'indicizzazione per la ricerca all'addestramento IA sotto un unico user-agent, verrà bloccato per impostazione predefinita sul traffico gestito da Cloudflare, in particolare sulle pagine che mostrano annunci pubblicitari .

Dopo questa data, i nuovi clienti Cloudflare e i siti web di nuova creazione avranno impostazioni predefinite che permetteranno solo crawler di ricerca chiaramente identificati, bloccando invece i crawler per addestramento IA e per agenti IA, a meno che l'editore non scelga esplicitamente di abilitarli . Anche gli utenti esistenti del piano gratuito che non aggiorneranno manualmente le proprie preferenze verranno migrati alle nuove impostazioni predefinite .

1. Nuove impostazioni predefinite: da opt-out a opt-in

In precedenza, il web funzionava con una norma di opt-out: i crawler erano autorizzati a meno che un sito non li bloccasse esplicitamente tramite robots.txt. Cloudflare ha ribaltato questa logica, introducendo un paradigma di opt-in per i crawler IA specifici .

• Per nuovi clienti e nuovi siti: i crawler IA utilizzati per l'addestramento o per azioni da agente sono bloccati per impostazione predefinita. Gli editori devono abilitarli attivamente .
• Per i clienti esistenti: le impostazioni non cambiano automaticamente, ma i proprietari possono (e sono fortemente invitati a) migrare ai nuovi controlli a tre categorie tramite il pannello di controllo di Cloudflare .
• Sulle pagine con annunci pubblicitari, in particolare: i crawler a uso misto (quelli che indicizzano per la ricerca e al contempo raccolgono dati per l'addestramento IA) verranno bloccati per impostazione predefinita, poiché la policy predefinita tratta il traffico non etichettato o "misto" come traffico di addestramento/agente .

2. Il sistema a tre categorie: Ricerca, Agente, Addestramento

Cloudflare ha introdotto una nuova classificazione che consente agli editori di impostare regole indipendenti per tre comportamenti dei bot, disponibile per tutti i clienti, inclusi quelli del piano gratuito :

Categoria	Definizione	Impostazione predefinita (dal 15 set.)
Ricerca	Crawler che indicizzano i contenuti per farli apparire nei risultati di ricerca e inviare traffico di riferimento all'editore.	Autorizzata per impostazione predefinita — questi bot generano lettori e entrate pubblicitarie.
Agente	Bot che agiscono per conto di un utente (es. assistenti IA che svolgono compiti, acquisti o prenotazioni).	Bloccato per impostazione predefinita — l'editore deve scegliere di abilitarlo.
Addestramento	Bot che raccolgono contenuti esclusivamente per addestrare modelli IA, senza inviare utenti o attribuzione.	Bloccato per impostazione predefinita — l'editore deve scegliere di abilitarlo.

Gli editori possono ora impostare una policy come "Autorizza Ricerca, Blocca Addestramento, Blocca Agente" da un unico pannello, anche nel piano gratuito . Questo è molto più granulare del tradizionale robots.txt, che consentiva solo un autorizza/blocca generico per user-agent. La documentazione ufficiale di Cloudflare definisce la Ricerca come un'attività per la quale i proprietari dei siti "dovrebbero aspettarsi traffico di riferimento o altra forma di compenso equo" .

3. Transizione dal Pay Per Crawl al Pay Per Use

Cloudflare ha introdotto per la prima volta il Pay Per Crawl nel luglio 2025 come beta privata: un mercato in cui gli editori potevano far pagare le aziende IA per ogni richiesta, utilizzando il codice di stato HTTP 402 ("Pagamento Richiesto") per negoziare l'accesso . Questo sistema consentiva agli editori di restituire una risposta 402 con informazioni sul prezzo quando un crawler non approvato richiedeva contenuti .

Nell'aprile 2026, quella che Cloudflare ha chiamato Agents Week (13-17 aprile), l'azienda ha evoluto questo concetto in un modello più ampio chiamato Pay Per Use, integrando il framework pay-per-crawl in un'unica console operativa disponibile su tutti i piani . La differenza chiave:

• Pay Per Crawl (beta 2025): un modello di microtransazione per singola richiesta: ogni richiesta di crawling attivava una negoziazione di pagamento tramite risposte HTTP 402 .
• Pay Per Use (2026 GA): un sistema più flessibile in cui gli editori possono impostare termini — canoni fissi, tariffe per richiesta o accesso in abbonamento — e le aziende IA possono gestire l'accesso in modo programmatico tramite il bot management e le regole WAF di Cloudflare .

L'implementazione di Stack Overflow (febbraio 2026) ha dimostrato la versione di produzione: il loro programma di licenza dei dati utilizza la categorizzazione dei bot di Cloudflare per inviare risposte 402 ai crawler non autorizzati, monetizzando su larga scala senza contratti personalizzati .

Cosa cambia per il settore

Per gli editori

• Nuova fonte di guadagno: le aziende IA dovranno ora pagare per i dati di addestramento provenienti da siti protetti da Cloudflare, invece di raccoglierli gratuitamente .
• Controllo granulare: gli editori possono mantenere i crawler di ricerca (che generano traffico pubblicitario) bloccando i bot di addestramento/agente, proteggendo sia le entrate pubblicitarie che il valore dei contenuti .
• Protezione predefinita: i piccoli editori, che non potevano permettersi un sistema di bot management personalizzato, ora dispongono di un blocco dei crawler IA di livello enterprise integrato .

Per le aziende di IA

• Aumento del costo dei dati di addestramento: il "pasto gratis" dello scraping su larga scala termina per i siti sulla rete Cloudflare (~20% del web) . Le aziende IA dovranno pagare gli editori o negoziare accordi di licenza.
• Crisi di identità dei crawler: le aziende IA devono rinnovare la propria infrastruttura di crawling entro il 15 settembre per separare il traffico di ricerca, addestramento e agente in user-agent distinti e identificabili, o rischiare di essere bloccate completamente .
• Google è il più colpito: il crawler di Google ha storicamente svolto un duplice scopo (indicizzazione per la ricerca e addestramento IA per Gemini/SGE). La policy di Cloudflare obbliga Google a separare il suo crawler o a far sì che il suo Googlebot venga bloccato sulle pagine Cloudflare con annunci .

Impatto più ampio sul settore

• Mossa che fa da standard: Cloudflare sta di fatto definendo un nuovo protocollo per l'etichetta dei crawler IA. Altri CDN e provider di hosting potrebbero seguire l'esempio .
• Content Signals Policy: Cloudflare ha introdotto un nuovo insieme di direttive leggibili dalle macchine in robots.txt che vanno oltre l'accesso a livello di pagina, consentendo agli editori di segnalare se i loro contenuti possono essere utilizzati per l'indicizzazione, l'addestramento IA o gli agenti IA . Questa è un'estensione del tradizionale robots.txt per coprire l'utilizzo post-accesso, non solo il permesso di crawling.