Cloudflare, nuove impostazioni per i crawler AI: cosa viene bloccato e cosa resta consentito

Cloudflare ha introdotto dal 15 settembre 2026 impostazioni predefinite più selettive per il traffico automatizzato legato all’AI. Per i nuovi domini che entrano nella sua rete, i crawler classificati come Training o Agent vengono bloccati per impostazione predefinita nelle pagine in cui Cloudflare rileva pubblicità; i crawler Search, invece, restano consentiti. 215

Non è quindi un blocco generalizzato dell’intelligenza artificiale. La distinzione è basata sul comportamento del crawler e riguarda, di default, le sole pagine che mostrano annunci.

Le tre categorie: Search, Training e Agent

Cloudflare separa il traffico automatizzato in tre tipologie configurabili indipendentemente. 13

Categoria	Che cosa comprende	Impostazione predefinita per i nuovi domini, nelle pagine con annunci
Search	Raccolta o indicizzazione dei contenuti per rispondere a domande in un secondo momento	Consentito
Training	Raccolta dei contenuti per addestrare o rifinire un modello	Bloccato
Agent	Attività automatizzata in tempo reale per conto di una persona, come bot che recuperano contenuti in chat o agenti che usano il browser	Bloccato

Per ciascuna categoria, il proprietario del sito può scegliere fra tre opzioni:

1. Consentire il traffico;
2. Bloccarlo nelle pagine che mostrano annunci;
3. Bloccarlo in tutte le pagine. 23

In pratica, un editore può lasciare disponibile l’indicizzazione per la ricerca, limitando invece i crawler che usano i contenuti per addestrare modelli o per eseguire richieste AI in tempo reale.

Quali siti sono interessati

La documentazione di Cloudflare indica che il nuovo comportamento predefinito si applica ai domini che vengono appena integrati nella rete. 215 Le cronache del lancio includono anche i nuovi siti aggiunti da clienti già esistenti e gli account del piano Free che non hanno modificato manualmente le impostazioni. 23

Per chi usa già Cloudflare, non è prudente dare per scontato che ogni zona esistente riceva automaticamente la stessa configurazione: contano lo stato di onboarding del dominio, il piano e le impostazioni già presenti. La verifica più affidabile è controllare i controlli per i crawler AI nella dashboard della propria zona. 23

Il punto critico: i crawler multiuso e l’indicizzazione

La categoria assegnata a un crawler non coincide sempre con una sola attività. Cloudflare spiega che i crawler che combinano Search e Training vengono valutati in base a tutti i loro comportamenti, applicando la regola pertinente più restrittiva. 2615

La conseguenza può essere rilevante per la SEO: se un sito blocca il Training, anche un crawler considerato al tempo stesso Search e Training può perdere l’accesso per la normale scansione destinata alla ricerca. Nella documentazione e nella copertura del lancio vengono citati Googlebot, Applebot e BingBot fra gli esempi di crawler multiuso coinvolti da questa regola. 26

In altre parole, consentire Search non garantisce automaticamente l’accesso a un bot che Cloudflare classifica anche come Training. Prima di applicare un blocco totale del Training, conviene quindi valutare il possibile impatto sull’indicizzazione. 24

Attenzione alla vecchia opzione “Block AI bots”

Cloudflare ha chiarito che le configurazioni che bloccano l’addestramento AI, inclusa la vecchia opzione “Block AI bots”, si applicano anche ai crawler misti Search e Training. 2

Successive notizie sul rollout di settembre hanno riferito di un nuovo approccio, “Disallow AI Training”, pensato per dichiarare il rifiuto dell’addestramento senza impedire a Googlebot, Applebot e BingBot di eseguire la scansione per la ricerca quando il crawler è designato come “Accountable”. Poiché il comportamento e la migrazione possono dipendere dall’impostazione selezionata, gli amministratori dovrebbero verificare il controllo attualmente visualizzato nella dashboard Cloudflare, anziché affidarsi al nome di una vecchia levetta. 4

Perché Cloudflare separa ricerca e uso AI dei contenuti

La nuova distinzione risponde a una preoccupazione diffusa tra gli editori. Nel modello tradizionale dei motori di ricerca, un crawler esplora e indicizza una pagina e può rimandare lettori al sito sorgente. I servizi di AI generativa, invece, possono usare il materiale per addestrare modelli oppure fornire risposte recuperate direttamente nella propria interfaccia, con un ritorno potenzialmente minore in termini di visite al sito d’origine.

Cloudflare definisce Search come traffico dal quale un editore dovrebbe aspettarsi referral o una compensazione equivalente; Training e Agent descrivono invece usi che acquisiscono o impiegano i contenuti in modo diverso. 13 L’obiettivo dei controlli è consentire ai proprietari di mantenere l’automazione da cui ritengono di ottenere valore e limitare quella che non lo produce.

La domanda, quindi, non è soltanto se un bot sia “AI”: conta se la sua attività favorisce la scoperta dei contenuti e restituisce valore al sito, oppure se consuma soprattutto quel materiale per l’addestramento o per attività AI in tempo reale. 13

Cosa dovrebbero fare i proprietari di siti

Prima di modificare le impostazioni, vale la pena esaminare la configurazione comportamento per comportamento:

• mantenere Search consentito se sono prioritarie indicizzazione e potenziale traffico di referral;
• scegliere il blocco nelle pagine con annunci se si vuole proteggere il contenuto monetizzato senza estendere la restrizione a tutto il sito;
• usare il blocco in tutte le pagine solo dopo aver considerato se il crawler svolge anche attività Search;
• ricontrollare ogni configurazione legacy “Block AI bots”, soprattutto quando è importante mantenere la visibilità nella ricerca di Google, Apple o Bing. 236

Le impostazioni di settembre offrono agli editori un controllo più granulare, ma la classificazione dei crawler multiuso rende questa scelta anche una decisione SEO, non soltanto una politica sull’AI.