Cloudflare: bloccare l’addestramento AI senza perdere visibilità nei motori di ricerca

Cloudflare punta a risolvere un dilemma concreto per editori, aziende e gestori di siti: impedire che i contenuti vengano usati per addestrare modelli di intelligenza artificiale senza, per questo, scomparire dai normali risultati di ricerca.

Il 15 settembre 2026 l’azienda ha lanciato Disallow AI Training, un’impostazione che comunica il rifiuto dell’addestramento e blocca il traffico dei crawler interessati, preservando però l’accesso per la ricerca dei crawler a uso misto che soddisfano determinati requisiti. 720

Ricerca e addestramento non sono più la stessa cosa

Cloudflare supera il precedente approccio Block AI Bots, più generalizzato, con tre controlli separati per altrettanti utilizzi del crawling:

• Search: scansione finalizzata a indicizzare i contenuti nei motori di ricerca;
• Training: uso dei contenuti per addestrare o rifinire un modello;
• Agent: traffico generato da agenti IA che agiscono per conto di un utente.

La distinzione permette al titolare di un sito di scegliere regole diverse per ciascun caso, invece di dover accettare un blocco indiscriminato. I controlli e le impostazioni consigliate sono diventati disponibili con il lancio del 15 settembre. 1320

Per chi vuole restare trovabile sui motori di ricerca ma non autorizzare l’uso dei propri contenuti nell’addestramento, l’opzione rilevante è Disallow AI Training. La funzione pubblica questa preferenza tramite gli strumenti di Cloudflare per le policy dei bot e per robots.txt, applicando al tempo stesso regole di blocco al traffico destinato al training. 167

Cosa resta accessibile con Disallow AI Training

Alcuni crawler possono avere più di uno scopo. Googlebot, Applebot e Bingbot, per esempio, effettuano la scansione per l’indicizzazione, mentre le rispettive aziende possono avere anche utilizzi legati all’IA. La policy di Cloudflare separa l’attività di ricerca da quella di addestramento.

Quando è attivata l’opzione Disallow AI Training:

• un crawler a uso misto riconosciuto come Accountable può continuare ad accedere al sito per l’indicizzazione nella ricerca;
• il suo operatore deve rispettare il divieto di impiegare quei contenuti per l’addestramento IA;
• i crawler dedicati all’addestramento e quelli a uso misto i cui operatori non sono Accountable vengono bloccati dalla policy di divieto del training. 71724

È una differenza rilevante rispetto all’opzione più drastica Block. Un blocco totale può fermare Googlebot, Applebot e Bingbot anche nell’attività di ricerca; non è quindi la scelta adatta a chi vuole mantenere la visibilità organica. 1728

Che cos’è la qualifica “Accountable”

Accountable è la definizione usata da Cloudflare per gli operatori di crawler a uso misto che rispettano, oppure si sono impegnati a rispettare entro una tempistica definita, gli standard dell’azienda per separare la ricerca dagli utilizzi IA. Apple, Google e Microsoft sono i primi operatori a ottenere questa qualifica. 72023

Non equivale a un’autorizzazione generale all’uso IA dei contenuti. Al contrario, è il criterio con cui Cloudflare consente a un crawler a uso misto di conservare l’accesso per la ricerca dopo che il sito ha scelto di vietare l’addestramento.

I quattro requisiti

Secondo Cloudflare, un operatore deve soddisfare o impegnarsi a soddisfare quattro condizioni:

1. Un meccanismo di opt-out dall’addestramento, tramite robots.txt o uno standard equivalente.
2. Un opt-out dalle sintesi di ricerca generate dall’IA, già disponibile oppure previsto entro una scadenza indicata.
3. Visibilità a livello di URL su come i contenuti siano usati per ricerca e addestramento.
4. Una conferma pubblica che il rifiuto dell’addestramento non comporterà l’esclusione dalla normale ricerca. 2324

L’obiettivo è rendere verificabile, almeno in linea di principio, la separazione tra indicizzazione e training: i proprietari dei siti devono poter dichiarare una preferenza e capire come vengono usati i loro contenuti.

Quali crawler possono continuare a fare crawling

Con Disallow AI Training, il punto non è semplicemente se un bot appartenga o meno a un’azienda attiva nell’IA. Conta piuttosto se sia un crawler a uso misto il cui operatore abbia ottenuto lo status Accountable.

Categoria di crawler	Trattamento con Disallow AI Training
Crawler di ricerca a uso misto Accountable, tra cui Googlebot, Applebot e Bingbot	Possono restare autorizzati per l’indicizzazione 1722
Crawler dedicati all’addestramento IA	Bloccati 1722
Crawler a uso misto senza status Accountable	Bloccati per l’accesso finalizzato all’addestramento 24

Il modello offre quindi una policy più selettiva rispetto al blocco universale dei bot IA: l’accesso per la ricerca viene mantenuto solo dove l’operatore si è impegnato a rispettare il divieto distinto sull’addestramento.

Il ruolo di Google-Extended, Applebot-Extended e Bingbot

La funzione Bot Preference Sync di Cloudflare mantiene allineato il file robots.txt alle preferenze configurate nella dashboard Cloudflare per Search, Agent e Training. 16

Per Google e Apple, i controlli relativi all’addestramento sono separati dai rispettivi crawler di ricerca:

• Google-Extended è il token di opt-out di Google relativo agli usi per addestramento. È distinto da Googlebot: il rifiuto del training può quindi essere espresso senza bloccare di per sé l’indicizzazione su Google Search. 27
• Applebot-Extended è il controllo corrispondente di Apple e permette di tenere separato il ruolo di ricerca di Applebot dall’opt-out per l’addestramento IA. 1727
• Bingbot può restare autorizzato per la ricerca nel modello Accountable di Cloudflare. Il quadro Accountable contempla anche capacità che un operatore si è impegnato a rendere disponibili entro una data definita, senza implicare che ogni funzione sia già operativa presso tutti gli operatori. 723

Le impostazioni predefinite per i nuovi domini

Cloudflare aveva annunciato nuove impostazioni predefinite dal 15 settembre 2026. Per i nuovi domini che vengono attivati su Cloudflare, le categorie Training e Agent sono bloccate per impostazione predefinita nelle pagine che mostrano annunci pubblicitari. 13

Non si tratta di un blocco dell’intero sito dalla ricerca. È invece un’ulteriore applicazione dei controlli differenziati pensati per gli editori. Le fonti disponibili non stabiliscono una regola precisa di migrazione automatica valida per tutti i clienti già esistenti: è quindi opportuno verificare le impostazioni della singola zona per Search, Training e Agent, anziché presumere che una configurazione precedente sia stata modificata automaticamente.

Cosa dovrebbero fare editori e proprietari di siti

In pratica:

• scegliere Disallow AI Training se si vuole restare presenti nella ricerca ma negare l’uso dei contenuti per addestrare modelli;
• usare una policy Block più ampia solo se si accetta di limitare anche l’accesso del crawler interessato per la ricerca;
• controllare separatamente le impostazioni Search, Training e Agent, soprattutto per le pagine con pubblicità e per i domini che dispongono già di regole sui bot. 131720

I controlli non eliminano la necessità che gli operatori dei crawler rispettino le preferenze pubblicate dai siti. Ma definiscono un confine più chiaro: l’indicizzazione nei motori di ricerca può rimanere consentita mentre l’addestramento IA viene esplicitamente rifiutato, a condizione che l’operatore del crawler soddisfi gli standard Accountable di Cloudflare. 724