Cloudflare: restare visibili nella ricerca bloccando l’addestramento IA

Cloudflare ha introdotto il 15 settembre 2026 Disallow AI Training, un’impostazione pensata per risolvere un problema concreto per editori e gestori di siti: rifiutare l’uso dei propri contenuti per addestrare modelli di IA senza rinunciare automaticamente alla visibilità nei risultati di ricerca.

La novità è accompagnata dalla designazione Accountable: identifica gli operatori di bot che già rispettano questa preferenza, oppure che si sono impegnati concretamente a farlo secondo la tempistica indicata da Cloudflare. Apple, Google e Microsoft rientrano in questo modello. 5

Non conta soltanto quale bot arriva, ma perché accede al sito

I nuovi controlli di Cloudflare separano il traffico dei crawler in tre finalità, configurabili in modo indipendente:

• Search: scansione finalizzata all’indicizzazione dei contenuti nei motori di ricerca;
• Training: acquisizione dei contenuti per addestrare o fare fine-tuning di un modello IA;
• Agent: recupero di contenuti durante l’esecuzione di un’azione richiesta da un utente. 10

La distinzione è rilevante perché la stessa infrastruttura di crawling può essere impiegata per più scopi. In precedenza, bloccare un crawler associato all’IA poteva compromettere anche la normale presenza del sito nella ricerca. Con Disallow AI Training, il proprietario di un sito può adottare una scelta più mirata: consentire l’accesso per l’indicizzazione e negarlo per il training. 5

Cosa indica la qualifica “Accountable”

Cloudflare assegna la designazione Accountable agli operatori in grado di distinguere tra indicizzazione per la ricerca e utilizzo per l’addestramento, rispettando la preferenza espressa dal sito. Apple, Google e Microsoft onorano la nuova impostazione oppure hanno assunto l’impegno di onorarla nei tempi dichiarati da Cloudflare. 5

Per un editore, il punto è pratico: un crawler utile alla ricerca non dovrebbe essere bloccato integralmente solo perché il suo operatore usa anche sistemi di IA per il training. Gli operatori a uso misto che soddisfano i requisiti possono quindi continuare a indicizzare le pagine per la ricerca dopo l’attivazione del divieto di training. 5

L’annuncio disponibile descrive lo standard a livello generale, ma non consente di verificare nel dettaglio date di implementazione, comportamento dei singoli crawler o tutti gli impegni tecnici di ciascun operatore. È quindi opportuno controllare impostazioni dei bot e dati di scansione del proprio sito, senza presumere un comportamento identico da parte di tutti.

Cosa può continuare a passare e cosa viene fermato

La nuova impostazione mira a conservare l’indicizzazione nei motori di ricerca per i crawler a uso misto Accountable, respingendo invece l’uso dei contenuti per il training. Cloudflare presenta esplicitamente la funzione come un modo per rimanere indicizzati nella ricerca e, allo stesso tempo, rifiutare l’addestramento da parte di quel crawler. 5

Il materiale fornito non definisce un elenco pubblico completo, crawler per crawler, di ciò che viene consentito o bloccato. Consente però di trarre alcune conclusioni operative:

• l’accesso per la ricerca da parte degli operatori Accountable idonei può restare disponibile quando il training è disattivato; 5
• le categorie Training e Agent possono essere bloccate separatamente da Search; 10
• l’opzione generale per bloccare tutti i bot IA resta disponibile per chi preferisce una sospensione o un divieto totale, ma è meno precisa dei controlli basati sulla finalità. 7

Per i siti che dipendono dal traffico organico, la conseguenza è importante: non è più necessario scegliere per forza tra opt-out dal training e presenza nella ricerca.

Pagine con pubblicità: le nuove impostazioni predefinite

Cloudflare aveva già annunciato che dal 15 settembre 2026, per i nuovi domini che si aggiungono alla piattaforma, i crawler classificati come Training e Agent sarebbero stati bloccati per impostazione predefinita sulle pagine che mostrano pubblicità. 10

La politica parte da un principio favorevole agli editori: i contenuti monetizzati con gli annunci possono richiedere impostazioni più restrittive per gli usi legati all’IA.

Il modello precedente comportava però un rischio: quando un crawler aveva più finalità, un blocco restrittivo a livello di categoria poteva incidere anche sulla scansione per la ricerca. Disallow AI Training e Accountable sono la risposta di Cloudflare a questo conflitto: proteggere dal training i contenuti sostenuti dalla pubblicità, mantenendo l’indicizzazione laddove l’operatore del crawler riesca a rispettare la distinzione. 5

Le fonti disponibili non documentano completamente la migrazione di ogni dominio già esistente né le impostazioni predefinite applicate a ogni tipologia di account. Chi gestisce un dominio già attivo dovrebbe quindi verificare le policy effettivamente configurate.

Google-Extended e gli altri segnali di opt-out

I controlli per finalità affrontano lo stesso problema che le direttive specifiche per un editore hanno cercato di risolvere: separare l’attività di ricerca di un operatore dall’uso dei contenuti per l’IA.

Cloudflare ha citato i meccanismi proprietari di opt-out di Google, fra cui Google-Extended e nosnippet, riportando però il feedback di alcuni publisher secondo cui tali strumenti non avrebbero impedito tutti gli utilizzi che gli editori intendevano controllare. 22 Il materiale disponibile non permette di stabilire in modo indipendente l’ambito preciso o il comportamento attuale di Google-Extended, Applebot-Extended o della direttiva NOARCHIVE associata a Bing.

La conclusione generale è più chiara dei singoli dettagli implementativi: un opt-out dedicato o un impegno Accountable può rendere possibile l’istruzione «indicizza questa pagina per la ricerca, ma non usarla per l’addestramento». Un blocco indiscriminato del crawler non offre con affidabilità la stessa distinzione.

Perché controlli più precisi diventano necessari

Nella propria analisi del traffico, Cloudflare ha classificato l’80% delle scansioni IA nei 12 mesi precedenti come attività di training, contro il 18% destinato alla ricerca e il 2% a operazioni richieste dagli utenti. L’azienda precisa che questa classificazione si basa sulle dichiarazioni degli operatori e su fonti di settore. 16

Questa distribuzione spiega perché per molti editori un singolo interruttore “IA sì/no” non sia sufficiente. Un sito può accettare l’indicizzazione nei motori di ricerca, rifiutare l’incorporazione permanente dei suoi contenuti in un modello tramite il training e decidere separatamente sull’accesso in tempo reale degli agenti.

Cloudflare aveva inoltre riferito nel 2025 che oltre 2,5 milioni di siti web avevano scelto di vietare completamente l’addestramento IA tramite la funzione robots.txt gestita o tramite una regola di blocco dei crawler IA. 13 I controlli di settembre offrono a questi publisher un percorso più granulare quando la visibilità nella ricerca resta una priorità.

Il prossimo passo: controllo sulle sintesi generate dall’IA

Cloudflare ha dichiarato di voler offrire agli editori controlli più dettagliati sulle sintesi generate dall’IA all’inizio del 2027. 2 L’annuncio conferma la direzione, ma non definisce ancora il prodotto finale, le modalità di applicazione o le opzioni esatte disponibili per i publisher.

Nel frattempo, la regola operativa è semplice: Search, Training e Agent vanno valutati come tre decisioni distinte. Per chi considera essenziale la scoperta organica, un divieto relativo all’IA non deve necessariamente tradursi in un divieto alla ricerca, soprattutto se l’operatore del crawler è designato Accountable. 5