Il dilemma del crawler unico di Google: perché editori, regolatori e Cloudflare chiedono un opt-out per l'IA

La risposta della CMA: un obbligo di condotta mondiale

Nell'ottobre 2025, la CMA ha designato Google come operatore con Status di Mercato Strategico (SMS) nella ricerca generale e nella pubblicità su ricerca, dato il suo controllo di circa il 90% del mercato britannico . Il 3 giugno 2026, la CMA ha imposto un Publisher Conduct Requirement (CR) — il primo obbligo vincolante ai sensi del Digital Markets, Competition and Consumers Act 2024 del Regno Unito .

Elementi chiave del CR:

• Opt-out IA per gli editori. Per la prima volta, gli editori possono impedire che i loro contenuti alimentino le funzionalità IA nella Ricerca Google (AI Overviews, AI Mode) senza rinunciare alla visibilità nei risultati tradizionali .
• Opt-out per il fine-tuning. Dopo i feedback della consultazione, Google deve anche permettere agli editori di escludere i propri contenuti dall'addestramento successivo (fine-tuning) dei modelli IA .
• Attribuzione obbligatoria. Google è tenuto a linkare chiaramente i contenuti degli editori nei risultati generati dall'IA .
• Trasparenza e conformità. Google deve pubblicare rapporti di conformità ogni sei mesi per il primo anno, con dati e metriche chiave, e deve notificare proattivamente gli editori quando estende i controlli a nuovi servizi IA .
• Scadenza per l'implementazione. Google ha nove mesi (entro marzo 2027) per attuare tutte le modifiche, anche se la CMA si aspetta controlli chiave prima .

La CMA ha esplicitamente considerato ma respinto la separazione dei crawler — obbligare Google a usare crawler diversi per l'indicizzazione e per l'IA — giudicandola sproporzionata. La conclusione è che il costo per Google sarebbe stato materialmente più alto e che controlli migliorati rappresentavano un rimedio ugualmente efficace e più proporzionato .

La posizione di Cloudflare: la separazione dei crawler è l'unica vera soluzione

Cloudflare, che gestisce il traffico di circa un quinto del web, ha presentato una risposta dettagliata alla consultazione della CMA, sostenendo che il CR è un passo avanti ma non risolve il problema strutturale . I suoi argomenti principali:

• Il CR delega il controllo a Google. Gli editori rimangono dipendenti dai sistemi proprietari di Google e non possono usare strumenti di blocco di terze parti (come lo stesso Crawl Control di Cloudflare) senza rischiare di perdere posizionamento .
• La separazione dei crawler è l'unica soluzione tecnica. Google dovrebbe essere obbligato a usare un crawler separato per l'addestramento e il grounding dell'IA, così gli editori potrebbero bloccarne uno senza danneggiare l'altro .
• I controlli granulari non bastano. La proposta della CMA distingue tra "addestramento/grounding IA" e "funzionalità IA generative nella ricerca" in un modo tecnicamente confuso che la maggior parte degli editori non capirà .
• Dimensioni del problema. Googlebot rappresenta circa il 50% di tutte le scansioni web, e la ricerca IA di Google estrae 3,2 volte più contenuti di OpenAI .

L'Amministratore Delegato di Cloudflare, Matthew Prince, si è recato personalmente a Londra nell'ottobre 2025 per fare pressione sulla CMA su questo fronte e da allora spinge pubblicamente per lo "scorporo" dei crawler di ricerca e IA . Cloudflare ha anche annunciato che, dal 15 settembre 2026, bloccherà i crawler a uso misto sulle pagine supportate da pubblicità per i clienti interessati .

La situazione attuale

• La CMA ha imposto il CR il 3 giugno 2026, dando per la prima volta agli editori uno strumento di opt-out per l'IA . Gli obblighi sostanziali entrano in vigore il 3 dicembre 2026 e il requisito rimane in vigore fino al 10 ottobre 2030 .
• Cloudflare continua a sostenere che il CR è insufficiente e che solo la separazione obbligatoria dei crawler potrà restituire la piena autonomia agli editori .
• Google ha dichiarato di stare testando nuovi controlli che permettano agli editori di gestire l'uso dell'IA, e ha messo in guardia dal "rompere la Ricerca" forzando la separazione dei crawler, cosa che potrebbe danneggiare l'esperienza utente . Nella sua risposta alla consultazione della CMA, Google sostiene che il CR raggiunge il giusto equilibrio .
• La CMA ha lasciato aperta la porta a ulteriori misure, dichiarando di monitorare attivamente come Google implementa questi cambiamenti e di poter intervenire di nuovo se necessario .

La battaglia sul crawler di Google non è solo una storia britannica. La decisione della CMA è seguita con attenzione dai regolatori dell'UE, degli Stati Uniti e di altre giurisdizioni, e il suo esito potrebbe creare un precedente globale su come si intersecano il dominio nella ricerca e l'addestramento dell'IA.