Perang Besar Googlebot: Satu Crawler untuk Pencarian dan AI, Penerbit Terjepit

Kontroversi ini bermuara pada tiga masalah:

• Tidak ada pilihan yang berarti. Seorang penerbit tidak dapat memblokir Googlebot untuk AI tanpa juga memblokirnya untuk pencarian, yang akan menghancurkan traffic dan pendapatan mereka .
• Keuntungan kompetitif yang tidak adil. Dominasi pencarian Google memberinya akses gratis ke konten penerbit yang harus dinegosiasikan atau dibayar oleh pesaing seperti OpenAI, Anthropic, atau Perplexity. Data Cloudflare menunjukkan Googlebot mengakses hampir dua kali lebih banyak halaman daripada GPTBot dan ClaudeBot, dan 167 kali lebih banyak daripada PerplexityBot .
• Kanibalisasi traffic. AI Overviews merangkum konten langsung di hasil pencarian, mengurangi kebutuhan pengguna untuk mengeklik tautan ke situs penerbit, sehingga merusak pendapatan iklan .

Tanggapan CMA: Aturan Perilaku Pertama di Dunia

Pada Oktober 2025, CMA menetapkan Google sebagai pemilik Strategic Market Status (SMS) dalam pencarian umum dan iklan pencarian, mengingat pangsa pasarnya yang sekitar 90 persen di pasar pencarian Inggris . Pada 3 Juni 2026, CMA menjatuhkan Publisher Conduct Requirement (CR) — kewajiban pertama yang mengikat berdasarkan Digital Markets, Competition and Consumers Act 2024 di Inggris .

Elemen kunci dari CR:

• AI opt-out untuk penerbit. Untuk pertama kalinya, penerbit dapat mencegah konten mereka digunakan untuk fitur AI di Google Search (AI Overviews, AI Mode) tanpa kehilangan visibilitas pencarian .
• Opt-out fine-tuning. Menyusul masukan dari konsultasi, Google juga harus mengizinkan penerbit untuk memilih tidak ikut serta dalam penggunaan konten mereka untuk fine-tuning model AI .
• Atribusi wajib. Google harus menautkan kembali dengan jelas ke konten penerbit di hasil pencarian yang dihasilkan AI .
• Transparansi dan kepatuhan. Google harus menerbitkan laporan kepatuhan setiap enam bulan untuk tahun pertama, dengan data dan metrik utama, dan harus secara proaktif memberi tahu penerbit saat memperluas kontrol ke layanan AI baru .
• Tenggat implementasi. Google memiliki waktu sembilan bulan (pada Maret 2027) untuk menerapkan semua perubahan, meskipun CMA mengharapkan kontrol utama lebih cepat .

CMA secara eksplisit mempertimbangkan tetapi menolak pemisahan crawler — memaksa Google menggunakan crawler berbeda untuk pengindeksan pencarian versus asupan AI — karena dianggap tidak proporsional. CMA menyimpulkan bahwa biaya untuk Google akan jauh lebih tinggi dan bahwa kontrol yang lebih baik adalah solusi yang sama efektifnya dan lebih proporsional .

Posisi Cloudflare: Pemisahan Crawler Satu-satunya Solusi Nyata

Cloudflare, yang menangani traffic untuk sekitar seperlima web, mengirimkan tanggapan rinci ke konsultasi CMA yang menyatakan bahwa CR adalah langkah maju tetapi tidak memperbaiki masalah struktural . Argumen intinya:

• CR mendelegasikan kendali kembali ke Google. Penerbit tetap bergantung pada sistem proprietary Google dan tidak dapat menggunakan alat pemblokiran pihak ketiga (seperti Crawl Control milik Cloudflare) tanpa mempertaruhkan peringkat pencarian .
• Pemisahan crawler adalah satu-satunya solusi teknis. Google harus diwajibkan menggunakan crawler terpisah untuk pelatihan dan grounding AI, sehingga penerbit dapat memblokir salah satunya tanpa merugikan yang lain .
• Kontrol granular tidak cukup. Proposal CMA membedakan antara "AI training/grounding" dan "search generative AI features" dengan cara yang membingungkan secara teknis yang tidak akan dipahami sebagian besar penerbit .
• Skala masalah. Googlebot menyumbang sekitar 50 persen dari semua perayapan web, dan pencarian AI Google mengikis 3,2 kali lebih banyak konten daripada yang dilakukan OpenAI .

CEO Cloudflare, Matthew Prince, secara pribadi terbang ke London pada Oktober 2025 untuk melobi CMA tentang pendekatan ini dan sejak itu terus mendorong "unbundling" (pemisahan) crawler pencarian dan AI . Cloudflare juga mengumumkan bahwa mulai 15 September 2026, mereka akan memblokir crawler serba guna di halaman yang didukung iklan untuk pelanggan yang relevan .

Di Mana Posisi Saat Ini

• CMA menjatuhkan CR pada 3 Juni 2026, memberi penerbit alat opt-out AI untuk pertama kalinya . Kewajiban kontrol substantif mulai berlaku pada 3 Desember 2026 dan persyaratan tersebut tetap berlaku hingga 10 Oktober 2030 .
• Cloudflare terus berpendapat bahwa CR tidak memadai dan hanya pemisahan crawler wajib yang akan memulihkan otonomi penerbit yang sebenarnya .
• Google telah mengatakan bahwa mereka sedang menguji kontrol baru yang memungkinkan penerbit mengelola penggunaan AI, dan memperingatkan bahwa "mematahkan Pencarian (Search)" dengan memaksakan pemisahan crawler dapat merusak pengalaman pengguna . Tanggapan Google sendiri terhadap konsultasi CMA menyatakan bahwa CR mencapai keseimbangan yang tepat .
• CMA telah membuka pintu untuk tindakan lebih lanjut, dengan mengatakan bahwa mereka secara aktif memantau bagaimana Google menerapkan perubahan ini dan dapat mengambil langkah tambahan jika diperlukan .

Pertempuran atas crawler Google bukan hanya cerita Inggris. Keputusan CMA diawasi dengan ketat oleh regulator di UE, AS, dan yurisdiksi lain, dan hasilnya dapat menjadi preseden global untuk bagaimana dominasi pencarian dan pelatihan AI saling bersinggungan .