Cloudflare Memblokir Crawler AI Tertentu secara Default, tetapi Search Tetap Diizinkan

Mulai 15 September 2026, Cloudflare menerapkan garis pemisah yang lebih tegas antara pengindeksan mesin pencari tradisional dan penggunaan konten web oleh AI. Untuk domain yang baru bergabung ke Cloudflare, crawler yang diklasifikasikan sebagai Training atau Agent diblokir secara default pada halaman yang menampilkan iklan. Sebaliknya, crawler kategori Search tetap diizinkan. 215

Pembedaan ini penting bagi penerbit dan pemilik situs yang ingin mempertahankan peluang trafik rujukan dari pencarian, tetapi membatasi sistem otomatis yang mengambil konten untuk melatih model atau menjawab permintaan pengguna AI secara langsung.

Default baru: Training dan Agent diblokir di halaman beriklan

Aturan default ini berlaku bagi domain baru yang melakukan onboarding ke Cloudflare. Pada halaman yang dideteksi menampilkan iklan, Cloudflare memblokir dua jenis aktivitas otomatis berikut:

• Training — crawler yang mengambil konten untuk melatih atau melakukan fine-tuning pada model.
• Agent — aktivitas otomatis waktu nyata yang bertindak atas nama pengguna, misalnya bot pengambil konten untuk chat dan agen yang menggunakan peramban. 13

Sementara itu, Search tetap diizinkan secara default. Cloudflare mendefinisikannya sebagai crawling atau pengindeksan konten agar suatu layanan dapat menjawab pertanyaan di kemudian hari; menurut Cloudflare, penggunaan semacam ini semestinya memberikan trafik rujukan atau kompensasi yang setara bagi penerbit. 13

Jadi, ini bukan pemblokiran menyeluruh terhadap AI. Default tersebut hanya menyasar perilaku Training dan Agent, serta hanya pada halaman yang menampilkan iklan. 215

Pelanggan Cloudflare mana yang terdampak?

Dokumentasi resmi Cloudflare menyebut default baru ini berlaku untuk domain yang baru bergabung ke jaringannya. 215 Laporan mengenai peluncurannya juga menggambarkan cakupan yang mencakup situs baru milik pelanggan lama serta akun paket Free yang belum mengubah pengaturannya secara manual. 23

Pelanggan lama tidak sebaiknya menganggap semua zone atau domain yang sudah berjalan otomatis menerima kebijakan yang sama. Hasil akhirnya bergantung pada status onboarding domain, paket layanan, dan konfigurasi yang sudah ada. Cara paling aman adalah memeriksa kontrol crawler AI pada zone terkait untuk memastikan kebijakan yang sedang aktif. 23

Tiga kategori trafik otomatis yang bisa diatur

Cloudflare memisahkan trafik otomatis berdasarkan perilakunya, bukan memperlakukan semua crawler terkait AI sebagai satu kelompok. Ketiga kategori ini dapat dikonfigurasi secara independen. 13

Kategori	Cakupan	Default domain baru di halaman beriklan
Search	Crawling atau pengindeksan konten untuk menjawab pertanyaan di kemudian hari	Diizinkan
Training	Pengumpulan konten untuk melatih atau melakukan fine-tuning model	Diblokir
Agent	Otomatisasi waktu nyata yang bertindak untuk pengguna	Diblokir

Untuk setiap kategori, pemilik situs dapat memilih salah satu dari tiga pendekatan:

1. Allow — mengizinkan trafik.
2. Block on pages that display ads — memblokir hanya pada halaman yang menampilkan iklan.
3. Block on all pages — memblokir pada seluruh halaman situs. 23

Pengaturan yang lebih rinci ini memungkinkan penerbit tetap membuka akses pengindeksan pencarian, sambil memblokir crawler Training untuk seluruh situs atau menerapkan pembatasan yang lebih sempit khusus pada halaman beriklan.

Risiko SEO terbesar: crawler multifungsi

Label sebuah crawler belum tentu mencerminkan satu perilaku saja. Cloudflare menyatakan bahwa crawler yang menggabungkan Search dan Training akan dinilai berdasarkan seluruh perilakunya; aturan yang paling ketat dan relevan akan menentukan aksesnya. 2615

Konsekuensinya cukup besar: ketika situs memblokir Training, crawler yang oleh Cloudflare dinilai berfungsi sebagai Search dan Training juga dapat kehilangan akses crawling untuk pencarian biasa. Dokumentasi Cloudflare dan liputan peluncuran menyebut Googlebot, Applebot, dan BingBot sebagai contoh crawler multifungsi yang relevan dengan aturan ini. 26

Artinya, memilih “izinkan Search” tidak otomatis mempertahankan akses bagi bot yang juga diklasifikasikan melakukan Training. Sebelum menerapkan blokir Training untuk seluruh situs, pemilik situs perlu menimbang potensi dampaknya terhadap pengindeksan di mesin pencari. 24

Bagaimana nasib kontrol lama “Block AI bots”?

Cloudflare menyatakan bahwa konfigurasi yang memblokir AI Training—termasuk opsi lama “Block AI bots”—juga berlaku untuk crawler gabungan Search dan Training. 2 Karena itu, situs yang pernah mengaktifkan kontrol lama tersebut perlu meninjau ulang kebijakannya, terutama jika sebelumnya mengira pengaturan itu hanya memengaruhi aktivitas AI nonpencarian.

Liputan setelah peluncuran September juga melaporkan pendekatan baru bernama “Disallow AI Training”, yang dimaksudkan untuk menyatakan preferensi menolak pelatihan AI sambil tetap mengizinkan Googlebot, Applebot, dan BingBot melakukan crawling untuk pencarian apabila crawler tersebut ditetapkan sebagai “Accountable”. Karena perilaku dan jalur migrasinya dapat bergantung pada pengaturan yang dipilih, administrator sebaiknya memeriksa kontrol yang saat ini tampil di dasbor Cloudflare, alih-alih hanya mengandalkan nama toggle lama. 4

Mengapa Cloudflare memisahkan Search dari konsumsi konten oleh AI?

Kebijakan ini menjawab kekhawatiran penerbit tentang perbedaan nilai antara mesin pencari dan layanan AI generatif. Dalam pola lama, mesin pencari merayapi halaman, mengindeksnya, lalu berpotensi mengirim pembaca kembali ke sumber melalui hasil pencarian. Layanan AI generatif dapat menggunakan konten untuk pelatihan model atau menyajikan jawaban hasil pengambilan konten di antarmukanya sendiri, dengan nilai rujukan langsung yang lebih kecil bagi penerbit asal.

Cloudflare menggambarkan Search sebagai trafik yang seharusnya memberi rujukan atau kompensasi setara kepada penerbit. Kategori Training dan Agent, sebaliknya, mencakup penggunaan konten dengan cara yang berbeda. 13 Kontrol ini dirancang agar pemilik situs dapat mempertahankan otomatisasi yang mereka nilai memberi manfaat, sekaligus membatasi otomatisasi yang hanya mengambil konten.

Karena itu, pertanyaan utamanya bukan sekadar apakah suatu bot adalah “AI”. Yang lebih penting ialah apakah perilaku crawler tersebut mendukung penemuan konten dan mengembalikan nilai bagi situs, atau terutama mengonsumsi materi situs untuk pelatihan maupun tugas AI secara waktu nyata. 13

Langkah yang sebaiknya dilakukan pemilik situs

Sebelum mengubah kebijakan, periksa dampaknya pada tiap perilaku:

• Pertahankan Search dalam keadaan diizinkan apabila pengindeksan dan potensi trafik rujukan menjadi prioritas.
• Gunakan Block on pages that display ads jika tujuannya melindungi halaman yang dimonetisasi tanpa menerapkan pembatasan untuk seluruh situs.
• Pilih Block on all pages hanya setelah mempertimbangkan apakah crawler tertentu memiliki perilaku gabungan Search dan Training.
• Tinjau kembali konfigurasi lama Block AI bots, khususnya bila visibilitas di pencarian Google, Apple, atau Bing penting bagi situs. 236

Default Cloudflare per September 2026 memberi penerbit kontrol lebih besar. Namun, cara crawler multifungsi diklasifikasikan membuat keputusan ini juga menjadi keputusan SEO, bukan sekadar pengaturan kebijakan AI.