Cloudflare: Tetap Terindeks di Pencarian, Tolak Pelatihan AI

Cloudflare meluncurkan pengaturan Disallow AI Training pada 15 September 2026. Intinya, pemilik situs kini tidak harus memilih antara tetap mudah ditemukan di mesin pencari atau menolak kontennya dipakai untuk melatih model AI. Untuk crawler yang memenuhi syarat, situs dapat tetap diindeks untuk pencarian sambil melarang penggunaan konten untuk pelatihan model. 5

Label pendamping bernama Accountable dibuat untuk mengenali operator bot yang sudah mampu—atau telah berkomitmen secara konkret—menghormati pilihan tersebut. 5

Tiga tujuan crawling kini dipisahkan

Cloudflare mengelompokkan akses crawler ke dalam tiga tujuan yang dapat dikelola secara terpisah:

• Search: crawler mengindeks konten agar dapat tampil dalam hasil pencarian.
• Training: crawler mengambil konten untuk melatih atau melakukan fine-tuning model AI.
• Agent: crawler mengambil konten ketika menjalankan tindakan yang diminta pengguna. 10

Pemisahan ini penting karena satu infrastruktur crawler dapat dipakai untuk lebih dari satu tujuan. Sebelumnya, memblokir crawler yang terkait AI berpotensi ikut mengorbankan visibilitas di mesin pencari. Dengan Disallow AI Training, pemilik situs dapat memilih pendekatan yang lebih terarah: pencarian tetap diizinkan, sedangkan pelatihan model ditolak. 5

Arti label Accountable bagi penerbit

Cloudflare menyebut Apple, Google, dan Microsoft sebagai operator yang menghormati pengaturan baru ini atau telah berkomitmen untuk menghormatinya dalam jadwal yang ditetapkan Cloudflare. 5

Agar mendapat label Accountable, operator bot harus dapat membedakan penggunaan untuk pengindeksan pencarian dan penggunaan untuk pelatihan, sekaligus menghormati preferensi pemilik situs. Bagi penerbit, ini berarti crawler campuran yang memenuhi syarat tidak otomatis diblokir sepenuhnya hanya karena operatornya juga memiliki penggunaan AI untuk pelatihan. Crawler tersebut masih dapat mengindeks halaman untuk pencarian setelah pelatihan AI dilarang. 5

Namun, materi yang tersedia hanya menjelaskan standar ini pada tingkat umum. Detail seperti tanggal implementasi masing-masing operator, perilaku tiap crawler, dan keseluruhan komitmen teknisnya belum dapat diverifikasi secara lengkap. Karena itu, pemilik situs tetap perlu memeriksa pengaturan bot serta data crawl situs mereka sendiri.

Apa yang tetap diizinkan dan apa yang ditolak?

Desain pengaturan baru ini adalah mempertahankan pengindeksan pencarian bagi operator crawler campuran berstatus Accountable, sambil menolak penggunaan konten yang sama untuk pelatihan. Cloudflare secara eksplisit memosisikannya sebagai cara agar situs tetap terindeks di pencarian tanpa mengizinkan crawler tersebut melatih AI menggunakan kontennya. 5

Dari materi yang tersedia, belum ada daftar publik lengkap per crawler mengenai mana yang diizinkan atau diblokir. Namun, beberapa kesimpulan praktisnya adalah:

• Akses pencarian dari operator Accountable yang memenuhi syarat dapat tetap tersedia ketika pelatihan AI dilarang. 5
• Kategori Training dan Agent dapat diblokir secara terpisah dari Search. 10
• Pengaturan block all AI bots tetap tersedia bagi pemilik situs yang menginginkan pembatasan menyeluruh atau waktu untuk mengevaluasi pilihan, tetapi sifatnya lebih kasar dibanding kontrol berdasarkan tujuan. 7

Bagi situs yang mengandalkan trafik organik, perubahan ini mengurangi risiko harus menukar penolakan pelatihan AI dengan hilangnya kehadiran di hasil pencarian.

Default untuk halaman beriklan

Cloudflare sebelumnya mengumumkan bahwa mulai 15 September 2026, domain baru yang mulai menggunakan Cloudflare akan memblokir crawler Training dan Agent secara default pada halaman yang menampilkan iklan. 10

Kebijakan itu berangkat dari pertimbangan bahwa konten yang dimonetisasi lewat iklan mungkin memerlukan perlindungan lebih ketat terhadap penggunaan AI. Namun, terdapat risiko ketika crawler memiliki fungsi ganda: pemblokiran berbasis kategori yang terlalu luas dapat ikut menghambat crawling untuk pencarian.

Disallow AI Training dan model Accountable dimaksudkan untuk mengatasi benturan itu. Penerbit dapat membatasi pemakaian konten beriklan untuk pelatihan AI, sembari mempertahankan pengindeksan pencarian bila operator crawler mampu menghormati pembedaan tujuan tersebut. 5

Sumber yang tersedia belum menjelaskan secara lengkap bagaimana semua domain lama dipindahkan ke pengaturan baru atau default apa yang berlaku untuk setiap jenis akun. Karena itu, pemilik domain yang sudah ada sebaiknya memeriksa kebijakan yang benar-benar aktif di akun mereka, bukan menyimpulkannya dari default domain baru.

Google-Extended, Applebot-Extended, dan NOARCHIVE

Kontrol berdasarkan tujuan menjawab persoalan yang selama ini dicoba ditangani oleh arahan khusus penerbit: membedakan aktivitas pencarian operator dari penggunaan AI mereka.

Cloudflare membahas mekanisme opt-out milik Google, termasuk Google-Extended dan nosnippet, serta mencatat masukan penerbit bahwa mekanisme tersebut belum mencegah seluruh bentuk penggunaan konten yang ingin mereka kendalikan. 22

Namun, bahan sumber untuk laporan ini tidak cukup untuk memastikan cakupan atau perilaku terkini Google-Extended, Applebot-Extended, maupun arahan NOARCHIVE milik Bing secara rinci.

Kesimpulan besarnya lebih jelas: mekanisme opt-out khusus atau komitmen Accountable dapat mendukung instruksi seperti, “indeks halaman ini untuk pencarian, tetapi jangan gunakan untuk pelatihan.” Pemblokiran crawler secara menyeluruh tidak selalu bisa memberikan pembedaan tersebut.

Mengapa kontrol yang lebih rinci makin penting

Dalam analisis lalu lintasnya, Cloudflare mengklasifikasikan 80% crawling AI selama 12 bulan sebelumnya sebagai aktivitas pelatihan, sedangkan 18% untuk pencarian dan 2% untuk tindakan pengguna. Perusahaan menyatakan klasifikasi ini didasarkan pada pengungkapan operator dan sumber industri. 16

Angka itu menjelaskan mengapa penerbit mungkin membutuhkan kontrol terpisah, bukan satu sakelar AI aktif/nonaktif. Sebuah situs dapat menerima pengindeksan untuk pencarian, menolak kontennya terserap secara permanen dalam model lewat pelatihan, lalu membuat keputusan berbeda mengenai akses agen AI secara waktu nyata.

Cloudflare juga melaporkan pada 2025 bahwa lebih dari 2,5 juta situs web telah memilih untuk sepenuhnya melarang pelatihan AI melalui fitur robots.txt terkelola atau aturan pemblokiran crawler AI terkelola. 13 Kontrol September ini memberi jalur yang lebih terperinci bagi penerbit yang juga ingin menjaga visibilitas pencarian.

Berikutnya: kontrol atas ringkasan AI

Cloudflare mengatakan ingin memberi penerbit kontrol yang lebih terperinci atas ringkasan yang dihasilkan AI pada awal 2027. 2 Pengumuman yang tersedia mengonfirmasi arah tersebut, tetapi belum menjelaskan desain produk final, metode penegakan, atau pilihan spesifik yang nantinya tersedia bagi penerbit.

Untuk saat ini, pelajaran praktisnya sederhana: evaluasi kebijakan Search, Training, dan Agent sebagai tiga keputusan terpisah. Bila visibilitas organik penting, pembatasan AI tidak selalu harus membatasi pencarian—terutama saat operator crawler memiliki status Accountable. 5