Cloudflare Benarkan Carian Kekal Diindeks, Sambil Sekat Latihan AI

Cloudflare pada 15 September 2026 memperkenalkan tetapan Disallow AI Training, yang mengubah pilihan praktikal untuk penerbit dan pemilik laman web: mereka boleh terus membenarkan kandungan diindeks oleh enjin carian, sambil menyatakan bahawa kandungan sama tidak boleh digunakan untuk melatih model AI. Status Accountable pula mengenal pasti pengendali bot yang sudah mematuhi pilihan ini atau telah membuat komitmen jelas untuk mematuhinya. 5

Perubahan utama: kawal tujuan, bukan sekadar identiti bot

Kawalan Cloudflare membahagikan aktiviti perayap kepada tiga tujuan yang boleh diurus secara berasingan:

• Search (Carian): perayapan untuk mengindeks kandungan dalam hasil carian.
• Training (Latihan): pengambilan kandungan untuk melatih atau memperhalus model AI.
• Agent (Ejen): pengambilan kandungan ketika melaksanakan tindakan yang diminta pengguna. 10

Pembezaan ini penting kerana satu infrastruktur perayap boleh digunakan bagi lebih daripada satu tujuan. Sebelum ini, menyekat bot yang dikaitkan dengan AI boleh turut menjejaskan peluang laman ditemui melalui carian biasa. Dengan Disallow AI Training, pemilik laman boleh membuat pilihan yang lebih khusus: benarkan akses carian, tetapi tolak penggunaan bagi latihan model. 5

Maksud status “Accountable”

Cloudflare mewujudkan status Accountable untuk pengendali bot yang boleh memisahkan pengindeksan carian daripada penggunaan latihan AI sambil menghormati pilihan pemilik laman. Apple, Google dan Microsoft sama ada telah mematuhi tetapan baharu itu atau berjanji untuk mematuhinya mengikut tempoh yang dinyatakan Cloudflare. 5

Bagi penerbit, status ini penting kerana ia bertujuan mengelakkan perayap carian yang berguna daripada disekat sepenuhnya hanya kerana pengendalinya juga mempunyai kegunaan latihan AI. Dengan kata lain, pengendali guna campuran yang layak boleh terus mengindeks halaman untuk carian selepas penerbit melarang latihan AI. 5

Pengumuman yang tersedia menerangkan standard tersebut pada peringkat umum, tetapi tidak memberikan butiran mencukupi untuk mengesahkan tarikh pelaksanaan setiap pengendali, tingkah laku setiap perayap atau keseluruhan komitmen teknikal mereka. Pemilik laman wajar menyemak tetapan bot dan data perayapan sendiri, bukannya mengandaikan semua pengendali bertindak dengan cara yang sama.

Trafik yang boleh diteruskan dan yang disekat

Tetapan baharu ini direka untuk mengekalkan pengindeksan carian bagi pengendali guna campuran Accountable, sambil menolak penggunaan kandungan yang sama bagi latihan. Cloudflare secara jelas membingkaikan ciri ini sebagai cara untuk kekal diindeks dalam carian sambil menolak latihan oleh perayap berkenaan. 5

Bahan yang dibekalkan tidak menyediakan senarai umum lengkap, perayap demi perayap, tentang akses yang dibenarkan atau disekat. Namun, beberapa kesimpulan praktikal boleh dibuat:

• Akses carian daripada pengendali Accountable yang layak boleh terus tersedia apabila latihan AI dilarang. 5
• Kategori Training dan Agent boleh disekat secara berasingan daripada Search. 10
• Tetapan umum untuk menyekat semua bot AI masih tersedia bagi pemilik laman yang mahu menghentikan akses buat sementara waktu atau mengenakan sekatan menyeluruh, tetapi ia kurang tepat berbanding kawalan berasaskan tujuan. 7

Bagi laman yang bergantung pada keterlihatan organik, kemas kini September ini mengurangkan keperluan memilih antara menolak latihan AI dan kekal hadir dalam hasil carian.

Halaman beriklan dan tetapan lalai September

Cloudflare sebelum ini mengumumkan bahawa mulai 15 September 2026, domain baharu yang mula menggunakan Cloudflare akan menyekat perayap Training dan Agent secara lalai pada halaman yang memaparkan iklan. 10 Dasar itu berasaskan pertimbangan yang memihak kepada penerbit: kandungan yang menjana hasil iklan mungkin memerlukan tetapan lalai yang lebih ketat bagi penggunaan AI.

Pendekatan terdahulu juga membawa satu risiko penting. Apabila perayap mempunyai pelbagai tujuan, sekatan mengikut kategori boleh turut menjejaskan perayapan carian. Model Disallow AI Training dan Accountable ialah jawapan Cloudflare terhadap konflik tersebut: penerbit boleh melindungi kandungan beriklan daripada latihan AI sambil mengekalkan pengindeksan carian, jika pengendali perayap mampu menghormati pemisahan itu. 5

Sumber yang tersedia tidak mendokumentasikan sepenuhnya cara setiap domain sedia ada dipindahkan atau tetapan lalai yang dikenakan kepada setiap jenis akaun. Pemilik domain lama perlu menyemak dasar yang telah dikonfigurasikan pada akaun masing-masing, dan tidak membuat andaian berdasarkan tetapan lalai domain baharu.

Google-Extended, Applebot-Extended dan jalan penyelesaian Bing

Kawalan berasaskan tujuan cuba menyelesaikan masalah yang turut cuba ditangani oleh arahan khusus penerbit: memisahkan aktiviti carian sesebuah pengendali daripada penggunaan AInya.

Cloudflare pernah membincangkan mekanisme pilihan keluar proprietari Google, termasuk Google-Extended dan nosnippet, sambil menyatakan maklum balas penerbit bahawa mekanisme itu tidak menghalang semua bentuk penggunaan kandungan yang ingin dikawal oleh mereka. 22 Bahan yang disediakan tidak mengesahkan secara bebas skop atau tingkah laku semasa Google-Extended, Applebot-Extended atau arahan NOARCHIVE Bing dengan tepat.

Kesimpulan yang lebih jelas daripada butiran pelaksanaan ialah: pilihan keluar khas atau komitmen Accountable boleh menyokong arahan, “indeks halaman ini untuk carian, tetapi jangan gunakannya untuk latihan.” Sekatan menyeluruh terhadap perayap pula tidak dapat memberikan pemisahan itu dengan andal.

Mengapa kawalan lebih terperinci semakin penting

Analisis trafik Cloudflare sendiri mengelaskan 80% perayapan AI sepanjang 12 bulan sebelumnya sebagai latihan, berbanding 18% bagi carian dan 2% bagi tindakan pengguna. Syarikat itu menyatakan pengelasan berkenaan dibuat berdasarkan pendedahan pengendali dan sumber industri. 16

Agihan ini menerangkan sebab penerbit mungkin memerlukan tetapan berasingan, bukan satu suis AI hidup atau mati. Sebuah penerbit mungkin menerima pengindeksan carian, menolak kandungan dimasukkan secara kekal ke dalam model melalui latihan, dan membuat keputusan tersendiri tentang akses ejen AI masa nyata.

Cloudflare turut melaporkan pada 2025 bahawa lebih daripada 2.5 juta laman web telah memilih untuk melarang latihan AI sepenuhnya menerusi ciri robots.txt terurus atau peraturan terurus yang menyekat perayap AI. 13 Kawalan September menawarkan laluan yang lebih terperinci kepada penerbit tersebut apabila mengekalkan keterlihatan carian juga menjadi keutamaan.

Seterusnya: kawalan terhadap ringkasan AI

Cloudflare menyatakan hasrat untuk memberikan penerbit kawalan lebih terperinci terhadap ringkasan yang dijana AI pada awal 2027. 2 Pengumuman yang dibekalkan mengesahkan hala tuju itu, tetapi belum memperincikan reka bentuk produk akhir, kaedah penguatkuasaan atau pilihan tepat yang akan diterima penerbit.

Buat masa ini, pengajarannya mudah: semak dasar Search, Training dan Agent sebagai tiga keputusan berasingan. Jika penemuan organik penting kepada laman anda, jangan anggap sekatan AI semestinya perlu menyekat carian juga—terutamanya apabila pengendali perayap mempunyai status Accountable. 5