Tetapan Baharu Cloudflare untuk Perayap AI: Apa Yang Disekat, Apa Yang Masih Dibenarkan

Cloudflare pada 15 September 2026 memperkenalkan sempadan yang lebih jelas antara pengindeksan enjin carian tradisional dengan penggunaan kandungan web oleh AI. Bagi domain yang baharu menyertai rangkaiannya, perayap yang diklasifikasikan sebagai Training atau Agent akan disekat secara lalai pada halaman yang memaparkan iklan. Perayap kategori Search pula masih dibenarkan. 215

Perbezaan ini penting kepada penerbit dan pemilik laman yang mahu mengekalkan keterlihatan dalam enjin carian serta trafik rujukan, tanpa membenarkan sistem automatik menggunakan kandungan mereka untuk latihan model atau tugasan AI masa nyata.

Tetapan lalai: sekat Training dan Agent pada halaman beriklan

Tetapan baharu ini terpakai kepada domain baharu yang menyertai Cloudflare. Pada halaman yang dikesan memaparkan iklan, Cloudflare menyekat dua jenis trafik automatik:

• Training — perayap yang mengambil kandungan untuk melatih atau menala halus model AI.
• Agent — automasi yang bertindak secara masa nyata bagi pihak pengguna, misalnya bot yang mengambil kandungan untuk sembang atau ejen yang menggunakan pelayar. 13

Kategori Search kekal dibenarkan secara lalai. Cloudflare mentakrifkannya sebagai perayapan atau pengindeksan kandungan untuk menjawab pertanyaan pada kemudian hari — penggunaan yang, menurut Cloudflare, sepatutnya menghasilkan trafik rujukan atau pampasan setimpal kepada penerbit. 13

Jadi, ini bukan larangan menyeluruh terhadap AI. Dasar lalai itu hanya menyasarkan tingkah laku Training dan Agent, serta hanya pada halaman yang memaparkan iklan. 215

Siapa yang terjejas?

Dokumentasi rasmi Cloudflare menyatakan tetapan lalai baharu ini digunakan untuk domain yang baru dimasukkan ke rangkaiannya. 215 Laporan mengenai pelancarannya turut menyebut skop itu meliputi laman baharu yang ditambah oleh pelanggan sedia ada, serta akaun pelan Free yang belum mengubah tetapan mereka secara manual. 23

Namun, pelanggan sedia ada tidak sepatutnya menganggap setiap domain lama akan menerima dasar yang sama secara automatik. Hasil sebenar bergantung pada status penyertaan domain, pelan dan konfigurasi sedia ada. Cara paling selamat ialah menyemak kawalan perayap AI pada zone atau domain berkenaan dalam papan pemuka Cloudflare. 23

Tiga kategori trafik automatik yang boleh dikawal

Cloudflare tidak lagi menyamakan semua bot berkaitan AI. Sebaliknya, ia membahagikan trafik automatik mengikut tingkah laku, dan ketiga-tiga kategori ini boleh dikonfigurasikan secara berasingan: 13

Kategori	Liputan	Tetapan lalai bagi domain baharu pada halaman beriklan
Search	Merayap atau mengindeks kandungan untuk menjawab pertanyaan kemudian	Dibenarkan
Training	Mengumpul kandungan untuk melatih atau menala halus model	Disekat
Agent	Automasi masa nyata yang bertindak bagi pihak pengguna	Disekat

Bagi setiap kategori, pemilik laman boleh memilih satu daripada tiga tindakan:

1. Benarkan trafik.
2. Sekat pada halaman yang memaparkan iklan.
3. Sekat pada semua halaman. 23

Tahap kawalan ini membolehkan penerbit, sebagai contoh, terus membenarkan pengindeksan carian sambil menyekat perayap latihan untuk seluruh laman — atau memilih sekatan yang lebih terhad hanya pada halaman beriklan.

Bot pelbagai fungsi ialah risiko SEO paling penting

Label sesebuah perayap tidak semestinya terhad kepada satu fungsi. Cloudflare menyatakan bahawa perayap yang menggabungkan Search dan Training akan dinilai berdasarkan semua tingkah lakunya; peraturan paling ketat yang terpakai akan menentukan akses. 2615

Ini membawa kesan besar: apabila sebuah laman menyekat Training, perayap yang dianggap Cloudflare sebagai gabungan Search dan Training mungkin turut hilang akses untuk perayapan carian biasa. Dokumentasi Cloudflare dan liputan pelancaran mengenal pasti Googlebot, Applebot dan BingBot sebagai contoh perayap pelbagai fungsi yang berkaitan dengan peraturan ini. 26

Maksudnya, membenarkan Search tidak semestinya memastikan akses untuk bot yang turut diklasifikasikan sebagai Training. Sebelum membuat sekatan Training bagi seluruh laman, pemilik laman perlu menilai kemungkinan kesannya terhadap pengindeksan dan keterlihatan carian. 24

Bagaimana pula dengan kawalan lama “Block AI bots”?

Cloudflare menyatakan konfigurasi yang menyekat latihan AI, termasuk pilihan lama “Block AI bots”, turut digunakan kepada perayap gabungan Search dan Training. 2 Ini menjadikan semakan dasar amat penting bagi laman yang mengaktifkan kawalan lama tersebut dengan andaian ia hanya akan menjejaskan aktiviti AI bukan carian.

Liputan selepas pelancaran September pula melaporkan pendekatan baharu “Disallow AI Training” yang bertujuan menyatakan pilihan untuk tidak membenarkan latihan AI sambil mengekalkan Googlebot, Applebot dan BingBot bagi tujuan carian apabila perayap ditetapkan sebagai “Accountable”. Oleh sebab tingkah laku dan laluan migrasi boleh bergantung pada tetapan yang dipilih, pentadbir patut mengesahkan kawalan semasa yang dipaparkan dalam papan pemuka Cloudflare, bukan bergantung pada nama togol lama. 4

Mengapa Cloudflare memisahkan carian daripada penggunaan AI?

Dasar ini mencerminkan kebimbangan penerbit terhadap perubahan nilai pertukaran di web. Secara tradisi, enjin carian merayap halaman, membina indeks dan berpotensi menghantar pembaca kembali ke sumber asal. Perkhidmatan AI generatif pula boleh menggunakan kandungan untuk melatih model atau memaparkan jawapan yang diperoleh terus dalam antaramuka sendiri, dengan nilai rujukan langsung yang mungkin lebih rendah kepada penerbit asal.

Cloudflare menggambarkan Search sebagai trafik yang sepatutnya membawa rujukan atau pampasan setimpal kepada penerbit, manakala kategori Training dan Agent merujuk penggunaan kandungan yang berbeza. 13 Kawalan ini diwujudkan supaya pemilik laman boleh mengekalkan automasi yang dianggap bernilai dan mengehadkan automasi yang hanya mengambil kandungan.

Persoalan utamanya bukan sekadar sama ada sesuatu bot itu “AI”. Yang lebih penting ialah sama ada tingkah lakunya membantu penemuan kandungan dan memulangkan nilai kepada laman, atau terutamanya menggunakan bahan laman untuk latihan serta tugasan AI masa nyata. 13

Langkah yang patut diambil oleh pemilik laman

Sebelum mengubah dasar, semak kesannya mengikut jenis tingkah laku:

• Kekalkan Search sebagai dibenarkan jika pengindeksan dan potensi trafik rujukan menjadi keutamaan.
• Pilih Sekat pada halaman yang memaparkan iklan jika matlamatnya ialah melindungi halaman yang menjana pendapatan iklan tanpa mengenakan sekatan seluruh laman.
• Gunakan Sekat pada semua halaman hanya selepas mempertimbangkan sama ada sesuatu perayap menjalankan fungsi gabungan Search dan Training.
• Semak semula konfigurasi lama “Block AI bots”, khususnya jika keterlihatan dalam carian Google, Apple atau Bing penting kepada laman anda. 236

Tetapan lalai September Cloudflare memberi penerbit lebih banyak kawalan. Namun, cara perayap pelbagai fungsi diklasifikasikan bermakna keputusan itu juga merupakan keputusan SEO — bukan semata-mata tetapan dasar AI.