Cloudflare Benarkan Sekatan Latihan AI Tanpa Menjejaskan Keterlihatan Carian

Cloudflare memperkenalkan tetapan Disallow AI Training pada 15 September 2026 untuk menyelesaikan dilema yang lama dihadapi penerbit dan pemilik laman: mahu menolak latihan model AI, tetapi tidak mahu hilang daripada hasil carian biasa. Tetapan ini membolehkan laman menyatakan larangan latihan AI dan menyekat trafik crawler berkaitan, sambil mengekalkan akses carian bagi crawler bercampur yang layak. 720

Latihan AI kini dipisahkan daripada carian

Cloudflare menggantikan pendekatan menyeluruh Block AI Bots dengan kawalan berasingan bagi tiga tujuan crawler:

• Search — merangkak kandungan untuk pengindeksan enjin carian;
• Training — menggunakan kandungan untuk melatih atau menala halus model AI;
• Agent — trafik daripada ejen AI yang bertindak bagi pihak pengguna.

Pemisahan ini membolehkan pemilik laman menentukan dasar berlainan mengikut tujuan, bukannya memilih antara membenarkan semuanya atau menyekat semuanya. Cloudflare menyatakan bahawa kawalan dan tetapan yang disyorkan ini tersedia kepada penerbit serta perniagaan menerusi pelancaran 15 September itu. 1320

Bagi laman yang mahu kekal ditemui melalui carian tetapi tidak mahu kandungannya digunakan untuk melatih model, Disallow AI Training ialah tetapan yang berkaitan. Ia menerbitkan keutamaan larangan latihan melalui alat dasar bot dan robots.txt Cloudflare, di samping melaksanakan peraturan sekatan terhadap trafik latihan. 167

Bagaimana tetapan ini mengekalkan akses carian

Sesetengah crawler menjalankan lebih daripada satu fungsi. Googlebot, Applebot dan Bingbot boleh merangkak laman untuk carian, manakala operatornya mungkin juga mempunyai kegunaan kandungan berkaitan AI. Dasar Cloudflare membezakan fungsi carian itu daripada latihan.

Apabila Disallow AI Training diaktifkan:

• crawler bercampur yang layak dan berstatus Accountable masih boleh mengakses kandungan untuk pengindeksan carian;
• operator crawler tersebut dijangka mematuhi penolakan laman terhadap penggunaan kandungan bagi latihan AI;
• crawler latihan khusus, serta crawler bercampur yang operatornya tidak berstatus Accountable, akan disekat di bawah dasar larangan latihan. 71724

Ini berbeza daripada pilihan Block yang lebih tegas. Sekatan penuh boleh menghentikan Googlebot, Applebot dan Bingbot, termasuk aktiviti merangkak mereka untuk carian. Jadi, ia bukan pilihan yang sesuai jika keutamaan anda ialah mengekalkan keterlihatan dalam hasil carian. 1728

Apakah maksud status “Accountable”?

Accountable ialah penetapan Cloudflare untuk operator crawler bercampur yang telah memenuhi, atau berjanji untuk memenuhi dalam tempoh masa yang ditetapkan, standard Cloudflare bagi mengasingkan perayapan carian daripada penggunaan berkaitan AI. Apple, Google dan Microsoft ialah operator pertama yang menerima penetapan itu. 72023

Status ini bukan bermaksud sesebuah laman telah memberi kebenaran AI secara menyeluruh. Sebaliknya, ia menjadi asas Cloudflare untuk membenarkan crawler bercampur terus mengakses laman bagi tujuan carian selepas penerbit memilih Disallow AI Training.

Empat syarat Accountable

Cloudflare menyatakan bahawa operator perlu memenuhi atau berjanji untuk memenuhi empat syarat berikut:

1. Mekanisme pilihan keluar latihan melalui robots.txt atau standard yang setanding.
2. Pilihan keluar daripada ringkasan carian yang dijana AI, sama ada sudah tersedia atau dijanjikan mengikut garis masa tertentu.
3. Keterlihatan pada peringkat URL tentang cara kandungan digunakan untuk carian dan latihan.
4. Pengesahan secara terbuka bahawa pilihan keluar daripada latihan tidak akan menghapuskan akses carian biasa. 2324

Syarat ini penting kerana ia menjadikan pemisahan antara carian dan latihan boleh diaudit pada prinsipnya. Pemilik laman bukan sahaja perlu dapat menyatakan pilihan mereka, malah perlu ada cara untuk memahami sama ada pilihan itu dipatuhi.

Crawler mana yang kekal dibenarkan?

Di bawah Disallow AI Training, penentu utamanya bukan semata-mata sama ada sesuatu bot dikendalikan syarikat AI. Sebaliknya, ia bergantung pada sama ada crawler itu ialah crawler bercampur yang operatornya memperoleh penetapan Accountable.

Kategori crawler	Layanan di bawah Disallow AI Training
Crawler carian bercampur berstatus Accountable, termasuk Googlebot, Applebot dan Bingbot	Boleh terus dibenarkan untuk pengindeksan carian 1722
Crawler khusus untuk latihan AI	Disekat 1722
Crawler bercampur tanpa status Accountable	Disekat daripada akses latihan 24

Model ini memberikan penerbit dasar yang lebih tepat berbanding sekatan bot AI secara umum: fungsi carian crawler dikekalkan hanya jika operatornya berkomitmen untuk menghormati sekatan latihan yang berasingan.

Hubungannya dengan Google, Apple dan Bing

Ciri Bot Preference Sync Cloudflare memastikan fail robots.txt laman diselaraskan dengan keutamaan bot AI yang ditetapkan dalam papan pemuka Cloudflare bagi Search, Agent dan Training. 16

Bagi Google dan Apple, kawalan latihan yang berkaitan adalah berasingan daripada crawler carian:

• Google-Extended ialah token pilihan keluar Google yang berkaitan dengan latihan. Ia berasingan daripada Googlebot; oleh itu, sekatan latihan boleh dinyatakan tanpa semestinya menyekat pengindeksan Google Search. 27
• Applebot-Extended ialah kawalan latihan yang sepadan untuk Apple, membolehkan peranan carian Applebot kekal berasingan daripada pilihan keluar latihan AI. 1727
• Bingbot boleh terus dibenarkan untuk carian di bawah model Accountable Cloudflare. Rangka kerja Accountable Cloudflare turut mengambil kira keupayaan yang dijanjikan akan disediakan mengikut garis masa tertentu, dan bukan semestinya membayangkan setiap keupayaan telah tersedia daripada setiap operator. 723

Tetapan lalai untuk domain baharu yang memaparkan iklan

Cloudflare sebelum ini mengumumkan tetapan lalai baharu bermula 15 September 2026. Bagi domain baharu yang menyertai Cloudflare, kategori Training dan Agent disekat secara lalai pada halaman yang memaparkan iklan. 13

Tetapan ini lebih terhad daripada sekatan carian untuk seluruh laman, dan mencerminkan usaha Cloudflare untuk memberi kawalan berbeza mengikut jenis penggunaan. Sumber yang dibekalkan tidak menetapkan peraturan migrasi automatik yang khusus bagi setiap pelanggan sedia ada. Oleh itu, pemilik laman wajar menyemak tetapan Search, Training dan Agent pada peringkat zon masing-masing, dan tidak menganggap konfigurasi lama berubah secara automatik.

Apa yang perlu dilakukan oleh penerbit

Secara praktikal, pilihannya adalah seperti berikut:

• Pilih Disallow AI Training jika anda mahu laman kekal ditemui melalui carian sambil menolak penggunaan bagi latihan model.
• Pilih dasar Block yang lebih luas hanya jika anda bersedia menyekat akses carian crawler yang terjejas juga.
• Semak tetapan Search, Training dan Agent secara berasingan, khususnya bagi halaman yang memaparkan iklan dan domain yang sudah mempunyai peraturan bot sedia ada. 131720

Kawalan Cloudflare tidak menghapuskan keperluan operator crawler untuk menghormati keutamaan yang diterbitkan oleh pemilik laman. Namun, pelancaran ini mewujudkan sempadan dasar yang lebih jelas: pengindeksan carian boleh kekal dibenarkan sementara latihan AI ditolak secara nyata, selagi operator crawler memenuhi syarat Accountable Cloudflare. 724