Cloudflare Kekang AI: Tarikh Akhir 15 September 2026 Ubah Landasan Web

Mulai 15 September 2026, Cloudflare akan menyekat secara lalai mana-mana AI crawler yang menggabungkan pengindeksan carian dengan latihan AI atau tugas ejen di bawah satu user-agent — melainkan penerbit secara jelas memilih untuk membenarkannya .

Ini bukan perubahan tetapan kecil. Cloudflare, yang menguruskan kira-kira 20% trafik web global, sedang menukar lalai internet daripada "opt-out" (crawler dibenarkan melainkan disekat) kepada "opt-in" untuk crawler khusus AI . Bagi penerbit, ini bermaksud perlindungan bot peringkat perusahaan sedia ada. Bagi syarikat AI, ia menandakan tamatnya era pengikisan web percuma secara besar-besaran melalui laman yang dilindungi Cloudflare.

Perubahan Teras: Tarikh Akhir 15 September 2026

Cloudflare telah menetapkan 15 September 2026 sebagai tarikh akhir untuk syarikat AI mengasingkan crawler web mereka ke dalam kategori yang berbeza dan dikenal pasti berdasarkan bagaimana kandungan yang dirayap akan digunakan. Mana-mana crawler yang tidak menyatakan tujuannya dengan jelas — atau yang menggabungkan pengindeksan carian dengan latihan AI di bawah satu user-agent — akan disekat secara lalai pada trafik yang berasal dari Cloudflare, terutamanya pada halaman yang memaparkan iklan .

Selepas tarikh ini, pelanggan baharu Cloudflare dan laman web yang baru dicipta akan mempunyai tetapan lalai yang hanya membenarkan crawler carian yang dikenal pasti dengan jelas, sambil menyekat crawler latihan AI dan ejen AI melainkan penerbit secara jelas memilih untuk membenarkannya . Pelanggan sedia ada yang menggunakan pelan percuma dan tidak mengemas kini pilihan mereka secara manual juga akan dipindahkan ke tetapan lalai baharu .

1. Tetapan Lalai Baharu: Daripada Opt-Out kepada Opt-In

Sebelum ini, web beroperasi pada norma opt-out: crawler dibenarkan melainkan laman web secara jelas menyekatnya melalui robots.txt. Cloudflare telah mengubahnya kepada paradigma opt-in untuk crawler khusus AI .

• Untuk pelanggan baharu dan laman baharu: Crawler AI yang digunakan untuk latihan atau tindakan ejen disekat secara lalai. Penerbit mesti mengaktifkannya secara aktif .
• Untuk pelanggan sedia ada: Tetapan tidak berubah secara automatik, tetapi pemilik boleh (dan sangat digalakkan) untuk beralih kepada kawalan tiga kategori baharu melalui papan pemuka Cloudflare .
• Pada halaman yang disokong iklan secara khusus: Crawler penggunaan campuran (yang mengindeks untuk carian dan mengikis untuk latihan AI) akan disekat secara lalai, kerana dasar lalai menganggap trafik yang tidak dilabel atau "campuran" sebagai trafik latihan/ejen .

2. Sistem Tiga Kategori Crawler: Cari, Ejen, Latihan

Cloudflare telah memperkenalkan klasifikasi baharu yang membolehkan penerbit menetapkan peraturan bebas untuk tiga tingkah laku bot, tersedia untuk semua pelanggan termasuk pengguna pelan percuma :

Kategori	Definisi	Tetapan Lalai (15 Sept)
Cari	Crawler yang mengindeks kandungan supaya ia boleh muncul dalam hasil carian dan menghantar trafik rujukan kembali kepada penerbit.	Dibenarkan secara lalai — bot ini membawa pembaca dan hasil iklan.
Ejen	Bot yang bertindak bagi pihak pengguna (contohnya, pembantu AI melaksanakan tugas, membeli-belah, atau membuat tempahan).	Disekat secara lalai — penerbit mesti memilih untuk membenarkan.
Latihan	Bot yang mengikis kandungan semata-mata untuk melatih model AI, tanpa menghantar semula pengguna atau atribusi.	Disekat secara lalai — penerbit mesti memilih untuk membenarkan.

Penerbit kini boleh menetapkan dasar seperti "Benarkan Cari, Sekat Latihan, Sekat Ejen" dari satu papan pemuka, walaupun pada pelan percuma . Ini lebih terperinci daripada robots.txt tradisional, yang hanya membenarkan kebenaran/sekatan menyeluruh setiap user-agent. Dokumentasi Cloudflare sendiri mentakrifkan Cari sebagai aktiviti di mana pemilik laman " harus menjangkakan trafik rujukan atau pampasan saksama yang lain " .

3. Peralihan daripada Bayar Per Rayapan kepada Bayar Per Penggunaan

Cloudflare mula-mula memperkenalkan Bayar Per Rayapan (Pay Per Crawl) pada Julai 2025 sebagai beta persendirian — pasaran di mana penerbit boleh mengenakan bayaran kepada syarikat AI setiap permintaan, menggunakan kod status HTTP 402 ("Bayaran Diperlukan") untuk merundingkan akses . Sistem ini membenarkan penerbit mengembalikan respons 402 dengan maklumat harga apabila crawler yang tidak diluluskan meminta kandungan .

Menjelang April 2026, semasa apa yang dipanggil Cloudflare sebagai Minggu Ejen (13-17 April), syarikat itu telah mengembangkan ini menjadi model Bayar Per Penggunaan (Pay Per Use) yang lebih luas, menggabungkan rangka kerja per-rayapan ke dalam konsol pengendali tunggal yang tersedia di semua peringkat pelan . Perbezaan utama:

• Bayar Per Rayapan (beta 2025): Model transaksi mikro setiap permintaan — setiap permintaan rayapan mencetuskan rundingan pembayaran melalui respons HTTP 402 .
• Bayar Per Penggunaan (GA 2026): Sistem yang lebih fleksibel di mana penerbit boleh menetapkan terma — yuran lesen rata, kadar per-rayapan, atau akses gaya langganan — dan syarikat AI boleh mengurus akses secara programatik melalui pengurusan bot dan peraturan WAF Cloudflare .

Pelaksanaan Stack Overflow (Februari 2026) menunjukkan versi pengeluaran: program pelesenan data mereka menggunakan kategorisasi bot Cloudflare untuk memberikan respons 402 kepada crawler yang tidak dibenarkan, menjana pendapatan pada skala besar tanpa kontrak khas .

Bagaimana Ini Mengubah Landskap

Untuk Penerbit

• Aliran hasil baharu: Syarikat AI kini mesti membayar untuk data latihan dari laman yang dilindungi Cloudflare, daripada mengikis secara percuma .
• Kawalan terperinci: Penerbit boleh mengekalkan crawler carian (yang memacu trafik iklan) sambil menyekat bot latihan/ejen — melindungi kedua-dua hasil iklan dan nilai kandungan .
• Perlindungan lalai: Penerbit kecil yang tidak mampu membeli pengurusan bot khas kini mendapat perlindungan peringkat perusahaan untuk menyekat crawler AI secara lalai .

Untuk Syarikat AI

• Kos data latihan meningkat: "Makan tengah hari percuma" untuk mengikis web secara besar-besaran berakhir untuk laman di rangkaian Cloudflare (~20% web) . Syarikat AI mesti sama ada membayar penerbit atau merundingkan perjanjian pelesenan.
• Krisis identiti crawler: Syarikat AI mesti baik pulih infrastruktur crawler mereka menjelang 15 September untuk mengasingkan trafik carian, latihan dan ejen ke dalam user-agent yang berbeza dan boleh dikenal pasti — atau berisiko disekat sepenuhnya .
• Google paling terjejas: Crawler Google secara historis mempunyai dua tujuan (pengindeksan carian dan latihan AI untuk Gemini/SGE). Dasar Cloudflare memaksa Google untuk sama ada membahagikan crawler mereka atau mempunyai Googlebot mereka disekat pada halaman Cloudflare yang disokong iklan .

Kesan Industri yang Lebih Luas

• Langkah penetapan piawaian: Cloudflare secara berkesan mentakrifkan protokol baharu untuk etika crawler AI. CDN dan penyedia hosting lain mungkin mengikutinya .
• Dasar Isyarat Kandungan: Cloudflare memperkenalkan set arahan boleh dibaca mesin baharu dalam robots.txt yang melampaui akses peringkat halaman, membolehkan penerbit memberi isyarat sama ada kandungan mereka boleh digunakan untuk pengindeksan carian, latihan AI, atau ejen AI . Ini adalah lanjutan daripada robots.txt tradisional untuk merangkumi penggunaan selepas akses, bukan sekadar kebenaran merayap.