Tenggat 15 September 2026: Cloudflare Paksa AI Bayar untuk Konten Publisher, Ini Aturan Barunya

Mulai 15 September 2026, Cloudflare akan memblokir semua crawler AI yang menggabungkan fungsi pengindeksan pencarian dengan pelatihan AI atau tugas agen dalam satu user-agent, kecuali jika publisher secara eksplisit mengizinkannya .

Ini bukan sekadar perubahan pengaturan kecil. Cloudflare, yang mengelola sekitar 20% lalu lintas web global, membalikkan default internet dari mode 'keluar' (crawler diizinkan kecuali diblokir) menjadi mode 'masuk' (harus diizinkan) untuk crawler khusus AI . Bagi publisher, ini berarti perlindungan bot kelas enterprise langsung jadi. Bagi perusahaan AI, ini berarti berakhirnya era scraping web skala besar secara gratis dari situs-situs yang menggunakan Cloudflare.

Inti Perubahan: Tenggat 15 September 2026

Cloudflare menetapkan 15 September 2026 sebagai batas waktu bagi perusahaan AI untuk memisahkan crawler web mereka ke dalam kategori yang berbeda dan teridentifikasi berdasarkan bagaimana konten yang di-crawl akan digunakan. Setiap crawler yang tidak mendeklarasikan tujuannya dengan jelas — atau yang menggabungkan pengindeksan pencarian dengan pelatihan AI dalam satu user-agent — akan diblokir secara default pada lalu lintas yang berasal dari Cloudflare, terutama di halaman yang menampilkan iklan .

Setelah tanggal tersebut, pelanggan baru Cloudflare dan situs web yang baru dibuat akan memiliki pengaturan default yang hanya mengizinkan crawler pencarian yang teridentifikasi dengan jelas, sambil memblokir crawler pelatihan AI dan agen AI kecuali publisher secara eksplisit memilih untuk mengizinkannya . Pelanggan lama di paket gratis yang tidak memperbarui preferensi mereka secara manual juga akan dialihkan ke pengaturan default yang baru .

1. Pengaturan Default Baru: Dari 'Opt-Out' ke 'Opt-In'

Sebelumnya, web beroperasi dengan norma opt-out: crawler diizinkan kecuali sebuah situs secara eksplisit memblokirnya melalui robots.txt. Cloudflare membalikkan ini menjadi paradigma opt-in untuk crawler khusus AI .

• Untuk pelanggan baru dan situs baru: Crawler AI yang digunakan untuk pelatihan atau tindakan agen diblokir secara default. Publisher harus secara aktif mengaktifkannya .
• Untuk pelanggan lama: Pengaturan tidak berubah secara otomatis, tetapi pemilik situs dapat (dan sangat dianjurkan) untuk beralih ke kontrol tiga kategori baru melalui dasbor Cloudflare .
• Di halaman yang didukung iklan secara spesifik: Crawler campuran (yang mengindeks untuk pencarian dan scraping untuk pelatihan AI) akan diblokir secara default, karena kebijakan default memperlakukan lalu lintas yang tidak berlabel atau 'campuran' sebagai lalu lintas pelatihan/agen .

2. Sistem Tiga Kategori Crawler: Search, Agent, Training

Cloudflare memperkenalkan klasifikasi baru yang memungkinkan publisher menetapkan aturan independen untuk tiga perilaku bot, tersedia untuk semua pelanggan termasuk pengguna paket gratis :

Kategori	Definisi	Pengaturan Default (15 Sept)
Search	Crawler yang mengindeks konten agar muncul di hasil pencarian dan mengirimkan lalu lintas rujukan (referral traffic) kembali ke publisher.	Diizinkan secara default — bot ini mendatangkan pembaca dan pendapatan iklan.
Agent	Bot yang bertindak atas nama pengguna (misalnya, asisten AI yang melakukan tugas, berbelanja, atau memesan).	Diblokir secara default — publisher harus memilih untuk mengizinkan.
Training	Bot yang scraping konten semata-mata untuk melatih model AI, tanpa mengirimkan kembali pengguna atau atribusi.	Diblokir secara default — publisher harus memilih untuk mengizinkan.

Publisher kini dapat menetapkan kebijakan seperti 'Izinkan Search, Blokir Training, Blokir Agent' dari satu dasbor, bahkan di paket gratis . Ini jauh lebih rinci daripada robots.txt tradisional yang hanya mengizinkan izin atau larangan menyeluruh per user-agent. Dokumentasi Cloudflare sendiri mendefinisikan Search sebagai aktivitas di mana pemilik situs 'harus mengharapkan lalu lintas rujukan atau kompensasi yang adil lainnya' .

3. Transisi dari Pay Per Crawl ke Pay Per Use

Cloudflare pertama kali memperkenalkan Pay Per Crawl pada Juli 2025 sebagai beta pribadi — sebuah pasar di mana publisher dapat menagih perusahaan AI per permintaan, menggunakan kode status HTTP 402 ('Payment Required') untuk menegosiasikan akses . Sistem ini memungkinkan publisher untuk mengembalikan respons 402 dengan informasi harga ketika crawler yang tidak disetujui meminta konten .

Pada April 2026, selama yang disebut Cloudflare sebagai Agents Week (13-17 April), perusahaan mengembangkan ini menjadi model Pay Per Use yang lebih luas, menggabungkan kerangka kerja per-crawl ke dalam konsol operator tunggal yang tersedia di semua tingkatan paket . Perbedaan utamanya:

• Pay Per Crawl (beta 2025): Model transaksi mikro per-permintaan — setiap permintaan crawl memicu negosiasi pembayaran melalui respons HTTP 402 .
• Pay Per Use (GA 2026): Sistem yang lebih fleksibel di mana publisher dapat menetapkan persyaratan — biaya lisensi tetap, tarif per-crawl, atau akses berlangganan — dan perusahaan AI dapat mengelola akses secara terprogram melalui manajemen bot dan aturan WAF Cloudflare .

Implementasi Stack Overflow (Februari 2026) mendemonstrasikan versi produksi: program lisensi data mereka menggunakan kategorisasi bot Cloudflare untuk menyajikan respons 402 kepada crawler yang tidak sah, memonetisasi dalam skala besar tanpa kontrak khusus .

Bagaimana Ini Mengubah Lanskap

Bagi Publisher

• Sumber pendapatan baru: Perusahaan AI kini harus membayar untuk data pelatihan dari situs yang diproksikan Cloudflare, daripada scraping secara gratis .
• Kontrol yang lebih terperinci: Publisher dapat mempertahankan crawler pencarian (yang mendorong lalu lintas iklan) sambil memblokir bot pelatihan/agen — melindungi pendapatan iklan dan nilai konten .
• Perlindungan default: Publisher kecil yang tidak mampu membeli manajemen bot khusus kini mendapatkan pemblokiran crawler AI kelas enterprise langsung jadi .

Bagi Perusahaan AI

• Biaya data pelatihan meningkat: 'Makan siang gratis' scraping skala web berakhir untuk situs-situs di jaringan Cloudflare (~20% web) . Perusahaan AI harus membayar publisher atau menegosiasikan kesepakatan lisensi.
• Krisis identitas Crawler: Perusahaan AI harus merombak infrastruktur crawler mereka sebelum 15 September untuk memisahkan lalu lintas pencarian, pelatihan, dan agen ke dalam user-agent yang berbeda dan teridentifikasi — atau berisiko diblokir seluruhnya .
• Google yang paling terdampak: Crawler Google secara historis memiliki dua tujuan (pengindeksan pencarian dan pelatihan AI untuk Gemini/SGE). Kebijakan Cloudflare memaksa Google untuk memisahkan crawlernya atau Googlebot-nya diblokir di halaman Cloudflare yang didukung iklan .

Dampak Industri yang Lebih Luas

• Langkah penetapan standar: Cloudflare secara efektif mendefinisikan protokol baru untuk etiket crawler AI. CDN dan penyedia hosting lain kemungkinan akan mengikuti jejak ini .
• Kebijakan Sinyal Konten (Content Signals Policy): Cloudflare memperkenalkan serangkaian arahan yang dapat dibaca mesin dalam robots.txt yang melampaui akses tingkat halaman, memungkinkan publisher untuk memberi sinyal apakah konten mereka dapat digunakan untuk pengindeksan pencarian, pelatihan AI, atau agen AI . Ini adalah perluasan dari robots.txt tradisional untuk mencakup penggunaan pasca-akses, bukan hanya izin crawl.