JawabanDipublikasikan21 sumber
Cloudflare Pisahkan Blokir Pelatihan AI dari Visibilitas Mesin Pencari
Disallow AI Training dari Cloudflare memisahkan izin pelatihan AI dari pengindeksan mesin pencari, sehingga situs dapat tetap ditemukan lewat pencarian. Apple, Google, dan Microsoft menjadi operator pertama berstatus Accountable, berdasarkan empat syarat transparansi dan mekanisme opt out yang dipenuhi atau dijanjik...
Diterbitkan olehDiedit dengan GPT-5.6 TerraGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Disallow AI Training dari Cloudflare memisahkan izin pelatihan AI dari pengindeksan mesin pencari, sehingga situs dapat tetap ditemukan lewat pencarian.
- Apple, Google, dan Microsoft menjadi operator pertama berstatus Accountable, berdasarkan empat syarat transparansi dan mekanisme opt out yang dipenuhi atau dijanjikan dalam tenggat tertentu.
- Cloudflare kini menyediakan kontrol terpisah untuk trafik Search, Training, dan Agent; untuk domain baru, kategori Training dan Agent diblokir secara bawaan pada halaman yang menampilkan iklan.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Cloudflare’s September 15, 2026 launch of “Disallow AI Training” introduce for website owners, how does it allow them to prevent AI. Article summary: Cloudflare’s September 15 launch introduced **Disallow AI Training**: a setting intended to let a site refuse use of its content for model training without sacrificing ordinary search indexing. It combines an opt-out sig. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Cloudflare memperkenalkan pengaturan Disallow AI Training pada 15 September 2026 untuk menjawab dilema yang dihadapi banyak penerbit dan pemilik situs: menolak konten dipakai melatih model AI, tanpa harus mengorbankan kehadiran di hasil pencarian biasa. Pengaturan ini menyatakan preferensi larangan pelatihan AI sekaligus memblokir trafik crawler terkait, tetapi tetap membuka akses pencarian bagi crawler campuran yang memenuhi kriteria. 7
20
Intinya: crawling untuk pencarian dipisahkan dari pelatihan AI
Sebelumnya, pendekatan Block AI Bots cenderung bersifat menyeluruh. Kini Cloudflare memisahkan pengaturan crawler menjadi tiga tujuan penggunaan:
- Search: perayapan untuk mengindeks konten di mesin pencari;
- Training: penggunaan konten untuk melatih atau melakukan fine-tuning model AI;
- Agent: trafik dari agen AI yang bertindak atas nama pengguna.
Dengan pemisahan ini, pemilik situs dapat mengatur tiap jenis akses secara mandiri. Misalnya, sebuah media dapat tetap mengizinkan kontennya muncul di Google Search sambil menolak konten itu digunakan untuk pelatihan model. Kontrol dan rekomendasi pengaturan tersebut tersedia bagi penerbit dan bisnis sejak peluncuran 15 September. 13
20
Bagi situs yang ingin tetap mudah ditemukan melalui pencarian tetapi tidak ingin materinya dipakai melatih AI, opsi yang relevan adalah Disallow AI Training. Cloudflare menyampaikan preferensi itu lewat kebijakan bot dan alat robots.txt, sembari menerapkan aturan pemblokiran terhadap trafik pelatihan. 1
6
7
Bagaimana visibilitas pencarian tetap dipertahankan
Sejumlah crawler memiliki fungsi campuran. Googlebot, Applebot, dan Bingbot dapat merayapi situs untuk kebutuhan indeks pencarian, sementara operatornya juga dapat memiliki penggunaan konten yang berkaitan dengan AI. Dalam kebijakan Cloudflare, fungsi pencarian itu dibedakan dari pelatihan model.
Saat Disallow AI Training diaktifkan:
- Crawler campuran berstatus Accountable dapat tetap mengakses konten untuk pengindeksan pencarian.
- Operator crawler tersebut diharapkan mematuhi penolakan pemilik situs atas penggunaan konten untuk pelatihan AI.
- Crawler yang khusus digunakan untuk pelatihan, serta crawler campuran dari operator yang belum berstatus Accountable, diblokir berdasarkan kebijakan larangan pelatihan.
7
17
24
Ini berbeda dari pilihan Block yang lebih keras. Pemblokiran penuh dapat menghentikan Googlebot, Applebot, dan Bingbot, termasuk aktivitas crawling mereka untuk pencarian. Karena itu, opsi tersebut bukan pilihan tepat bila prioritas situs adalah tetap tampil di hasil pencarian. 17
28
Apa arti status “Accountable”?
Accountable adalah sebutan dari Cloudflare untuk operator crawler campuran yang telah memenuhi, atau berkomitmen memenuhi dalam jadwal tertentu, standar Cloudflare untuk memisahkan crawling pencarian dari penggunaan terkait AI. Apple, Google, dan Microsoft menjadi operator pertama yang memperoleh sebutan ini. 7
20
23
Status itu bukan berarti pemilik situs memberikan izin menyeluruh untuk pemanfaatan AI. Sebaliknya, status tersebut menjadi dasar bagi Cloudflare untuk tetap mengizinkan crawler campuran menjalankan fungsi pencarian ketika pemilik situs memilih Disallow AI Training.
Empat syarat untuk menjadi Accountable
Cloudflare menyatakan operator harus memenuhi atau berkomitmen memenuhi empat kondisi berikut:
- Menyediakan mekanisme opt-out pelatihan melalui
robots.txtatau standar setara. - Menyediakan opt-out untuk ringkasan pencarian yang dihasilkan AI, baik sudah tersedia maupun dijanjikan dalam tenggat tertentu.
- Memberikan visibilitas di tingkat URL tentang penggunaan konten untuk pencarian dan pelatihan.
- Menyatakan secara terbuka bahwa memilih keluar dari pelatihan tidak akan menghapus akses pencarian biasa.
23
Persyaratan tersebut dimaksudkan untuk membuat pemisahan antara pencarian dan pelatihan lebih dapat diverifikasi: pemilik situs bukan hanya bisa menyatakan pilihannya, tetapi juga memiliki dasar untuk memahami bagaimana kontennya digunakan.
Bot mana yang tetap diizinkan, dan mana yang diblokir?
Dalam Disallow AI Training, penentu utamanya bukan sekadar apakah sebuah bot terkait perusahaan AI. Faktor penentunya ialah apakah crawler tersebut bersifat campuran dan operatornya telah mendapat status Accountable.
| Kategori crawler | Perlakuan saat Disallow AI Training aktif |
|---|---|
| Crawler pencarian campuran berstatus Accountable, termasuk Googlebot, Applebot, dan Bingbot | Dapat tetap diizinkan untuk pengindeksan pencarian |
| Crawler khusus pelatihan AI | Diblokir |
| Crawler campuran tanpa status Accountable | Diblokir dari akses pelatihan |
Artinya, kebijakan ini memberi kontrol yang lebih presisi daripada blokir bot AI secara universal. Fungsi pencarian sebuah crawler hanya dipertahankan bila operatornya berkomitmen menghormati pembatasan pelatihan yang terpisah.
Peran Google-Extended, Applebot-Extended, dan Bingbot
Fitur Bot Preference Sync Cloudflare menjaga agar robots.txt sebuah situs selaras dengan preferensi bot AI yang diatur lewat dashboard Cloudflare untuk Search, Agent, dan Training. 1
6
Untuk Google dan Apple, kontrol pelatihan memang dibedakan dari crawler pencariannya:
- Google-Extended adalah token opt-out terkait pelatihan milik Google. Token ini berbeda dari Googlebot, sehingga pembatasan pelatihan dapat dinyatakan tanpa secara otomatis memblokir pengindeksan Google Search.
27
- Applebot-Extended merupakan kontrol setara dari Apple, yang memisahkan peran pencarian Applebot dari pilihan untuk menolak pelatihan AI.
- Bingbot dapat tetap tersedia untuk pencarian di bawah model Accountable Cloudflare. Kerangka Accountable mengakui bahwa sebagian kemampuan operator dapat berupa komitmen yang akan dipenuhi dalam tenggat tertentu, bukan selalu kemampuan yang sudah tersedia dari setiap operator saat ini.
Dampaknya bagi domain baru dan pelanggan lama
Cloudflare sebelumnya mengumumkan pengaturan bawaan baru yang berlaku mulai 15 September 2026. Untuk domain baru yang mulai menggunakan Cloudflare, kategori Training dan Agent diblokir secara bawaan pada halaman yang menampilkan iklan. 13
Pengaturan bawaan ini lebih sempit daripada memblokir pencarian untuk seluruh situs. Namun, sumber yang tersedia tidak menjelaskan aturan migrasi otomatis secara spesifik bagi semua pelanggan lama. Karena itu, pemilik situs sebaiknya memeriksa pengaturan tingkat zona untuk Search, Training, dan Agent, alih-alih berasumsi konfigurasi lama telah berubah otomatis.
Pilihan praktis bagi penerbit dan pemilik situs
Bagi pemilik situs, garis besarnya cukup jelas:
- Pilih Disallow AI Training jika ingin tetap ditemukan di mesin pencari sambil menolak penggunaan konten untuk pelatihan model.
- Pilih Block hanya bila siap membatasi akses pencarian dari crawler yang terdampak juga.
- Tinjau pengaturan Search, Training, dan Agent secara terpisah, terutama pada halaman beriklan dan domain yang telah memiliki aturan bot sebelumnya.
20
Kontrol Cloudflare tidak menghapus kebutuhan agar operator crawler benar-benar mematuhi preferensi yang dipublikasikan. Namun, peluncuran ini membuat batas kebijakan menjadi lebih tegas: pengindeksan pencarian dapat tetap diizinkan ketika pelatihan AI secara eksplisit ditolak, selama operator crawler memenuhi syarat Accountable Cloudflare. 7
24
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Cloudflare Pisahkan Blokir Pelatihan AI dari Visibilitas Mesin Pencari"?
Disallow AI Training dari Cloudflare memisahkan izin pelatihan AI dari pengindeksan mesin pencari, sehingga situs dapat tetap ditemukan lewat pencarian.
Apa poin penting yang harus divalidasi terlebih dahulu?
Disallow AI Training dari Cloudflare memisahkan izin pelatihan AI dari pengindeksan mesin pencari, sehingga situs dapat tetap ditemukan lewat pencarian. Apple, Google, dan Microsoft menjadi operator pertama berstatus Accountable, berdasarkan empat syarat transparansi dan mekanisme opt out yang dipenuhi atau dijanjikan dalam tenggat tertentu.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Cloudflare kini menyediakan kontrol terpisah untuk trafik Search, Training, dan Agent; untuk domain baru, kategori Training dan Agent diblokir secara bawaan pada halaman yang menampilkan iklan.
Sumber