JawabanDipublikasikan24 sumber
Cara Kerja Sinyal Bersama robots.txt untuk Menolak Pelatihan AI
Pada 30 Oktober 2026, Google, OpenAI, Microsoft, dan Anthropic mendukung sinyal robots.txt bersama untuk menyatakan preferensi terkait penggunaan konten dalam pelatihan AI generatif.[4][8] Microsoft berencana menghormati sinyal ini mulai 1 Februari 2027; Google menargetkan awal 2027, OpenAI menyebut “dalam beberapa...
Diterbitkan olehDiedit dengan GPT-6 LunaGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Pada 30 Oktober 2026, Google, OpenAI, Microsoft, dan Anthropic mendukung sinyal robots.txt bersama untuk menyatakan preferensi terkait penggunaan konten dalam pelatihan AI generatif.[4][8]
- Microsoft berencana menghormati sinyal ini mulai 1 Februari 2027; Google menargetkan awal 2027, OpenAI menyebut “dalam beberapa bulan ke depan”, dan Anthropic mengatakan implementasinya sudah dimulai.[8][17]
- Sinyal ini masih berupa Internet Draft IETF. Cakupannya adalah preferensi pelatihan AI—bukan dengan sendirinya pemblokiran perayapan atau jaminan soal kemunculan di hasil pencarian.[2][7]
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Google, OpenAI, Microsoft, and Anthropic commit to on October 30, 2026, regarding a shared robots.txt opt-out signal for generative. Article summary: On October 30, 2026, Google, OpenAI, Microsoft, and Anthropic backed a shared robots.txt signal for expressing whether website content may be used for generative AI training, rather than requiring publishers to address e. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Satu token di file robots.txt berpotensi memudahkan penerbit menyampaikan preferensi penggunaan konten untuk pelatihan AI tanpa perlu menulis aturan terpisah bagi setiap perusahaan. Pada 30 Oktober 2026, Google, OpenAI, Microsoft, dan Anthropic mendukung usulan yang menggunakan token __usage_ai-training.4
8
Namun, ada catatan penting: ini adalah sinyal preferensi yang dinyatakan akan dihormati oleh perusahaan peserta, bukan kunci teknis yang mencegah siapa pun mengakses situs.
Aturan robots.txt yang diusulkan
Kevin Kelley, pimpinan standar di Anthropic, mengajukan Machine-Readable Training Preference Signal sebagai Internet-Draft ke kelompok kerja AI Preferences di IETF—organisasi yang mengembangkan standar internet. Dokumen tersebut menetapkan __usage_ai-training sebagai token kebijakan yang bisa digunakan dalam grup robots.txt biasa.2
6
7
Untuk menyatakan bahwa konten situs tidak boleh digunakan dalam pelatihan AI, contoh aturannya adalah:
User-agent: __usage_ai-training
Disallow: /
Penerbit juga dapat mengatur preferensi untuk jalur tertentu. Contoh berikut melarang penggunaan untuk pelatihan secara umum, tetapi mengecualikan jalur /permitted/:
User-agent: __usage_ai-training
Disallow: /
Allow: /permitted/
Token ini menunjukkan jenis penggunaan yang diatur, bukan nama crawler dari perusahaan tertentu. Draf mensyaratkan token tersebut disebut secara eksplisit; grup User-agent: * tidak dianggap cocok dengan token ini.7
34
Yang diatur—dan yang tidak
Sinyal bersama ini secara khusus menyangkut penggunaan konten untuk melatih AI generatif. Dengan sendirinya, sinyal tersebut tidak meminta crawler berhenti mengakses situs ataupun menghapus halaman dari hasil pencarian.2
7
Karena robots.txt berfungsi sebagai instruksi atau preferensi, bukan pengunci teknis, penerbit tetap bergantung pada perusahaan yang berpartisipasi untuk menghormatinya.7
8
Kontrol khusus penyedia juga masih relevan. Google menyatakan bahwa jika situs memakai sinyal bersama untuk menolak pelatihan tetapi tidak menetapkan aturan Google-Extended, Google berencana memperlakukannya seolah-olah situs melarang Google-Extended. Artinya, aturan khusus Google tetap perlu diperhatikan saat mengatur preferensi untuk layanan Google.33
34
Microsoft secara terpisah menyatakan bahwa preferensi baru ini tidak akan mengubah kelayakan konten untuk tampil di hasil pencarian Bing.19
31 Pernyataan tersebut khusus untuk Bing; sumber yang tersedia tidak memberikan jaminan menyeluruh tentang pengindeksan pencarian dari keempat perusahaan.
Kapan perusahaan akan menerapkannya?
Tanggal berikut merupakan rencana yang diumumkan, bukan bukti bahwa seluruh implementasi sudah aktif:
- Anthropic: Kelley mengatakan perusahaan sudah mulai menerapkan sinyal ini. Belum ada tanggal pasti kapan implementasinya akan selesai.
8
- Google: Menargetkan dukungan pada awal 2027.
- Microsoft/Bing: Berencana menghormati preferensi pelatihan bersama saat merayapi halaman mulai 1 Februari 2027.
17
- OpenAI: Dilaporkan berencana mendukungnya “dalam beberapa bulan ke depan”, tanpa tanggal pasti dalam sumber yang tersedia.
Kontrol tambahan Microsoft untuk grounding
Microsoft juga menyiapkan kontrol terpisah untuk AI grounding. Secara sederhana, grounding adalah penggunaan konten untuk membantu menyusun atau memberi konteks pada jawaban AI—berbeda dari penggunaan konten untuk melatih model. Menurut pengumuman Bing, preferensi grounding diatur per halaman dan terpisah dari preferensi pelatihan.17
Pilihan grounding yang dilaporkan adalah Allow, Disallow, dan DisallowExtended. Pilihan terakhir memungkinkan konten digunakan dalam pengalaman yang dioperasikan Microsoft, tetapi mengecualikannya dari layanan grounding pihak ketiga milik Microsoft.3
17
Ada beberapa tanggal yang perlu diperhatikan oleh situs yang masih memakai tag lama NoArchive atau NoCache:
- 15 Desember 2026: Preferensi grounding sementara di Bing Webmaster Tools dijadwalkan tersedia bagi situs yang memenuhi syarat.
3
44
51
- 1 Februari 2027: Microsoft dijadwalkan mulai menerapkan preferensi baru saat Bing merayapi konten.
- 1 Maret 2027: Batas migrasi bagi situs yang masih mengandalkan tag lama tersebut, menurut laporan yang tersedia.
Hal yang masih belum pasti
- Proses IETF belum selesai. Usulan ini masih berupa Internet-Draft, bukan standar IETF final. Draf yang dirujuk bertanggal 30 Oktober 2026 dan tercatat akan kedaluwarsa pada 3 Mei 2027.
2
34
41
- Nasib konten yang sudah dikumpulkan belum dijelaskan. Sumber yang tersedia tidak memastikan apakah preferensi ini berlaku surut, mewajibkan penghapusan materi yang telah dikumpulkan, atau mengubah model yang sudah dilatih.
- Kepatuhan bergantung pada penyedia. Sumber menjelaskan rencana perusahaan peserta untuk menghormati preferensi, tetapi tidak menetapkan penegakan terhadap perusahaan yang tidak ikut serta.
7
- Dukungan Meta belum terkonfirmasi. Laporan yang menjadi dasar artikel ini menyebut Google, OpenAI, Microsoft, dan Anthropic, tetapi tidak memastikan komitmen implementasi dari Meta.
4
Bagi penerbit, sinyal bersama ini dapat menjadi cara praktis untuk menyatakan preferensi pelatihan AI dalam satu aturan. Namun, jangan menganggapnya sebagai pengganti aturan khusus tiap penyedia atau kontrol grounding tersendiri—dan periksa kembali detail penerapan masing-masing perusahaan saat jadwalnya mendekat.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Cara Kerja Sinyal Bersama robots.txt untuk Menolak Pelatihan AI"?
Pada 30 Oktober 2026, Google, OpenAI, Microsoft, dan Anthropic mendukung sinyal robots.txt bersama untuk menyatakan preferensi terkait penggunaan konten dalam pelatihan AI generatif.[4][8]
Apa poin penting yang harus divalidasi terlebih dahulu?
Pada 30 Oktober 2026, Google, OpenAI, Microsoft, dan Anthropic mendukung sinyal robots.txt bersama untuk menyatakan preferensi terkait penggunaan konten dalam pelatihan AI generatif.[4][8] Microsoft berencana menghormati sinyal ini mulai 1 Februari 2027; Google menargetkan awal 2027, OpenAI menyebut “dalam beberapa bulan ke depan”, dan Anthropic mengatakan implementasinya sudah dimulai.[8][17]
Apa yang harus saya lakukan selanjutnya dalam latihan?
Sinyal ini masih berupa Internet Draft IETF. Cakupannya adalah preferensi pelatihan AI—bukan dengan sendirinya pemblokiran perayapan atau jaminan soal kemunculan di hasil pencarian.[2][7]
Sumber
anythingengineoptimization.comAI-search news archive — AEO Wire