AnswersPublished24 sources
Satu arahan robots.txt untuk pilihan latihan AI: perkara yang perlu diketahui penerbit
Pada 30 Oktober 2026, Google, OpenAI, Microsoft dan Anthropic menyokong token robots.txt bersama, usage ai training, untuk menyatakan pilihan penerbit tentang penggunaan kandungan bagi latihan AI.[4][8] Microsoft merancang untuk menghormati isyarat itu mulai 1 Februari 2027; Google menyasarkan awal 2027, OpenAI meny...
Diterbitkan olehDisunting dengan GPT-6 LunaImej dijana dengan GPT Image 2
Research answer
Key takeaways
- Pada 30 Oktober 2026, Google, OpenAI, Microsoft dan Anthropic menyokong token robots.txt bersama, usage ai training, untuk menyatakan pilihan penerbit tentang penggunaan kandungan bagi latihan AI.[4][8]
- Microsoft merancang untuk menghormati isyarat itu mulai 1 Februari 2027; Google menyasarkan awal 2027, OpenAI menyebut “dalam beberapa bulan akan datang” tanpa tarikh khusus, manakala Anthropic berkata pelaksanaannya...
- Cadangan itu masih berupa Draf Internet IETF. Isyarat tersebut berkaitan pilihan latihan AI, bukan dengan sendirinya menghalang perayapan laman atau menentukan kemunculannya dalam hasil carian biasa.[2][7]
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Google, OpenAI, Microsoft, and Anthropic commit to on October 30, 2026, regarding a shared robots.txt opt-out signal for generative. Article summary: On October 30, 2026, Google, OpenAI, Microsoft, and Anthropic backed a shared robots.txt signal for expressing whether website content may be used for generative AI training, rather than requiring publishers to address e. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Satu token dalam fail robots.txt berpotensi memudahkan penerbit menyatakan pilihan tentang latihan AI tanpa perlu menulis peraturan berasingan untuk setiap penyedia. Pada 30 Oktober 2026, Google, OpenAI, Microsoft dan Anthropic menyokong cadangan yang menggunakan token __usage_ai-training.4
8
Namun, ada perkara penting yang perlu difahami: ini ialah isyarat pilihan yang menurut syarikat terbabit akan dihormati, bukannya kunci teknikal yang menghalang laman daripada diakses.7
8
Cara arahan robots.txt itu berfungsi
Kevin Kelley, ketua piawaian di Anthropic, mengemukakan Machine-Readable Training Preference Signal sebagai Draf Internet kepada kumpulan kerja AI Preferences di IETF, iaitu badan yang membangunkan piawaian internet. Cadangan itu mentakrifkan __usage_ai-training sebagai token dasar yang boleh digunakan dalam kumpulan robots.txt biasa.2
6
7
Untuk menyatakan bahawa kandungan seluruh laman tidak patut digunakan bagi latihan AI, contoh arahannya ialah:
User-agent: __usage_ai-training
Disallow: /
Penerbit juga boleh menetapkan pilihan mengikut laluan tertentu. Contoh di bawah tidak membenarkan penggunaan untuk latihan secara umum, tetapi membenarkannya bagi laluan /permitted/:
User-agent: __usage_ai-training
Disallow: /
Allow: /permitted/
Token ini menamakan jenis penggunaan yang ingin dikawal, bukannya perayap syarikat tertentu. Draf itu memerlukan token tersebut dinyatakan secara khusus; kumpulan User-agent: * tidak terpakai kepadanya.7
34
Apa yang dikawal—dan apa yang tidak
Isyarat bersama ini khusus untuk pilihan penggunaan kandungan bagi latihan AI generatif. Dengan sendirinya, ia bukan arahan untuk menghentikan semua perayapan atau mengeluarkan halaman daripada hasil carian.2
7 Oleh sebab
robots.txt menyampaikan pilihan, bukan sekatan teknikal, kesannya bergantung pada sama ada penyedia yang mengambil bahagian menghormatinya.7
8
Kawalan khusus penyedia juga masih boleh memainkan peranan. Google berkata ia merancang untuk menganggap pilihan tidak membenarkan latihan melalui token bersama sebagai arahan Google-Extended yang tidak dibenarkan, sekiranya laman itu tidak menetapkan peraturan Google-Extended sendiri.33
34
Microsoft pula menyatakan bahawa pilihan baharunya tidak akan mengubah kelayakan kandungan untuk muncul dalam hasil carian Bing.19
31 Jaminan itu khusus kepada Bing; sumber yang tersedia tidak menetapkan jaminan menyeluruh tentang pengindeksan carian bagi keempat-empat syarikat.
Jadual pelaksanaan yang diumumkan
Tarikh berikut ialah rancangan yang diumumkan, bukan bukti bahawa semua pelaksanaan sudah tersedia:
- Anthropic: Kelley berkata syarikat itu sudah mula melaksanakan isyarat berkenaan. Laporan yang tersedia tidak memberikan tarikh siap yang khusus.
8
- Google: Menyasarkan sokongan pada awal 2027.
- Microsoft/Bing: Merancang untuk menghormati pilihan latihan bersama ketika merayapi halaman mulai 1 Februari 2027.
17
- OpenAI: Dilaporkan merancang sokongan “dalam beberapa bulan akan datang”, tetapi tiada tarikh khusus diberikan dalam sumber yang dibekalkan.
Kawalan tambahan Microsoft: latihan berbeza daripada grounding
Microsoft turut memperkenalkan pilihan berasingan untuk AI grounding—penggunaan kandungan laman bagi membantu menyediakan konteks atau maklumat dalam jawapan yang dijana AI. Pilihan ini ditetapkan pada peringkat halaman dan boleh diurus secara berasingan daripada latihan model.17
Pilihan grounding yang dilaporkan ialah Allow, Disallow dan DisallowExtended. Pilihan terakhir membenarkan penggunaan dalam pengalaman yang dikendalikan Microsoft, tetapi mengecualikan perkhidmatan grounding Microsoft yang disediakan kepada pihak ketiga.3
17
Tarikh peralihan mungkin penting bagi laman yang menggunakan tag lama NoArchive atau NoCache:
- 15 Disember 2026: Pilihan grounding peralihan sementara dijadualkan tersedia dalam Bing Webmaster Tools bagi laman yang layak.
3
44
51
- 1 Februari 2027: Microsoft merancang untuk mula menghormati pilihan baharu ketika Bing merayapi kandungan.
- 1 Mac 2027: Tarikh akhir peralihan yang dilaporkan bagi laman yang bergantung pada tag lama tersebut.
Perkara yang masih belum dipastikan
- Proses IETF belum selesai. Cadangan ini ialah Draf Internet, bukannya piawaian IETF yang sudah dimuktamadkan. Draf yang dirujuk bertarikh 30 Oktober 2026 dan disenaraikan akan luput pada 3 Mei 2027.
2
34
41
- Kandungan yang sudah dikumpulkan tidak dibincangkan dengan jelas. Sumber yang tersedia tidak menyatakan sama ada pilihan itu terpakai secara kebelakangan, memerlukan kandungan dipadamkan, atau mengubah model yang sudah dilatih.
- Pematuhan bergantung pada penyedia. Sumber menerangkan rancangan syarikat yang mengambil bahagian untuk menghormati pilihan penerbit, tetapi tidak menunjukkan mekanisme penguatkuasaan terhadap pihak yang tidak menyertainya.
7
- Sokongan Meta belum dapat disahkan. Laporan yang dibekalkan menamakan Google, OpenAI, Microsoft dan Anthropic, tetapi tidak mengesahkan komitmen pelaksanaan daripada Meta.
4
Bagi penerbit, token ini boleh menjadi cara bersama yang berguna untuk menyatakan pilihan tentang latihan AI. Tetapi ia bukan pengganti kepada semakan peraturan khusus penyedia, tetapan grounding yang berasingan atau butiran pelaksanaan setiap syarikat.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Satu arahan robots.txt untuk pilihan latihan AI: perkara yang perlu diketahui penerbit"?
Pada 30 Oktober 2026, Google, OpenAI, Microsoft dan Anthropic menyokong token robots.txt bersama, usage ai training, untuk menyatakan pilihan penerbit tentang penggunaan kandungan bagi latihan AI.[4][8]
What are the key points to validate first?
Pada 30 Oktober 2026, Google, OpenAI, Microsoft dan Anthropic menyokong token robots.txt bersama, usage ai training, untuk menyatakan pilihan penerbit tentang penggunaan kandungan bagi latihan AI.[4][8] Microsoft merancang untuk menghormati isyarat itu mulai 1 Februari 2027; Google menyasarkan awal 2027, OpenAI menyebut “dalam beberapa bulan akan datang” tanpa tarikh khusus, manakala Anthropic berkata pelaksanaannya...
What should I do next in practice?
Cadangan itu masih berupa Draf Internet IETF. Isyarat tersebut berkaitan pilihan latihan AI, bukan dengan sendirinya menghalang perayapan laman atau menentukan kemunculannya dalam hasil carian biasa.[2][7]
Sources