Cloudflare ให้เว็บบล็อกการฝึก AI โดยไม่ต้องแลกกับการหายจากผลค้นหา

Cloudflare เปิดตัวการตั้งค่า Disallow AI Training เมื่อวันที่ 15 กันยายน 2026 เพื่อแก้โจทย์ที่เจ้าของเว็บไซต์และผู้เผยแพร่เนื้อหาเจอมานาน: ต้องการปฏิเสธการนำงานไปฝึกโมเดล AI แต่ไม่อยากให้เว็บไซต์หลุดจากผลการค้นหาทั่วไป การตั้งค่านี้ส่งสัญญาณว่าไม่อนุญาตให้ใช้เนื้อหาเพื่อการฝึก และบล็อกทราฟฟิกสำหรับการฝึกที่เกี่ยวข้อง ขณะเดียวกันยังรักษาการเข้าถึงเพื่อการค้นหาไว้สำหรับครอว์เลอร์แบบผสมที่เข้าเกณฑ์ 720

แยก “การค้นหา” ออกจาก “การฝึกโมเดล”

Cloudflare เลิกใช้แนวทางแบบปุ่มเดียวอย่าง Block AI Bots แล้วเปลี่ยนเป็นการควบคุมตามวัตถุประสงค์ของครอว์เลอร์ 3 ประเภท ได้แก่

• Search — รวบรวมเนื้อหาเพื่อทำดัชนีสำหรับระบบค้นหา
• Training — นำเนื้อหาไปฝึกหรือปรับจูนโมเดล
• Agent — ทราฟฟิกจาก AI agent ที่ทำงานแทนผู้ใช้

จุดสำคัญคือ เว็บไซต์จึงกำหนดสิทธิ์ของแต่ละกรณีแยกกันได้ ไม่จำเป็นต้องเลือกว่าจะ “เปิดทั้งหมด” หรือ “บล็อกทั้งหมด” โดย Cloudflare ระบุว่าชุดการควบคุมและการตั้งค่าที่แนะนำเริ่มใช้งานได้สำหรับผู้เผยแพร่และธุรกิจพร้อมการเปิดตัววันที่ 15 กันยายน 1320

หากเป้าหมายคือให้เนื้อหายังถูกค้นพบผ่านเสิร์ช แต่ไม่ต้องการให้ถูกนำไปใช้ฝึก AI ตัวเลือกที่ตรงที่สุดคือ Disallow AI Training ซึ่งเผยแพร่ความต้องการดังกล่าวผ่านเครื่องมือนโยบายบอตและ robots.txt ของ Cloudflare พร้อมใช้กฎบล็อกกับทราฟฟิกเพื่อการฝึก 167

เปิดใช้แล้ว Googlebot ยังเข้าเว็บได้หรือไม่

คำตอบคือ อาจยังเข้าได้เพื่อการทำดัชนีค้นหา หากเป็นครอว์เลอร์แบบใช้งานหลายวัตถุประสงค์ที่ Cloudflare จัดเป็น Accountable เช่น Googlebot, Applebot และ Bingbot

เมื่อเปิด Disallow AI Training:

• ครอว์เลอร์แบบผสมที่เป็น Accountable ยังเข้าถึงหน้าเว็บเพื่อทำดัชนีค้นหาได้
• ผู้ให้บริการครอว์เลอร์ต้องเคารพการปฏิเสธไม่ให้นำเนื้อหานั้นไปใช้ฝึก AI
• ครอว์เลอร์ที่มีไว้ฝึกโมเดลโดยเฉพาะ รวมถึงครอว์เลอร์แบบผสมที่ผู้ให้บริการยังไม่มีสถานะ Accountable จะถูกบล็อกภายใต้นโยบายนี้ 71724

จึงต่างจากการเลือก Block แบบเข้มงวด ซึ่งอาจหยุด Googlebot, Applebot และ Bingbot ได้ทั้งหมด รวมถึงการเข้ามาเพื่อการค้นหาด้วย ตัวเลือกนี้จึงไม่เหมาะกับเว็บไซต์ที่ยังต้องการรักษาการมองเห็นบนเสิร์ช 1728

Accountable คืออะไร

Accountable คือสถานะที่ Cloudflare ใช้เรียกผู้ให้บริการครอว์เลอร์แบบผสม ซึ่งทำตาม หรือให้คำมั่นว่าจะทำตามภายในกรอบเวลาที่กำหนด ตามมาตรฐานของ Cloudflare สำหรับการแยกการรวบรวมข้อมูลเพื่อค้นหาออกจากการใช้งานเกี่ยวกับ AI โดย Apple, Google และ Microsoft เป็นผู้ให้บริการกลุ่มแรกที่ได้รับสถานะนี้ 72023

สถานะดังกล่าวไม่ได้หมายความว่าเว็บไซต์อนุญาตให้ใช้เนื้อหากับ AI แบบครอบจักรวาล แต่เป็นเงื่อนไขที่ทำให้ครอว์เลอร์แบบผสมยังคงทำหน้าที่ด้านการค้นหาได้ หลังเจ้าของเว็บเลือกห้ามการฝึกโมเดล

ข้อกำหนด 4 ข้อของ Accountable

Cloudflare ระบุว่าผู้ให้บริการต้องปฏิบัติตาม หรือให้คำมั่นว่าจะปฏิบัติตาม 4 เงื่อนไข ได้แก่

1. มีช่องทางให้เจ้าของเว็บไซต์เลือกไม่อนุญาตการฝึก AI ผ่าน robots.txt หรือมาตรฐานที่เทียบเท่า
2. มีทางเลือกไม่อนุญาตให้ใช้เนื้อหาในสรุปผลค้นหาที่สร้างโดย AI ไม่ว่าจะพร้อมใช้แล้วหรือมีกรอบเวลาส่งมอบที่ชัดเจน
3. เปิดเผยในระดับ URL ว่าเนื้อหาถูกใช้เพื่อการค้นหาและการฝึกอย่างไร
4. ยืนยันต่อสาธารณะว่า การเลือกไม่อนุญาตการฝึกจะไม่ทำให้เว็บไซต์สูญเสียการเข้าถึงผ่านการค้นหาปกติ 2324

เงื่อนไขเหล่านี้มีเป้าหมายให้การแยกระหว่าง “ค้นหา” กับ “ฝึกโมเดล” ตรวจสอบได้มากขึ้น อย่างน้อยเจ้าของเว็บไซต์ควรมีทั้งช่องทางแสดงความต้องการและข้อมูลประกอบเพื่อทำความเข้าใจว่าความต้องการนั้นได้รับการเคารพหรือไม่

ครอว์เลอร์ใดได้รับอนุญาต และใดถูกบล็อก

ภายใต้ Disallow AI Training ปัจจัยชี้ขาดไม่ใช่เพียงว่าบอตมาจากบริษัท AI หรือไม่ แต่คือบอตนั้นเป็นครอว์เลอร์แบบผสมที่ผู้ให้บริการได้รับสถานะ Accountable แล้วหรือเปล่า

ประเภทครอว์เลอร์	การปฏิบัติภายใต้ Disallow AI Training
ครอว์เลอร์ค้นหาแบบผสมที่เป็น Accountable เช่น Googlebot, Applebot และ Bingbot	อาจยังได้รับอนุญาตให้ทำดัชนีเพื่อการค้นหา 1722
ครอว์เลอร์ที่ใช้ฝึก AI โดยเฉพาะ	ถูกบล็อก 1722
ครอว์เลอร์แบบผสมที่ยังไม่มีสถานะ Accountable	ถูกบล็อกสำหรับการเข้าถึงเพื่อการฝึก 24

กล่าวอีกแบบคือ Cloudflare เปิดทางให้เว็บไซต์รักษาบทบาทด้านการค้นหาของครอว์เลอร์ไว้ เฉพาะกรณีที่ผู้ให้บริการมีพันธะชัดเจนว่าจะเคารพข้อห้ามการฝึกโมเดลที่แยกออกมา

ความเกี่ยวข้องกับ Google, Apple และ Bing

ฟีเจอร์ Bot Preference Sync ของ Cloudflare จะทำให้ไฟล์ robots.txt สอดคล้องกับนโยบาย AI bot ที่ตั้งไว้ในแดชบอร์ดสำหรับ Search, Agent และ Training 16

สำหรับ Google และ Apple การควบคุมการฝึกแยกจากครอว์เลอร์ค้นหาอย่างชัดเจน:

• Google-Extended คือโทเค็น opt-out ที่เกี่ยวกับการฝึกของ Google และแยกจาก Googlebot ดังนั้นการปฏิเสธการฝึกจึงไม่ได้หมายความว่าต้องบล็อกการทำดัชนีของ Google Search โดยอัตโนมัติ 27
• Applebot-Extended เป็นกลไกในลักษณะเดียวกันของ Apple ทำให้บทบาทของ Applebot ด้านการค้นหาแยกจากการ opt-out สำหรับการฝึก AI ได้ 1727
• Bingbot ยังสามารถเข้าถึงเพื่อการค้นหาได้ภายใต้โมเดล Accountable ของ Cloudflare ทั้งนี้กรอบ Accountable อาจนับรวมความสามารถที่มีอยู่แล้ว และความสามารถที่ผู้ให้บริการให้คำมั่นว่าจะส่งมอบตามกรอบเวลาที่กำหนด ไม่ได้แปลว่าทุกความสามารถพร้อมใช้งานจากผู้ให้บริการทุกรายในทันที 723

ค่าเริ่มต้นสำหรับโดเมนใหม่ที่มีโฆษณา

Cloudflare เคยประกาศค่าเริ่มต้นใหม่ที่จะมีผลในวันที่ 15 กันยายน 2026 สำหรับ โดเมนใหม่ที่เริ่มใช้งาน Cloudflare โดยทราฟฟิกกลุ่ม Training และ Agent จะถูกบล็อกเป็นค่าเริ่มต้นบนหน้าที่แสดงโฆษณา 13

ค่าเริ่มต้นนี้ไม่ได้เท่ากับการบล็อกการค้นหาทั้งเว็บไซต์ แต่สะท้อนแนวทางที่ให้ผู้เผยแพร่เลือกควบคุมการใช้งานเนื้อหาได้ละเอียดขึ้น อย่างไรก็ตาม แหล่งข้อมูลที่ให้มายังไม่ได้ระบุกฎการย้ายการตั้งค่าแบบอัตโนมัติสำหรับลูกค้าเดิมทุกกรณี เจ้าของเว็บไซต์จึงควรตรวจสอบการตั้งค่าระดับโซนของ Search, Training และ Agent ด้วยตนเอง แทนการคาดเดาว่าค่าจากระบบเดิมถูกเปลี่ยนแล้ว

เจ้าของเว็บไซต์ควรเลือกแบบใด

แนวทางใช้งานโดยสรุปคือ

• เลือก Disallow AI Training หากต้องการให้เว็บไซต์ยังถูกค้นพบจากเสิร์ช แต่ไม่อนุญาตให้นำเนื้อหาไปฝึกโมเดล
• เลือก Block เฉพาะเมื่อยอมรับได้ว่าการเข้าถึงเพื่อการค้นหาของครอว์เลอร์ที่เกี่ยวข้องอาจถูกจำกัดไปด้วย
• ตรวจสอบการตั้งค่า Search, Training และ Agent แยกกัน โดยเฉพาะเว็บไซต์ที่มีหน้าสร้างรายได้จากโฆษณา หรือมีบอตรูลเดิมอยู่แล้ว 131720

เครื่องมือของ Cloudflare ไม่ได้ทำให้ไม่ต้องพึ่งพาความร่วมมือของผู้ให้บริการครอว์เลอร์ในการเคารพนโยบายเว็บไซต์ แต่การเปิดตัวครั้งนี้สร้างเส้นแบ่งที่ชัดขึ้น: เว็บไซต์สามารถอนุญาตการทำดัชนีเพื่อค้นหา ขณะปฏิเสธการนำเนื้อหาไปฝึก AI ได้ หากผู้ให้บริการครอว์เลอร์ผ่านเงื่อนไข Accountable 724