Cloudflare ให้เว็บเลือกบล็อกการเทรน AI โดยไม่ต้องยอมเสียการมองเห็นบนเสิร์ช

Cloudflare เปิดตัว Disallow AI Training เมื่อวันที่ 15 กันยายน 2569 เพื่อแก้โจทย์ที่ผู้เผยแพร่เนื้อหาบนเว็บเจอมานาน: อยากให้หน้าเว็บยังปรากฏในผลการค้นหา แต่ไม่ต้องการให้เนื้อหาถูกนำไปใช้เทรนหรือปรับจูนโมเดล AI

แก่นของฟีเจอร์นี้คือ เจ้าของเว็บสามารถอนุญาตให้ครอว์เลอร์รายเดียวกันเข้ามาทำดัชนีเพื่อการค้นหาได้ ขณะเดียวกันก็สั่งห้ามการนำเนื้อหาไปใช้เพื่อเทรน AI ได้ ส่วนสถานะ Accountable เป็นป้ายที่ Cloudflare ใช้ระบุผู้ให้บริการบอตที่รองรับ หรือให้คำมั่นอย่างเป็นรูปธรรมว่าจะรองรับ ความต้องการดังกล่าว 5

เปลี่ยนจากการดูว่า “บอตตัวไหน” เป็น “เข้ามาทำอะไร”

Cloudflare แยกการเข้าถึงของครอว์เลอร์ออกเป็น 3 วัตถุประสงค์ที่เจ้าของเว็บไซต์จัดการได้อย่างอิสระ ได้แก่

• Search: การครอว์ลเพื่อสร้างดัชนีสำหรับผลการค้นหา
• Training: การนำเนื้อหาไปเทรนหรือปรับจูนโมเดล AI
• Agent: การดึงเนื้อหาเพื่อทำงานตามคำสั่งของผู้ใช้ 10

ความต่างนี้มีนัยสำคัญ เพราะโครงสร้างครอว์เลอร์ของผู้ให้บริการรายหนึ่งอาจถูกใช้ได้หลายวัตถุประสงค์ เดิมทีการบล็อกบอตที่เกี่ยวข้องกับ AI อาจพ่วงไปถึงการค้นหาปกติ ทำให้เว็บไซต์เสี่ยงเสียทราฟฟิกจากเสิร์ช แต่ Disallow AI Training เปิดทางให้ตั้งกติกาแบบเจาะจงกว่าเดิม: อนุญาตการค้นหา แต่ไม่อนุญาตการเทรน 5

Accountable คืออะไร และใครบ้างที่อยู่ในกรอบนี้

Cloudflare สร้างสถานะ Accountable สำหรับผู้ให้บริการบอตที่แยกการทำดัชนีเพื่อการค้นหาออกจากการใช้เพื่อเทรน AI ได้ โดยเคารพความต้องการของเจ้าของเว็บไซต์ Apple, Google และ Microsoft อยู่ในกลุ่มที่ปฏิบัติตามการตั้งค่านี้แล้ว หรือให้คำมั่นว่าจะปฏิบัติตามภายในกรอบเวลาที่ Cloudflare ระบุ 5

ผลในทางปฏิบัติคือ ครอว์เลอร์แบบใช้งานหลายวัตถุประสงค์ของผู้ให้บริการที่ผ่านเกณฑ์จะยังสามารถสร้างดัชนีเพื่อการค้นหาได้ แม้เจ้าของเว็บจะเลือกไม่ให้เทรน AI ต่างจากการบล็อกแบบเหมาเข่งที่อาจตัดการเข้าถึงทุกประเภทไปพร้อมกัน 5

อย่างไรก็ดี ข้อมูลที่มีไม่ได้ลงรายละเอียดครบถ้วนถึงกำหนดวันเริ่มใช้งาน พฤติกรรมของครอว์เลอร์แต่ละตัว หรือข้อผูกพันทางเทคนิคของผู้ให้บริการแต่ละราย เจ้าของเว็บไซต์จึงควรตรวจสอบการตั้งค่าบอตและข้อมูลการครอว์ลของเว็บไซต์ตนเอง ไม่ควรสมมติว่าทุกรายจะทำงานเหมือนกัน

อะไรยังเข้าถึงได้ และอะไรถูกบล็อก

เมื่อเปิด Disallow AI Training เว็บไซต์ยังสามารถคงการทำดัชนีเพื่อการค้นหาไว้สำหรับครอว์เลอร์ mixed-use ที่เป็น Accountable แต่ปฏิเสธการใช้เนื้อหาเพื่อเทรนจากครอว์เลอร์นั้นได้โดยตรง 5

ข้อสรุปที่ยืนยันได้จากข้อมูลที่มี ได้แก่

• การเข้าถึงเพื่อการค้นหาจากผู้ให้บริการ Accountable ที่เข้าเกณฑ์ยังเปิดไว้ได้ แม้จะปิดการเทรน 5
• หมวด Training และ Agent ตั้งค่าบล็อกแยกจาก Search ได้ 10
• ตัวเลือกบล็อกบอต AI ทั้งหมดแบบทั่วไปยังมีอยู่ เหมาะกับเจ้าของเว็บที่ต้องการหยุดการเข้าถึงเป็นการชั่วคราวหรือใช้ข้อจำกัดแบบครอบคลุม แต่มีความละเอียดน้อยกว่าการควบคุมตามวัตถุประสงค์ 7

สำหรับเว็บไซต์ที่พึ่งพาการเข้าชมจากผลค้นหา การเปลี่ยนแปลงนี้จึงลดความจำเป็นที่จะต้องเลือกระหว่าง “ไม่ให้เทรน AI” กับ “รักษาการมองเห็นบนเสิร์ช”

ค่าเริ่มต้นสำหรับหน้าเว็บที่มีโฆษณา

ก่อนถึงการอัปเดตนี้ Cloudflare ประกาศว่า ตั้งแต่วันที่ 15 กันยายน 2569 เป็นต้นไป โดเมนใหม่ที่เริ่มใช้งาน Cloudflare จะถูกบล็อกครอว์เลอร์ในหมวด Training และ Agent เป็นค่าเริ่มต้นบนหน้าที่แสดงโฆษณา 10

แนวทางดังกล่าวตั้งอยู่บนแนวคิดว่า เนื้อหาที่สร้างรายได้จากโฆษณาควรมีค่าเริ่มต้นที่เข้มงวดกว่าในการนำไปใช้กับ AI แต่ในกรณีที่ครอว์เลอร์หนึ่งตัวทำได้หลายหน้าที่ การบล็อกตามหมวดแบบเดิมอาจกระทบต่อการครอว์ลเพื่อค้นหาได้ด้วย Disallow AI Training และ Accountable จึงถูกออกแบบมาเพื่อคลี่คลายความขัดแย้งนี้: ปกป้องเนื้อหาที่หารายได้จากโฆษณาจากการเทรน ขณะยังรักษาการทำดัชนีบนเสิร์ชไว้ได้ในกรณีที่ผู้ให้บริการครอว์เลอร์รองรับ 5

แหล่งข้อมูลที่ให้มายังไม่ได้ระบุครบว่าการย้ายการตั้งค่าสำหรับโดเมนเดิมทำอย่างไร หรือค่าเริ่มต้นครอบคลุมบัญชีทุกประเภทแบบใด เจ้าของโดเมนที่มีอยู่แล้วจึงควรตรวจสอบนโยบายที่ตั้งค่าไว้ในบัญชีของตนเอง

Google-Extended และคำสั่ง opt-out อื่น ๆ

การควบคุมตามวัตถุประสงค์ช่วยตอบโจทย์เดียวกับที่คำสั่งเฉพาะของผู้เผยแพร่พยายามทำมาตลอด นั่นคือการแยกกิจกรรมค้นหาของผู้ให้บริการออกจากการนำเนื้อหาไปใช้กับ AI

Cloudflare เคยกล่าวถึงกลไก opt-out แบบเฉพาะของ Google เช่น Google-Extended และ nosnippet พร้อมระบุว่าได้รับเสียงสะท้อนจากผู้เผยแพร่ว่ากลไกเหล่านี้ยังไม่สามารถป้องกันการใช้เนื้อหาได้ครบทุกลักษณะที่เจ้าของเนื้อหาต้องการควบคุม 22 อย่างไรก็ตาม ข้อมูลที่มีสำหรับรายงานนี้ยังไม่เพียงพอจะยืนยันขอบเขตหรือพฤติกรรมปัจจุบันอย่างละเอียดของ Google-Extended, Applebot-Extended และคำสั่ง NOARCHIVE ของ Bing

ข้อสรุปสำคัญจึงอยู่ที่หลักการ: คำสั่ง opt-out ที่แยกเฉพาะการเทรน หรือคำมั่นตามมาตรฐาน Accountable ทำให้เจ้าของเว็บสื่อสารได้ว่า “อนุญาตให้ทำดัชนีเพื่อค้นหา แต่ห้ามนำไปเทรน” ขณะที่การบล็อกครอว์เลอร์ทั้งตัวไม่สามารถให้ผลแยกสองส่วนนี้ได้อย่างน่าเชื่อถือ

เหตุใดการควบคุมละเอียดจึงสำคัญขึ้น

จากการวิเคราะห์ทราฟฟิกของ Cloudflare ในช่วง 12 เดือนก่อนหน้า การครอว์ลที่เกี่ยวข้องกับ AI ราว 80% ถูกจัดประเภทว่าเป็นการเทรนโมเดล ขณะที่ 18% เป็นการค้นหา และเพียง 2% เป็นการทำงานตามคำสั่งผู้ใช้ โดยบริษัทระบุว่าใช้การเปิดเผยข้อมูลของผู้ให้บริการและแหล่งข้อมูลในอุตสาหกรรมประกอบการจัดประเภท 16

ตัวเลขนี้อธิบายได้ว่าทำไมสวิตช์เปิด-ปิด AI เพียงปุ่มเดียวจึงไม่ตอบโจทย์ผู้เผยแพร่ทั้งหมด เว็บไซต์หนึ่งอาจยอมรับการทำดัชนีเพื่อให้คนค้นพบเนื้อหา ไม่ยอมรับการนำเนื้อหาไปผนวกรวมในโมเดลแบบถาวรผ่านการเทรน และตัดสินใจอีกแบบหนึ่งสำหรับการเข้าถึงแบบเรียลไทม์ของ AI agent

Cloudflare ยังระบุในปี 2568 ว่ามีเว็บไซต์มากกว่า 2.5 ล้านแห่ง เลือกไม่อนุญาตการเทรน AI อย่างสิ้นเชิง ผ่าน robots.txt ที่บริษัทจัดการให้ หรือกฎบล็อก AI crawler ที่จัดการให้ 13 การควบคุมที่เปิดตัวในเดือนกันยายนจึงเป็นทางเลือกที่ละเอียดขึ้นสำหรับผู้เผยแพร่กลุ่มนี้ เมื่อการรักษาการมองเห็นบนเสิร์ชยังมีความสำคัญ

ถัดไป: สิทธิ์ควบคุม AI-generated summaries

Cloudflare ระบุเป้าหมายว่าจะเพิ่มการควบคุม AI-generated summaries ให้มีความละเอียดมากขึ้นสำหรับผู้เผยแพร่ในช่วงต้นปี 2570 2 แต่ประกาศที่มีอยู่ยืนยันเพียงทิศทางดังกล่าว ยังไม่ได้เปิดเผยรูปแบบผลิตภัณฑ์ วิธีบังคับใช้ หรือทางเลือกเฉพาะที่จะให้กับเจ้าของเว็บไซต์

ในระยะนี้ บทเรียนเชิงปฏิบัติคือให้ทบทวนนโยบาย Search, Training และ Agent แยกจากกัน หากทราฟฟิกจากการค้นหาเป็นเรื่องสำคัญ อย่าเพิ่งสรุปว่าการจำกัด AI ต้องหมายถึงการจำกัดเสิร์ชไปด้วย โดยเฉพาะเมื่อผู้ให้บริการครอว์เลอร์ได้รับสถานะ Accountable 5