Cloudflare แยกบอต AI ออกจากบอตค้นหา: ค่าเริ่มต้นใหม่กระทบเว็บอย่างไร

Cloudflare ปรับค่าเริ่มต้นการจัดการ AI crawler เมื่อวันที่ 15 กันยายน 2026 โดยแยกให้ชัดระหว่างบอตที่ช่วยให้เนื้อหาถูกค้นพบ กับบอตที่นำเนื้อหาไปฝึกโมเดลหรือทำงานแทนผู้ใช้แบบเรียลไทม์

สำหรับ โดเมนใหม่ที่เริ่มใช้งาน Cloudflare บอตที่ถูกจัดเป็น Training และ Agent จะถูกบล็อกโดยค่าเริ่มต้นเฉพาะหน้าที่ Cloudflare ตรวจพบว่ามีโฆษณา ส่วนบอตประเภท Search ยังได้รับอนุญาตตามค่าเริ่มต้น 215

สาระสำคัญจึงไม่ใช่การ “ปิดกั้น AI ทั้งหมด” แต่เป็นการให้เว็บไซต์เลือกว่า การเข้าถึงแบบใดสร้างโอกาสให้คนกลับมาเยี่ยมเว็บ และแบบใดกำลังดึงเนื้อหาไปใช้โดยไม่ได้ส่งมูลค่ากลับคืนอย่างชัดเจน

ค่าเริ่มต้นใหม่: บล็อก Training และ Agent บนหน้าที่มีโฆษณา

Cloudflare แบ่งพฤติกรรมของทราฟฟิกอัตโนมัติออกเป็น 3 กลุ่ม โดยตั้งค่าควบคุมแยกกันได้: 13

ประเภท	ความหมาย	ค่าเริ่มต้นสำหรับโดเมนใหม่บนหน้าที่มีโฆษณา
Search	เก็บข้อมูลหรือทำดัชนีเนื้อหา เพื่อใช้ตอบคำถามในภายหลัง	อนุญาต
Training	นำเนื้อหาไปฝึกหรือปรับจูนโมเดล	บล็อก
Agent	ระบบอัตโนมัติที่ทำงานแทนผู้ใช้แบบเรียลไทม์ เช่น บอตดึงข้อมูลให้แชต หรือเอเจนต์ที่ใช้งานเบราว์เซอร์	บล็อก

Cloudflare อธิบายว่า Search คือการรวบรวมหรือทำดัชนีเนื้อหาเพื่อใช้ตอบคำถามในภายหลัง ซึ่งผู้เผยแพร่เนื้อหาควรคาดหวังทราฟฟิกอ้างอิง (referral traffic) หรือผลตอบแทนที่เหมาะสมได้ ขณะที่ Training คือการนำเนื้อหาไปใช้ฝึกโมเดล และ Agent คือการดำเนินงานแบบทันทีในนามของผู้ใช้ 13

ดังนั้น ค่าเริ่มต้นใหม่นี้มีขอบเขตอยู่ 2 ชั้น คือใช้กับ Training และ Agent ไม่ใช่ทุกพฤติกรรมที่เกี่ยวข้องกับ AI และใช้กับ หน้าที่แสดงโฆษณา ไม่ใช่การบล็อกทั้งเว็บไซต์โดยอัตโนมัติ 215

เว็บไซต์ใดได้รับผลกระทบ

เอกสารของ Cloudflare ระบุว่าค่าเริ่มต้นใหม่นี้ใช้กับโดเมนที่เพิ่งเริ่มเชื่อมต่อเข้ากับเครือข่าย Cloudflare 215 รายงานเกี่ยวกับการเปิดใช้กติกายังระบุขอบเขตว่า ครอบคลุมเว็บไซต์ใหม่ที่ลูกค้าเดิมเพิ่มเข้าบัญชี และบัญชีแพ็กเกจ Free ที่ยังไม่ได้ปรับตั้งค่าด้วยตนเอง 23

สำหรับลูกค้าปัจจุบัน ไม่ควรสรุปว่าโดเมนเดิมทุกโดเมนจะถูกเปลี่ยนเป็นนโยบายเดียวกันทันที ผลที่เกิดขึ้นจริงขึ้นกับสถานะการเริ่มใช้งานของโดเมน แพ็กเกจ และการตั้งค่าที่มีอยู่เดิม การเข้าไปตรวจสอบส่วนควบคุม AI crawler ของแต่ละโซนจึงเป็นวิธีที่แน่นอนที่สุด 23

เจ้าของเว็บเลือกได้ 3 ระดับสำหรับแต่ละประเภท

สำหรับ Search, Training และ Agent เจ้าของเว็บไซต์สามารถกำหนดนโยบายแยกกันได้ 3 แบบ ได้แก่ 23

1. Allow — อนุญาตทราฟฟิกประเภทนั้น
2. Block on pages that display ads — บล็อกเฉพาะหน้าที่แสดงโฆษณา
3. Block on all pages — บล็อกทุกหน้าทั่วทั้งเว็บไซต์

ความละเอียดระดับนี้ทำให้เว็บไซต์สามารถเปิด Search เพื่อคงโอกาสถูกค้นพบไว้ได้ ขณะเดียวกันอาจบล็อก Training ทุกหน้า หรือใช้ข้อจำกัดเฉพาะหน้าที่สร้างรายได้จากโฆษณาแทน

จุดที่ต้องระวังที่สุด: บอตหลายบทบาทอาจกระทบ SEO

การอนุญาต Search ไม่ได้แปลว่าบอตทุกตัวที่มีหน้าที่ค้นหาจะยังเข้าถึงได้เสมอไป เพราะ Cloudflare ระบุว่า crawler ที่มีพฤติกรรมผสมระหว่าง Search และ Training จะถูกประเมินจาก ทุกพฤติกรรม และใช้กฎที่เข้มงวดที่สุดซึ่งมีผลบังคับใช้ 2615

ผลคือ หากเว็บไซต์ตั้งค่าบล็อก Training บอตที่ Cloudflare มองว่าทำทั้ง Search และ Training ก็อาจถูกบล็อกการเก็บข้อมูลเพื่อการค้นหาไปด้วย เอกสารและรายงานการเปลี่ยนแปลงยก Googlebot, Applebot และ BingBot เป็นตัวอย่างบอตหลายวัตถุประสงค์ที่เกี่ยวข้องกับกติกานี้ 26

กล่าวอย่างตรงไปตรงมา การเปิด Search ไว้ไม่ได้รับประกันว่า Googlebot หรือบอตอื่นจะผ่านได้ หากบอตนั้นถูกจัดว่ามีพฤติกรรม Training ด้วย ผู้ดูแลเว็บจึงควรประเมินผลต่อการจัดทำดัชนีและการมองเห็นบนเสิร์ชเอนจินก่อนเลือกบล็อก Training แบบครอบคลุมทั้งเว็บไซต์ 24

แล้วปุ่มเดิม “Block AI bots” ล่ะ

Cloudflare ระบุว่า การตั้งค่าที่บล็อก AI Training รวมถึงตัวเลือกเดิม “Block AI bots” จะมีผลกับ crawler ที่มีทั้งพฤติกรรม Search และ Training ด้วย 2

จุดนี้สำคัญสำหรับเว็บไซต์ที่เคยเปิดปุ่มดังกล่าวโดยเข้าใจว่าจะกระทบเพียงบอต AI ที่ไม่ใช่การค้นหา เพราะการตั้งค่าอาจมีผลต่อบอตผสมที่เกี่ยวโยงกับการจัดทำดัชนีของเสิร์ชเอนจินได้

รายงานในเวลาต่อมาระบุว่า Cloudflare มีแนวทาง “Disallow AI Training” เพื่อแสดงความประสงค์ไม่อนุญาตให้นำเนื้อหาไปฝึก AI แต่ยังเปิดให้ Googlebot, Applebot และ BingBot เก็บข้อมูลเพื่อการค้นหาได้ หากผู้ให้บริการบอตถูกระบุว่าเป็น “Accountable” อย่างไรก็ตาม ผลลัพธ์และเส้นทางการย้ายการตั้งค่าอาจต่างกันตามตัวเลือกที่ใช้ ผู้ดูแลควรตรวจดูตัวควบคุมที่ปรากฏอยู่ในแดชบอร์ด Cloudflare ของตนเอง แทนการอ้างอิงจากชื่อปุ่มเก่า 4

เหตุผลที่ Cloudflare แยก “การค้นหา” ออกจาก “การใช้เนื้อหาโดย AI”

ความกังวลของผู้เผยแพร่เนื้อหาคือข้อตกลงดั้งเดิมของเว็บ: เสิร์ชเอนจินเข้ามาเก็บข้อมูล สร้างดัชนี และสามารถส่งผู้อ่านกลับมายังแหล่งต้นทางได้ แต่บริการ Generative AI อาจนำเนื้อหาไปฝึกโมเดล หรือดึงไปสรุปตอบในหน้าจอของตนเอง โดยมีโอกาสน้อยกว่าที่ผู้ใช้จะคลิกกลับมายังเว็บไซต์ต้นทาง

Cloudflare จึงนิยาม Search ว่าเป็นทราฟฟิกที่เจ้าของเนื้อหาควรได้รับ referral traffic หรือผลตอบแทนที่เป็นธรรม ขณะที่ Training และ Agent เป็นการใช้เนื้อหาในรูปแบบอื่น 13 แนวคิดไม่ได้อยู่ที่ว่าบอตนั้น “เป็น AI หรือไม่” เพียงอย่างเดียว แต่อยู่ที่พฤติกรรมดังกล่าวช่วยสร้างการค้นพบเนื้อหาและส่งคุณค่ากลับสู่เว็บไซต์หรือไม่ หรือมีลักษณะเป็นการใช้เนื้อหาเพื่อฝึกโมเดลและงาน AI แบบเรียลไทม์เป็นหลัก 13

เช็กลิสต์สำหรับเจ้าของเว็บไซต์

ก่อนปรับนโยบาย ควรพิจารณาเป็นรายพฤติกรรมดังนี้

• คง Search ไว้ หากการทำดัชนีและทราฟฟิกจากการอ้างอิงยังเป็นเป้าหมายสำคัญ
• เลือกบล็อกเฉพาะ หน้าที่มีโฆษณา หากต้องการคุ้มครองหน้าทำเงินโดยไม่จำกัดทั้งเว็บไซต์
• ใช้การบล็อก ทุกหน้า หลังประเมินแล้วว่าบอตที่เกี่ยวข้องมีพฤติกรรมผสมระหว่าง Search และ Training หรือไม่
• ทบทวนการตั้งค่าเดิม Block AI bots โดยเฉพาะเว็บไซต์ที่ต้องรักษาการมองเห็นบน Google, Apple หรือ Bing 236

ค่าเริ่มต้นใหม่ของ Cloudflare เพิ่มอำนาจต่อรองและทางเลือกให้เจ้าของเว็บไซต์ แต่ก็ทำให้การตั้งค่าดังกล่าวเป็นการตัดสินใจด้าน SEO ด้วย ไม่ใช่เพียงนโยบายเรื่อง AI เท่านั้น