Cloudflare เปลี่ยนเกม! ตั้งแต่ 15 กันยายน 2026 AI Crawler สายผสมถูกบล็อกอัตโนมัติ เว็บไทยได้ประโยชน์

การเปลี่ยนแปลงหลัก: เส้นตาย 15 กันยายน 2026

Cloudflare กำหนดให้ 15 กันยายน 2026 เป็นวันเส้นตายสำหรับบริษัท AI ในการแยก Web Crawlers ของตนออกเป็นหมวดหมู่ที่ชัดเจน โดยขึ้นอยู่กับว่าข้อมูลที่เก็บจะถูกนำไปใช้อย่างไร Crawler ใดที่ ไม่ประกาศวัตถุประสงค์อย่างชัดเจน หรือที่ รวมการทำ Search Indexing กับ AI Training ไว้ใน User-Agent ตัวเดียว จะถูก บล็อกโดยอัตโนมัติ บนทราฟฟิกที่ผ่าน Cloudflare โดยเฉพาะบนหน้าที่มีโฆษณา

หลังจากวันนี้ ลูกค้าใหม่และเว็บไซต์ที่สร้างใหม่ จะได้รับการตั้งค่าดีฟอลต์ที่อนุญาตเฉพาะ Search Crawler ที่ระบุตัวตนได้อย่างชัดเจน ในขณะที่ปิดกั้น AI Training และ AI Agent Crawler โดยอัตโนมัติ จนกว่าเจ้าของเว็บจะเปิดการอนุญาตเอง ลูกค้าแผนฟรีที่มีอยู่เดิมที่ไม่ปรับค่าด้วยตนเองก็จะถูกย้ายไปใช้ดีฟอลต์ใหม่เช่นกัน

1. ดีฟอลต์ใหม่: จาก Opt-Out สู่ Opt-In

ที่ผ่านมา อินเทอร์เน็ตทำงานแบบ 'อนุญาตไว้ก่อน' (Opt-Out) นั่นคือ Crawler สามารถเข้าถึงได้เว้นแต่เว็บไซต์จะเขียน robots.txt มาบล็อก Cloudflare พลิกเกมให้เป็น 'ต้องขออนุญาตก่อน' (Opt-In) สำหรับ AI Crawler โดยเฉพาะ

• สำหรับลูกค้าใหม่และเว็บไซต์ใหม่: AI Crawler ที่ใช้สำหรับ Training หรือทำงานแบบ Agent จะถูกบล็อกโดยอัตโนมัติ เจ้าของเว็บต้องเข้าไปเปิดการอนุญาตด้วยตนเอง
• สำหรับลูกค้าเดิม: การตั้งค่าจะไม่เปลี่ยนโดยอัตโนมัติ แต่เจ้าของเว็บสามารถ (และถูกแนะนำอย่างยิ่ง) ให้เปลี่ยนไปใช้ระบบควบคุม 3 หมวดหมู่ใหม่ผ่านแดชบอร์ดของ Cloudflare
• บนหน้าที่มีโฆษณา: Crawler แบบ 'ใช้งานผสม' (mixed-use) — ที่ทั้งทำ Search Indexing และ Scrape ข้อมูลเพื่อ AI Training — จะถูกบล็อกโดยอัตโนมัติ เนื่องจากนโยบายดีฟอลต์จัดให้ทราฟฟิกที่ไม่ได้ระบุชัดเจนหรือแบบผสมเป็นทราฟฟิกประเภท Training/Agent

2. ระบบ 3 หมวดหมู่: Search, Agent, Training

Cloudflare เปิดตัวระบบการจำแนกประเภทใหม่ที่ให้เจ้าของเว็บสามารถตั้งกฎที่แตกต่างกันสำหรับพฤติกรรมของ Bot ได้ 3 อย่าง โดยผู้ใช้ทุกคนรวมถึงแผนฟรีสามารถใช้ได้ :

ตอนนี้ เจ้าของเว็บสามารถตั้งค่านโยบายอย่างเช่น 'อนุญาต Search, ปิดกั้น Training, ปิดกั้น Agent' ได้จากแดชบอร์ดเดียว รวมถึงในแผนฟรี ซึ่งมีความละเอียดมากกว่า robots.txt แบบเดิมที่อนุญาตแค่ 'อนุญาตทั้งหมด' หรือ 'ปิดกั้นทั้งหมด' ต่อหนึ่ง User-Agent เอกสารของ Cloudflare กำหนดชัดเจนว่า Search คือกิจกรรมที่เจ้าของเว็บ 'ควรได้รับทราฟฟิกอ้างอิง (referral traffic) หรือค่าตอบแทนที่เหมาะสมอื่นๆ'

3. จาก Pay Per Crawl สู่ Pay Per Use

Cloudflare เปิดตัว Pay Per Crawl เป็นครั้งแรกในเดือนกรกฎาคม 2025 ในรูปแบบ Private Beta — เป็นตลาดกลางให้เจ้าของเว็บสามารถเรียกเก็บเงินจากบริษัท AI เป็นรายการขอ (per request) โดยใช้รหัสสถานะ HTTP 402 ('Payment Required') เพื่อเจรจาเรื่องการเข้าถึง ระบบนี้ให้เจ้าของเว็บสามารถส่งข้อความตอบกลับ 402 พร้อมข้อมูลราคาเมื่อ Crawler ที่ไม่ได้รับอนุญาตขอเข้าถึงเนื้อหา

ในเดือนเมษายน 2026 ระหว่าง 'Agents Week' (13-17 เมษายน) Cloudflare ได้พัฒนาเป็นโมเดล Pay Per Use ที่กว้างขึ้น โดยรวมกรอบการทำงานแบบจ่ายต่อการรวบรวมข้อมูล (per-crawl) เข้ากับคอนโซลจัดการเดียวที่ใช้ได้ในทุกแผนบริการ ความแตกต่างที่สำคัญ:

• Pay Per Crawl (เบต้า 2025): โมเดลแบบจ่ายต่อคำขอ — ทุกๆ ครั้งที่มีการร้องขอ Crawl จะกระตุ้นให้เกิดการเจรจาชำระเงินผ่าน HTTP 402
• Pay Per Use (GA 2026): ระบบที่มีความยืดหยุ่นมากกว่า เจ้าของเว็บสามารถกำหนดเงื่อนไขได้ เช่น ค่าลิขสิทธิ์แบบเหมา (flat licensing fees) อัตราต่อการรวบรวมข้อมูล (per-crawl rates) หรือแบบสมัครสมาชิก (subscription) ในขณะที่บริษัท AI สามารถจัดการการเข้าถึงผ่านระบบ Bot Management และ WAF ของ Cloudflare ได้โดยอัตโนมัติ

การใช้งานจริงของ Stack Overflow (กุมภาพันธ์ 2026) แสดงให้เห็นถึงระบบในเวอร์ชันจริง: โปรแกรมอนุญาตสิทธิ์ข้อมูล (data licensing program) ของพวกเขาใช้การจัดหมวดหมู่ Bot ของ Cloudflare เพื่อส่งการตอบกลับ 402 ไปยัง Crawler ที่ไม่ได้รับอนุญาต สร้างรายได้ในระดับใหญ่โดยไม่ต้องมีสัญญาเฉพาะราย

ผลกระทบต่อวงการ

สำหรับเจ้าของเว็บและผู้ผลิตเนื้อหา

• ช่องทางรายได้ใหม่: บริษัท AI ต้องจ่ายเงินเพื่อใช้ข้อมูลฝึกโมเดลจากเว็บที่ใช้ Cloudflare แทนที่จะเก็บข้อมูลฟรี
• ควบคุมแบบละเอียด: เจ้าของเว็บสามารถอนุญาตเฉพาะ Search Crawler (ที่นำทราฟฟิกมา) และปิดกั้น Training/Agent Bot เพื่อปกป้องทั้งรายได้จากโฆษณาและมูลค่าของเนื้อหา
• การป้องกันดีฟอลต์: เจ้าของเว็บรายเล็กที่ไม่สามารถจ้างระบบจัดการ Bot แบบมืออาชีพได้ ตอนนี้ได้รับการป้องกัน AI Crawler ระดับ Enterprise โดยอัตโนมัติ

สำหรับบริษัท AI

• ต้นทุนการฝึกโมเดลเพิ่มสูงขึ้น: 'บุฟเฟต์ฟรี' สำหรับการเก็บข้อมูลขนาดใหญ่บนเว็บสิ้นสุดลงแล้วสำหรับไซต์ที่ใช้ Cloudflare (~20% ของเว็บโลก) บริษัท AI ต้องจ่ายเงินให้เจ้าของเว็บ หรือเจรจาข้อตกลงลิขสิทธิ์
• วิกฤตตัวตนของ Crawler: บริษัท AI ต้องปรับปรุงโครงสร้างพื้นฐานของ Crawler ก่อนวันที่ 15 กันยายน โดยแยกทราฟฟิก Search, Training และ Agent เป็น User-Agent ที่แยกจากกันและระบุตัวตนได้ มิฉะนั้นจะถูกบล็อกทั้งหมด
• Google ได้รับผลกระทบมากที่สุด: Crawler ของ Google (Googlebot) ทำทั้งสองหน้าที่มาโดยตลอด (Search Indexing และ AI Training สำหรับ Gemini/SGE) นโยบายของ Cloudflare บีบให้ Google ต้องแยก Crawler ของตน มิฉะนั้น Googlebot อาจถูกบล็อกบนหน้าเว็บที่มีโฆษณาที่ใช้ Cloudflare

ผลกระทบในวงกว้าง

• การตั้งมาตรฐานใหม่: Cloudflare กำลังกำหนดมาตรฐานใหม่สำหรับมารยาทของ AI Crawler ผู้ให้บริการ CDN และโฮสติ้งรายอื่นๆ อาจทำตาม
• นโยบาย Content Signals: Cloudflare เปิดตัวชุดคำสั่งที่เครื่องอ่านได้ (machine-readable directives) ใน robots.txt ซึ่งไปไกลกว่าการควบคุมการเข้าถึงแค่หน้าเว็บ โดยให้เจ้าของเว็บสามารถกำหนดสัญญาณว่าเนื้อหาของตนสามารถใช้ทำอะไรได้บ้าง เช่น การทำ Search Indexing, AI Training หรือสำหรับ AI Agent นี่เป็นการขยายขีดความสามารถของ robots.txt แบบดั้งเดิมให้ครอบคลุมถึง 'การใช้งานหลังการเข้าถึงเนื้อหา' ไม่ใช่แค่การขออนุญาต Crawl เท่านั้น