นี่ไม่ใช่แค่การตั้งค่าเล็กน้อย Cloudflare ซึ่งจัดการทราฟฟิกบนเว็บทั่วโลกกว่า 20% กำลังพลิกดีฟอลต์ของอินเทอร์เน็ตจาก 'เลือกปิด' (Opt-Out — อนุญาต Crawler เว้นแต่จะ blocked) เป็น 'เลือกเปิด' (Opt-In) สำหรับ AI Crawler โดยเฉพาะ สำหรับเจ้าของเว็บ นี่คือระบบป้องกันระดับ Enterprise ที่พร้อมใช้งานทันที สำหรับบริษัท AI นี่คือจุดสิ้นสุดของ 'บุฟเฟต์ข้อมูลฟรี' บนเว็บที่ใช้ Cloudflare
Cloudflare กำหนดให้ 15 กันยายน 2026 เป็นวันเส้นตายสำหรับบริษัท AI ในการแยก Web Crawlers ของตนออกเป็นหมวดหมู่ที่ชัดเจน โดยขึ้นอยู่กับว่าข้อมูลที่เก็บจะถูกนำไปใช้อย่างไร Crawler ใดที่ ไม่ประกาศวัตถุประสงค์อย่างชัดเจน หรือที่ รวมการทำ Search Indexing กับ AI Training ไว้ใน User-Agent ตัวเดียว จะถูก บล็อกโดยอัตโนมัติ บนทราฟฟิกที่ผ่าน Cloudflare โดยเฉพาะบนหน้าที่มีโฆษณา
หลังจากวันนี้ ลูกค้าใหม่และเว็บไซต์ที่สร้างใหม่ จะได้รับการตั้งค่าดีฟอลต์ที่อนุญาตเฉพาะ Search Crawler ที่ระบุตัวตนได้อย่างชัดเจน ในขณะที่ปิดกั้น AI Training และ AI Agent Crawler โดยอัตโนมัติ จนกว่าเจ้าของเว็บจะเปิดการอนุญาตเอง ลูกค้าแผนฟรีที่มีอยู่เดิมที่ไม่ปรับค่าด้วยตนเองก็จะถูกย้ายไปใช้ดีฟอลต์ใหม่เช่นกัน
ที่ผ่านมา อินเทอร์เน็ตทำงานแบบ 'อนุญาตไว้ก่อน' (Opt-Out) นั่นคือ Crawler สามารถเข้าถึงได้เว้นแต่เว็บไซต์จะเขียน robots.txt มาบล็อก Cloudflare พลิกเกมให้เป็น 'ต้องขออนุญาตก่อน' (Opt-In) สำหรับ AI Crawler โดยเฉพาะ
Cloudflare เปิดตัวระบบการจำแนกประเภทใหม่ที่ให้เจ้าของเว็บสามารถตั้งกฎที่แตกต่างกันสำหรับพฤติกรรมของ Bot ได้ 3 อย่าง โดยผู้ใช้ทุกคนรวมถึงแผนฟรีสามารถใช้ได้ :
| หมวดหมู่ | คำจำกัดความ | ค่าดีฟอลต์ (15 กันยายน) |
|---|---|---|
| Search | Crawler ที่ทำการจัดทำดัชนีเนื้อหาเพื่อให้ปรากฏในผลการค้นหาและส่งทราฟฟิกกลับมายังเว็บไซต์ | อนุญาตโดยอัตโนมัติ — Bot เหล่านี้พาผู้อ่านและรายได้โฆษณากลับมา |
| Agent | Bot ที่กระทำการแทนผู้ใช้ (เช่น ผู้ช่วย AI ที่ทำงาน จับจองซื้อสินค้า หรือจองตั๋ว) | บล็อกโดยอัตโนมัติ — เจ้าของเว็บต้องเปิดเอง |
| Training | Bot ที่เก็บเนื้อหาเพื่อใช้ฝึกฝนโมเดล AI โดยไม่ส่งผู้ใช้หรือแสดงที่มาใดๆ กลับมา | บล็อกโดยอัตโนมัติ — เจ้าของเว็บต้องเปิดเอง |
ตอนนี้ เจ้าของเว็บสามารถตั้งค่านโยบายอย่างเช่น 'อนุญาต Search, ปิดกั้น Training, ปิดกั้น Agent' ได้จากแดชบอร์ดเดียว รวมถึงในแผนฟรี ซึ่งมีความละเอียดมากกว่า robots.txt แบบเดิมที่อนุญาตแค่ 'อนุญาตทั้งหมด' หรือ 'ปิดกั้นทั้งหมด' ต่อหนึ่ง User-Agent เอกสารของ Cloudflare กำหนดชัดเจนว่า Search คือกิจกรรมที่เจ้าของเว็บ 'ควรได้รับทราฟฟิกอ้างอิง (referral traffic) หรือค่าตอบแทนที่เหมาะสมอื่นๆ'
Cloudflare เปิดตัว Pay Per Crawl เป็นครั้งแรกในเดือนกรกฎาคม 2025 ในรูปแบบ Private Beta — เป็นตลาดกลางให้เจ้าของเว็บสามารถเรียกเก็บเงินจากบริษัท AI เป็นรายการขอ (per request) โดยใช้รหัสสถานะ HTTP 402 ('Payment Required') เพื่อเจรจาเรื่องการเข้าถึง ระบบนี้ให้เจ้าของเว็บสามารถส่งข้อความตอบกลับ 402 พร้อมข้อมูลราคาเมื่อ Crawler ที่ไม่ได้รับอนุญาตขอเข้าถึงเนื้อหา
ในเดือนเมษายน 2026 ระหว่าง 'Agents Week' (13-17 เมษายน) Cloudflare ได้พัฒนาเป็นโมเดล Pay Per Use ที่กว้างขึ้น โดยรวมกรอบการทำงานแบบจ่ายต่อการรวบรวมข้อมูล (per-crawl) เข้ากับคอนโซลจัดการเดียวที่ใช้ได้ในทุกแผนบริการ ความแตกต่างที่สำคัญ:
การใช้งานจริงของ Stack Overflow (กุมภาพันธ์ 2026) แสดงให้เห็นถึงระบบในเวอร์ชันจริง: โปรแกรมอนุญาตสิทธิ์ข้อมูล (data licensing program) ของพวกเขาใช้การจัดหมวดหมู่ Bot ของ Cloudflare เพื่อส่งการตอบกลับ 402 ไปยัง Crawler ที่ไม่ได้รับอนุญาต สร้างรายได้ในระดับใหญ่โดยไม่ต้องมีสัญญาเฉพาะราย
robots.txt ซึ่งไปไกลกว่าการควบคุมการเข้าถึงแค่หน้าเว็บ โดยให้เจ้าของเว็บสามารถกำหนดสัญญาณว่าเนื้อหาของตนสามารถใช้ทำอะไรได้บ้าง เช่น การทำ Search Indexing, AI Training หรือสำหรับ AI Agent นี่เป็นการขยายขีดความสามารถของ robots.txt แบบดั้งเดิมให้ครอบคลุมถึง 'การใช้งานหลังการเข้าถึงเนื้อหา' ไม่ใช่แค่การขออนุญาต Crawl เท่านั้นนี่ไม่ใช่แค่การตั้งค่าเล็กน้อย Cloudflare ซึ่งจัดการทราฟฟิกบนเว็บทั่วโลกกว่า 20% กำลังพลิกดีฟอลต์ของอินเทอร์เน็ตจาก 'เลือกปิด' (Opt-Out — อนุญาต Crawler เว้นแต่จะ blocked) เป็น 'เลือกเปิด' (Opt-In) สำหรับ AI Crawler โดยเฉพาะ สำหรับเจ้าของเว็บ นี่คือระบบป้องกันระดับ Enterprise ที่พร้อมใช้งานทันที สำหรับบริษัท AI นี่คือจุดสิ้นสุดของ 'บุฟเฟต์ข้อมูลฟรี' บนเว็บที่ใช้ Cloudflare
Cloudflare กำหนดให้ 15 กันยายน 2026 เป็นวันเส้นตายสำหรับบริษัท AI ในการแยก Web Crawlers ของตนออกเป็นหมวดหมู่ที่ชัดเจน โดยขึ้นอยู่กับว่าข้อมูลที่เก็บจะถูกนำไปใช้อย่างไร Crawler ใดที่ ไม่ประกาศวัตถุประสงค์อย่างชัดเจน หรือที่ รวมการทำ Search Indexing กับ AI Training ไว้ใน User-Agent ตัวเดียว จะถูก บล็อกโดยอัตโนมัติ บนทราฟฟิกที่ผ่าน Cloudflare โดยเฉพาะบนหน้าที่มีโฆษณา
หลังจากวันนี้ ลูกค้าใหม่และเว็บไซต์ที่สร้างใหม่ จะได้รับการตั้งค่าดีฟอลต์ที่อนุญาตเฉพาะ Search Crawler ที่ระบุตัวตนได้อย่างชัดเจน ในขณะที่ปิดกั้น AI Training และ AI Agent Crawler โดยอัตโนมัติ จนกว่าเจ้าของเว็บจะเปิดการอนุญาตเอง ลูกค้าแผนฟรีที่มีอยู่เดิมที่ไม่ปรับค่าด้วยตนเองก็จะถูกย้ายไปใช้ดีฟอลต์ใหม่เช่นกัน
ที่ผ่านมา อินเทอร์เน็ตทำงานแบบ 'อนุญาตไว้ก่อน' (Opt-Out) นั่นคือ Crawler สามารถเข้าถึงได้เว้นแต่เว็บไซต์จะเขียน robots.txt มาบล็อก Cloudflare พลิกเกมให้เป็น 'ต้องขออนุญาตก่อน' (Opt-In) สำหรับ AI Crawler โดยเฉพาะ
Cloudflare เปิดตัวระบบการจำแนกประเภทใหม่ที่ให้เจ้าของเว็บสามารถตั้งกฎที่แตกต่างกันสำหรับพฤติกรรมของ Bot ได้ 3 อย่าง โดยผู้ใช้ทุกคนรวมถึงแผนฟรีสามารถใช้ได้ :
| หมวดหมู่ | คำจำกัดความ | ค่าดีฟอลต์ (15 กันยายน) |
|---|---|---|
| Search | Crawler ที่ทำการจัดทำดัชนีเนื้อหาเพื่อให้ปรากฏในผลการค้นหาและส่งทราฟฟิกกลับมายังเว็บไซต์ | อนุญาตโดยอัตโนมัติ — Bot เหล่านี้พาผู้อ่านและรายได้โฆษณากลับมา |
| Agent | Bot ที่กระทำการแทนผู้ใช้ (เช่น ผู้ช่วย AI ที่ทำงาน จับจองซื้อสินค้า หรือจองตั๋ว) | บล็อกโดยอัตโนมัติ — เจ้าของเว็บต้องเปิดเอง |
| Training | Bot ที่เก็บเนื้อหาเพื่อใช้ฝึกฝนโมเดล AI โดยไม่ส่งผู้ใช้หรือแสดงที่มาใดๆ กลับมา | บล็อกโดยอัตโนมัติ — เจ้าของเว็บต้องเปิดเอง |
ตอนนี้ เจ้าของเว็บสามารถตั้งค่านโยบายอย่างเช่น 'อนุญาต Search, ปิดกั้น Training, ปิดกั้น Agent' ได้จากแดชบอร์ดเดียว รวมถึงในแผนฟรี ซึ่งมีความละเอียดมากกว่า robots.txt แบบเดิมที่อนุญาตแค่ 'อนุญาตทั้งหมด' หรือ 'ปิดกั้นทั้งหมด' ต่อหนึ่ง User-Agent เอกสารของ Cloudflare กำหนดชัดเจนว่า Search คือกิจกรรมที่เจ้าของเว็บ 'ควรได้รับทราฟฟิกอ้างอิง (referral traffic) หรือค่าตอบแทนที่เหมาะสมอื่นๆ'
Cloudflare เปิดตัว Pay Per Crawl เป็นครั้งแรกในเดือนกรกฎาคม 2025 ในรูปแบบ Private Beta — เป็นตลาดกลางให้เจ้าของเว็บสามารถเรียกเก็บเงินจากบริษัท AI เป็นรายการขอ (per request) โดยใช้รหัสสถานะ HTTP 402 ('Payment Required') เพื่อเจรจาเรื่องการเข้าถึง ระบบนี้ให้เจ้าของเว็บสามารถส่งข้อความตอบกลับ 402 พร้อมข้อมูลราคาเมื่อ Crawler ที่ไม่ได้รับอนุญาตขอเข้าถึงเนื้อหา
ในเดือนเมษายน 2026 ระหว่าง 'Agents Week' (13-17 เมษายน) Cloudflare ได้พัฒนาเป็นโมเดล Pay Per Use ที่กว้างขึ้น โดยรวมกรอบการทำงานแบบจ่ายต่อการรวบรวมข้อมูล (per-crawl) เข้ากับคอนโซลจัดการเดียวที่ใช้ได้ในทุกแผนบริการ ความแตกต่างที่สำคัญ:
การใช้งานจริงของ Stack Overflow (กุมภาพันธ์ 2026) แสดงให้เห็นถึงระบบในเวอร์ชันจริง: โปรแกรมอนุญาตสิทธิ์ข้อมูล (data licensing program) ของพวกเขาใช้การจัดหมวดหมู่ Bot ของ Cloudflare เพื่อส่งการตอบกลับ 402 ไปยัง Crawler ที่ไม่ได้รับอนุญาต สร้างรายได้ในระดับใหญ่โดยไม่ต้องมีสัญญาเฉพาะราย
robots.txt ซึ่งไปไกลกว่าการควบคุมการเข้าถึงแค่หน้าเว็บ โดยให้เจ้าของเว็บสามารถกำหนดสัญญาณว่าเนื้อหาของตนสามารถใช้ทำอะไรได้บ้าง เช่น การทำ Search Indexing, AI Training หรือสำหรับ AI Agent นี่เป็นการขยายขีดความสามารถของ robots.txt แบบดั้งเดิมให้ครอบคลุมถึง 'การใช้งานหลังการเข้าถึงเนื้อหา' ไม่ใช่แค่การขออนุญาต Crawl เท่านั้น