Cuộc cách mạng của Cloudflare: Từ ngày 15/9/2026, AI phải trả tiền để 'bò' trên web

Thay đổi cốt lõi: Hạn chót ngày 15 tháng 9 năm 2026

Cloudflare đã ấn định ngày 15 tháng 9 năm 2026 là hạn chót cho các công ty AI để phân tách các web crawler của họ thành các danh mục riêng biệt, được xác định rõ ràng dựa trên mục đích sử dụng nội dung được thu thập. Bất kỳ crawler nào không khai báo rõ mục đích — hoặc gộp chung lập chỉ mục tìm kiếm với huấn luyện AI dưới một user-agent — sẽ bị chặn theo mặc định trên các trang web dùng Cloudflare, đặc biệt là các trang có hiển thị quảng cáo .

Sau ngày này, khách hàng mới của Cloudflare và các trang web mới tạo sẽ có cài đặt mặc định chỉ cho phép các crawler tìm kiếm được xác định rõ ràng, đồng thời chặn các crawler huấn luyện AI và AI agent trừ khi publisher chủ động chọn . Các khách hàng hiện tại sử dụng gói miễn phí nếu không tự cập nhật tùy chọn cũng sẽ được chuyển đổi sang cài đặt mặc định mới .

1. Cài đặt mặc định mới: Từ 'Từ chối' sang 'Chấp thuận'

Trước đây, web hoạt động dựa trên chuẩn 'từ chối': crawler được phép trừ khi website chặn rõ ràng qua robots.txt. Cloudflare đã đảo ngược điều này thành mô hình 'chấp thuận' cho các AI crawler cụ thể .

• Đối với khách hàng mới và trang web mới: AI crawler dùng để huấn luyện hoặc hành động agent bị chặn theo mặc định. Publisher phải chủ động kích hoạt .
• Đối với khách hàng hiện tại: Các cài đặt không tự động thay đổi, nhưng chủ sở hữu có thể (và được khuyến khích mạnh mẽ) chuyển sang hệ thống kiểm soát ba danh mục mới qua bảng điều khiển Cloudflare .
• Cụ thể trên các trang có quảng cáo: Các crawler 'mục đích kép' (vừa lập chỉ mục tìm kiếm vừa thu thập dữ liệu huấn luyện AI) sẽ bị chặn mặc định, vì chính sách mới coi lưu lượng không được gắn nhãn hoặc 'hỗn hợp' là lưu lượng huấn luyện/agent .

2. Hệ thống ba danh mục Crawler: Search, Agent, Training

Cloudflare đã giới thiệu một hệ thống phân loại mới cho phép publisher đặt các quy tắc độc lập cho ba hành vi bot, áp dụng cho tất cả khách hàng bao gồm cả người dùng gói miễn phí :

Publisher giờ đây có thể thiết lập một chính sách như 'Cho phép Search, Chặn Training, Chặn Agent' từ một bảng điều khiển duy nhất, ngay cả trên gói miễn phí . Điều này chi tiết hơn nhiều so với robots.txt truyền thống, vốn chỉ cho phép chặn/cho phép một cách tổng thể cho mỗi user-agent. Tài liệu của Cloudflare định nghĩa Search là hoạt động mà chủ sở hữu trang web 'sẽ nhận được lưu lượng giới thiệu hoặc các khoản bồi thường công bằng khác' .

3. Quá trình chuyển đổi từ 'Pay Per Crawl' sang 'Pay Per Use'

Cloudflare lần đầu tiên giới thiệu Pay Per Crawl vào tháng 7 năm 2025 dưới dạng bản beta riêng tư — một thị trường nơi các publisher có thể tính phí các công ty AI cho mỗi yêu cầu, sử dụng mã trạng thái HTTP 402 ('Yêu cầu thanh toán') để thương lượng quyền truy cập . Hệ thống này cho phép publisher trả về phản hồi 402 kèm thông tin giá khi một crawler không được phê duyệt yêu cầu nội dung .

Đến tháng 4 năm 2026, trong sự kiện 'Agents Week' (13-17 tháng 4) của Cloudflare, công ty đã phát triển điều này thành một mô hình Pay Per Use rộng hơn, tích hợp khung 'trả tiền mỗi lần bò' vào một bảng điều khiển vận hành duy nhất có sẵn trên tất cả các gói dịch vụ . Sự khác biệt chính:

• Pay Per Crawl (bản beta 2025): Một mô hình vi thanh toán cho mỗi yêu cầu — mỗi yêu cầu thu thập dữ liệu sẽ kích hoạt một cuộc đàm phán thanh toán thông qua phản hồi HTTP 402 .
• Pay Per Use (GA 2026): Một hệ thống linh hoạt hơn, nơi publisher có thể đặt các điều khoản — phí bản quyền cố định, giá mỗi lần thu thập hoặc kiểu truy cập đăng ký — và các công ty AI có thể quản lý quyền truy cập theo chương trình thông qua các quy tắc quản lý bot và tường lửa ứng dụng web (WAF) của Cloudflare .

Việc triển khai của Stack Overflow (tháng 2 năm 2026) đã chứng minh phiên bản sản xuất: chương trình cấp phép dữ liệu của họ sử dụng tính năng phân loại bot của Cloudflare để gửi phản hồi 402 tới các crawler trái phép, kiếm tiền ở quy mô lớn mà không cần các hợp đồng riêng lẻ .

Điều này thay đổi cục diện như thế nào

Đối với Publisher

• Nguồn doanh thu mới: Các công ty AI giờ đây phải trả tiền cho dữ liệu huấn luyện từ các trang web có Cloudflare, thay vì thu thập miễn phí .
• Kiểm soát chi tiết: Publisher có thể giữ lại các crawler tìm kiếm (mang lại lưu lượng quảng cáo) trong khi chặn các bot huấn luyện/agent — bảo vệ cả doanh thu quảng cáo và giá trị nội dung .
• Bảo vệ mặc định: Các publisher nhỏ, những người không đủ khả năng chi trả cho dịch vụ quản lý bot tùy chỉnh, giờ đây sẽ được bảo vệ đẳng cấp doanh nghiệp ngay từ đầu .

Đối với các Công ty AI

• Chi phí dữ liệu huấn luyện tăng cao: 'Bữa trưa miễn phí' từ việc thu thập dữ liệu quy mô web kết thúc đối với các trang web trên mạng lưới của Cloudflare (~20% web) . Các công ty AI phải trả tiền cho publisher hoặc đàm phán các thỏa thuận cấp phép.
• Cuộc khủng hoảng danh tính Crawler: Các công ty AI phải đại tu cơ sở hạ tầng crawler của họ trước ngày 15/9 để tách biệt lưu lượng tìm kiếm, huấn luyện và agent thành các user-agent riêng biệt, có thể nhận dạng — nếu không sẽ có nguy cơ bị chặn hoàn toàn .
• Google bị ảnh hưởng nhiều nhất: Crawler của Google từ lâu đã phục vụ hai mục đích (lập chỉ mục tìm kiếm và huấn luyện AI cho Gemini/SGE). Chính sách của Cloudflare buộc Google phải tách crawler của mình hoặc chấp nhận bị chặn trên các trang web có quảng cáo dùng Cloudflare .

Tác động rộng hơn tới Ngành

• Động thái thiết lập tiêu chuẩn: Cloudflare đang định nghĩa một giao thức mới cho 'nghi thức' AI crawler. Các CDN và nhà cung cấp dịch vụ lưu trữ khác có thể sẽ làm theo .
• Chính sách Tín hiệu Nội dung (Content Signals Policy): Cloudflare đã giới thiệu một bộ chỉ thị có thể đọc bằng máy trong robots.txt, vượt xa quyền truy cập cấp trang, cho phép publisher báo hiệu nội dung của họ có thể được sử dụng cho lập chỉ mục tìm kiếm, huấn luyện AI hay AI agent . Đây là một phần mở rộng của robots.txt truyền thống để bao gồm việc sử dụng sau khi truy cập, không chỉ là quyền thu thập dữ liệu.