Cloudflare đổi mặc định crawler AI từ tháng 9/2026: Website sẽ chặn gì và vẫn mở gì?

Cloudflare từ ngày 15/9/2026 áp dụng cách phân loại mới đối với crawler AI: thay vì coi mọi bot AI là một nhóm chung, dịch vụ này tách lưu lượng thành Search, Training và Agent. Với các tên miền mới đưa lên mạng Cloudflare, bot thuộc nhóm Training và Agent sẽ bị chặn mặc định trên những trang có hiển thị quảng cáo; nhóm Search vẫn được phép. 215

Đây không phải lệnh cấm toàn diện với AI. Nhưng với các website sống nhờ quảng cáo, thay đổi này tạo ra một ranh giới rõ hơn giữa bot hỗ trợ khả năng được tìm thấy trên web và bot chủ yếu lấy nội dung để huấn luyện mô hình hoặc phục vụ tác vụ AI theo thời gian thực.

Mặc định mới: chặn Training và Agent ở trang có quảng cáo

Chính sách mặc định áp dụng cho tên miền mới kết nối với Cloudflare. Trên trang mà Cloudflare nhận diện có quảng cáo, hai loại lưu lượng tự động sau sẽ bị chặn:

• Training: crawler thu thập nội dung để huấn luyện hoặc tinh chỉnh mô hình AI.
• Agent: hoạt động tự động thay người dùng trong thời gian thực, chẳng hạn bot lấy nội dung cho chatbot hoặc tác nhân AI điều khiển trình duyệt. 13

Ngược lại, Search vẫn được cho phép mặc định. Cloudflare định nghĩa đây là crawler thu thập hoặc lập chỉ mục nội dung để trả lời câu hỏi về sau — hình thức mà nhà xuất bản được kỳ vọng nhận lại lưu lượng truy cập giới thiệu hoặc một giá trị bù đắp tương xứng. 13

Vì thế, quy tắc mới chỉ nhắm đến hành vi Training và Agent, đồng thời chỉ áp dụng mặc định trên các trang hiển thị quảng cáo — không phải mọi trang, cũng không phải mọi loại bot AI. 215

Website nào bị tác động?

Tài liệu chính thức của Cloudflare nêu rõ mặc định mới dành cho các tên miền mới onboarding vào mạng của hãng. 215 Một số báo cáo về đợt triển khai cho biết phạm vi còn gồm website mới được thêm bởi khách hàng hiện hữu và các tài khoản gói Free chưa tự thay đổi cài đặt. 23

Với website đã hoạt động từ trước, không nên mặc định rằng mọi zone đều tự động nhận đúng chính sách này. Kết quả thực tế phụ thuộc vào trạng thái onboarding, gói dịch vụ và cấu hình đang có. Cách chắc chắn nhất là kiểm tra mục điều khiển crawler AI trong dashboard Cloudflare của từng zone. 23

Ba nhóm lưu lượng mà chủ website có thể quản lý

Cloudflare phân loại theo hành vi của crawler, không đơn thuần theo nhãn “AI”. Ba nhóm được cấu hình độc lập là: 13

Nhóm	Phạm vi hoạt động	Mặc định với tên miền mới trên trang có quảng cáo
Search	Thu thập hoặc lập chỉ mục nội dung để trả lời câu hỏi về sau	Cho phép
Training	Thu thập nội dung để huấn luyện hoặc tinh chỉnh mô hình	Chặn
Agent	Tự động thực hiện tác vụ thời gian thực thay người dùng	Chặn

Với mỗi nhóm, chủ website có thể chọn một trong ba cách:

1. Cho phép lưu lượng.
2. Chặn trên các trang có hiển thị quảng cáo.
3. Chặn trên toàn bộ website. 23

Cách tách riêng này giúp nhà xuất bản có thể, chẳng hạn, tiếp tục cho phép Search để duy trì khả năng lập chỉ mục, nhưng chặn Training trên toàn bộ website; hoặc chỉ bảo vệ các trang tạo doanh thu quảng cáo.

Rủi ro SEO nằm ở crawler đa mục đích

Điểm quan trọng nhất là một crawler không nhất thiết chỉ thực hiện một hành vi. Cloudflare cho biết crawler kết hợp cả Search và Training sẽ được đánh giá theo toàn bộ các hành vi đó; quy tắc áp dụng sẽ là quy tắc nghiêm ngặt nhất. 2615

Điều này có thể dẫn đến hệ quả đáng kể: khi website chặn Training, một crawler mà Cloudflare xem là vừa Search vừa Training cũng có thể mất quyền thu thập dữ liệu cho mục đích tìm kiếm. Tài liệu và các bài viết về đợt triển khai nêu Googlebot, Applebot và BingBot là các ví dụ crawler đa mục đích liên quan đến quy tắc này. 26

Nói cách khác, bật “cho phép Search” không tự động bảo đảm bot vẫn được truy cập nếu bot đó đồng thời bị phân loại là Training. Trước khi chặn Training trên toàn website, quản trị viên cần cân nhắc đánh đổi có thể xảy ra với việc lập chỉ mục và khả năng hiển thị trên công cụ tìm kiếm. 24

Cài đặt cũ “Block AI bots” có ý nghĩa gì?

Cloudflare cho biết các cấu hình chặn huấn luyện AI, gồm tùy chọn cũ “Block AI bots”, cũng áp dụng với crawler kết hợp Search và Training. 2 Vì vậy, các website từng bật nút chặn AI theo cách cũ nên rà soát lại, nhất là khi vẫn cần duy trì khả năng được Google, Apple hoặc Bing lập chỉ mục.

Các thông tin sau đợt triển khai tháng 9 cũng đề cập cách tiếp cận mới mang tên “Disallow AI Training”: thiết lập này thể hiện ý muốn không cho dùng nội dung để huấn luyện AI, nhưng vẫn có thể giữ Googlebot, Applebot và BingBot phục vụ tìm kiếm nếu crawler được chỉ định là “Accountable”. Do hành vi cụ thể và lộ trình chuyển đổi phụ thuộc vào thiết lập được chọn, quản trị viên nên kiểm tra trực tiếp tùy chọn hiện có trong dashboard thay vì dựa vào tên của một công tắc cũ. 4

Vì sao Cloudflare tách Search khỏi việc AI tiêu thụ nội dung?

Mối quan ngại của các nhà xuất bản là mô hình tìm kiếm truyền thống thường có sự trao đổi tương đối rõ: công cụ tìm kiếm crawl và lập chỉ mục trang, rồi có thể đưa người đọc quay về nguồn qua liên kết giới thiệu. Trong khi đó, dịch vụ AI tạo sinh có thể dùng nội dung để huấn luyện mô hình hoặc hiển thị câu trả lời đã truy xuất ngay trong giao diện của mình, với giá trị referral trực tiếp cho nguồn gốc thấp hơn.

Cloudflare mô tả Search là loại lưu lượng mà nhà xuất bản nên kỳ vọng nhận được referral hoặc bù đắp tương xứng; còn Training và Agent là những cách sử dụng nội dung khác. 13 Các tùy chọn mới nhằm cho chủ website giữ lại tự động hóa mà họ xem là có ích, đồng thời hạn chế lưu lượng chỉ lấy nội dung.

Vì vậy, câu hỏi cốt lõi không chỉ là crawler đó có phải “AI” hay không. Vấn đề là hành vi của nó có giúp nội dung được khám phá và mang lại giá trị trở lại cho website, hay chủ yếu tiêu thụ nội dung để huấn luyện hoặc phục vụ tác vụ AI thời gian thực. 13

Việc chủ website nên làm

Trước khi đổi chính sách, nên kiểm tra tác động theo từng hành vi:

• Giữ Search ở trạng thái cho phép nếu ưu tiên lập chỉ mục và lưu lượng referral tiềm năng.
• Chọn chặn trên trang có quảng cáo nếu mục tiêu là bảo vệ các trang kiếm tiền mà không hạn chế toàn bộ website.
• Chỉ chọn chặn trên toàn bộ website sau khi đã cân nhắc liệu crawler có đồng thời mang hành vi Search và Training hay không.
• Rà soát mọi cấu hình “Block AI bots” cũ, đặc biệt nếu khả năng hiển thị trên Google, Apple hoặc Bing là quan trọng. 236

Mặc định tháng 9 của Cloudflare trao thêm quyền kiểm soát cho nhà xuất bản. Nhưng vì crawler đa mục đích có thể chịu quy tắc nghiêm ngặt nhất, đây cũng là một quyết định về SEO — không chỉ là cài đặt chính sách AI.