Cloudflare cho phép chặn huấn luyện AI mà vẫn giữ hiển thị trên tìm kiếm

Cloudflare ngày 15/9/2026 đã bổ sung tùy chọn Disallow AI Training (Không cho phép huấn luyện AI). Thay đổi quan trọng nhất với nhà xuất bản là họ không còn nhất thiết phải đánh đổi giữa khả năng xuất hiện trên công cụ tìm kiếm và quyền từ chối dùng nội dung để huấn luyện mô hình AI.

Nếu một crawler dùng chung hạ tầng cho nhiều mục đích đáp ứng tiêu chuẩn Accountable, chủ website có thể giữ quyền cho crawler đó lập chỉ mục phục vụ tìm kiếm, đồng thời cấm nội dung bị dùng cho huấn luyện AI. Nhãn Accountable xác định các đơn vị vận hành đã tôn trọng lựa chọn này hoặc đã cam kết cụ thể sẽ thực hiện. 5

Trọng tâm mới: kiểm soát theo mục đích, không chỉ theo tên bot

Cloudflare tách hoạt động crawler thành ba mục đích có thể quản lý độc lập:

• Search: thu thập dữ liệu để lập chỉ mục và hiển thị trong kết quả tìm kiếm.
• Training: lấy nội dung để huấn luyện hoặc tinh chỉnh mô hình AI.
• Agent: truy xuất nội dung trong lúc thực hiện một tác vụ do người dùng yêu cầu. 10

Sự phân biệt này đặc biệt quan trọng vì một hạ tầng crawler có thể phục vụ nhiều mục đích. Trước đây, chặn một crawler có liên hệ với AI có thể đồng thời làm suy giảm khả năng được tìm thấy qua tìm kiếm thông thường. Với Disallow AI Training, website có thể chọn cách hẹp hơn: vẫn cho phép truy cập để tìm kiếm nhưng không cho phép sử dụng nội dung cho mục đích huấn luyện. 5

Nhãn “Accountable” có ý nghĩa gì?

Cloudflare tạo nhãn Accountable cho các đơn vị vận hành bot có khả năng tách việc lập chỉ mục tìm kiếm khỏi sử dụng dữ liệu để huấn luyện, đồng thời tôn trọng lựa chọn của chủ website. Apple, Google và Microsoft либо đã tôn trọng thiết lập mới, hoặc cam kết tôn trọng theo mốc thời gian do Cloudflare nêu. 5

Với nhà xuất bản, điều này có ý nghĩa thực tế: crawler phục vụ tìm kiếm vẫn có thể được giữ lại, thay vì bị chặn hoàn toàn chỉ vì công ty vận hành cũng có hoạt động huấn luyện AI. Nói cách khác, các đơn vị vận hành crawler đa mục đích đủ điều kiện có thể tiếp tục lập chỉ mục trang cho tìm kiếm sau khi website bật chế độ không cho huấn luyện. 5

Thông báo hiện có của Cloudflare mô tả tiêu chuẩn ở cấp độ khái quát, chưa đủ để xác nhận ngày triển khai, cách vận hành từng crawler hay toàn bộ cam kết kỹ thuật của từng đơn vị. Vì vậy, chủ website nên kiểm tra cấu hình bot và dữ liệu crawl của chính mình, thay vì mặc định mọi nhà vận hành đều hoạt động giống nhau.

Lưu lượng nào vẫn được phép, lưu lượng nào bị chặn?

Thiết lập mới được thiết kế để duy trì lập chỉ mục tìm kiếm cho các crawler đa mục đích đạt chuẩn Accountable, trong khi từ chối mục đích huấn luyện trên cùng nội dung. Cloudflare nêu rõ đây là cách để website vẫn được lập chỉ mục tìm kiếm nhưng không cho crawler đó dùng nội dung để huấn luyện. 5

Tài liệu được cung cấp không đưa ra danh sách công khai đầy đủ theo từng crawler. Tuy vậy, có thể rút ra các điểm sau:

• Quyền truy cập phục vụ tìm kiếm của các đơn vị Accountable đủ điều kiện có thể vẫn được duy trì khi chủ website cấm huấn luyện. 5
• Hai nhóm Training và Agent có thể được chặn riêng, không nhất thiết ảnh hưởng đến Search. 10
• Tùy chọn chặn toàn bộ bot AI vẫn tồn tại cho những website muốn tạm dừng hoặc áp dụng hạn chế diện rộng; nhưng cách này kém chính xác hơn kiểm soát theo mục đích. 7

Điều này đặc biệt đáng chú ý với các trang phụ thuộc vào lưu lượng tìm kiếm tự nhiên: họ có thêm cách từ chối huấn luyện AI mà không mặc định từ bỏ khả năng hiển thị trên trang kết quả tìm kiếm.

Các trang có quảng cáo và thiết lập mặc định từ tháng 9

Cloudflare trước đó thông báo rằng từ ngày 15/9/2026, tên miền mới bắt đầu sử dụng Cloudflare sẽ chặn mặc định crawler thuộc nhóm Training và Agent trên những trang hiển thị quảng cáo. 10 Chính sách này dựa trên lập luận hướng đến nhà xuất bản: nội dung được kiếm tiền bằng quảng cáo có thể cần mặc định bảo vệ chặt hơn trước các mục đích AI.

Cách tiếp cận trước đó cũng tạo ra một rủi ro: nếu crawler phục vụ nhiều mục đích, việc chặn theo nhóm có thể ảnh hưởng luôn đến crawl phục vụ tìm kiếm. Mô hình Disallow AI Training kết hợp Accountable là câu trả lời của Cloudflare cho xung đột đó: nhà xuất bản có thể bảo vệ nội dung có quảng cáo khỏi việc huấn luyện, đồng thời giữ lập chỉ mục tìm kiếm khi đơn vị vận hành crawler có thể tôn trọng sự phân tách này. 5

Các nguồn hiện có chưa mô tả đầy đủ cách mọi tên miền đã tồn tại được chuyển đổi cấu hình, hoặc thiết lập mặc định áp dụng cho từng loại tài khoản. Chủ các tên miền hiện hữu nên xem lại chính sách đang cài đặt thay vì suy ra từ mặc định dành cho tên miền mới.

Google-Extended, Applebot-Extended và cách dùng NOARCHIVE của Bing

Các kiểm soát theo mục đích giải quyết vấn đề mà những chỉ thị riêng theo từng nhà cung cấp đã cố xử lý: tách hoạt động tìm kiếm của một công ty khỏi việc họ sử dụng nội dung cho AI.

Cloudflare từng đề cập đến các cơ chế từ chối độc quyền của Google, trong đó có Google-Extended và nosnippet, đồng thời nói rằng họ nhận được phản hồi từ nhà xuất bản rằng những cơ chế này chưa ngăn được mọi kiểu sử dụng nội dung mà nhà xuất bản muốn kiểm soát. 22 Tài liệu cung cấp cho bài viết này không đủ để xác minh độc lập phạm vi hoặc cách hoạt động hiện tại của Google-Extended, Applebot-Extended hay chỉ thị NOARCHIVE của Bing.

Điểm cốt lõi rõ hơn các chi tiết triển khai: một cơ chế từ chối chuyên biệt hoặc cam kết Accountable có thể hỗ trợ yêu cầu “vẫn lập chỉ mục trang này cho tìm kiếm, nhưng không dùng để huấn luyện”. Một lệnh chặn crawler tổng quát không thể bảo đảm được sự phân biệt đó.

Vì sao kiểm soát chi tiết ngày càng cần thiết?

Theo phân tích lưu lượng của Cloudflare, 80% hoạt động crawl AI trong 12 tháng trước đó được phân loại là phục vụ huấn luyện; tỷ lệ cho tìm kiếm là 18%, còn hành động do người dùng yêu cầu chỉ chiếm 2%. Công ty cho biết việc phân loại dựa trên thông tin công bố của đơn vị vận hành và các nguồn trong ngành. 16

Cơ cấu này cho thấy vì sao nhà xuất bản có thể cần các thiết lập riêng thay vì một công tắc AI bật/tắt duy nhất. Một website có thể chấp nhận lập chỉ mục để người đọc tìm thấy nội dung, từ chối việc nội dung bị hấp thụ lâu dài vào mô hình thông qua huấn luyện, và đưa ra quyết định riêng với quyền truy cập thời gian thực của AI agent.

Cloudflare cũng cho biết trong năm 2025, hơn 2,5 triệu website đã chọn cấm hoàn toàn việc huấn luyện AI thông qua tính năng robots.txt được quản lý hoặc quy tắc chặn crawler AI được quản lý. 13 Các kiểm soát tháng 9 mở ra một lựa chọn chi tiết hơn cho những nhà xuất bản vừa muốn hạn chế huấn luyện AI, vừa cần duy trì khả năng hiển thị qua tìm kiếm.

Bước kế tiếp: quyền kiểm soát tóm tắt do AI tạo ra

Cloudflare cho biết họ hướng đến việc cung cấp cho nhà xuất bản quyền kiểm soát chi tiết hơn với các bản tóm tắt do AI tạo ra vào đầu năm 2027. 2 Thông báo hiện tại xác nhận định hướng này, nhưng chưa nêu thiết kế sản phẩm cuối cùng, phương thức thực thi hay các lựa chọn cụ thể dành cho nhà xuất bản.

Ở thời điểm này, bài học vận hành khá rõ ràng: hãy xem Search, Training và Agent là ba quyết định riêng. Nếu lưu lượng tìm kiếm tự nhiên quan trọng, đừng mặc định rằng hạn chế AI phải đồng nghĩa với hạn chế tìm kiếm — nhất là khi đơn vị vận hành crawler được xếp hạng Accountable. 5