Cloudflare 9月15日新規 出版人可向AI公司收費 預設封鎖混用Crawler

核心改動：2026年9月15日死線

Cloudflare定下2026年9月15日為死線，要求AI公司將佢哋嘅網絡crawler按用途分門別類，清楚標明身份。任何唔清楚申明用途、或者將搜尋索引同AI訓練捆綁喺同一個User-Agent嘅crawler，喺Cloudflare代理嘅流量上，尤其係有廣告嘅頁面，都會被預設封鎖。

呢個日期之後，新嘅Cloudflare客戶同新建立嘅網站，預設只會允許標明身份嘅搜尋crawler，AI訓練同AI代理crawler一律封鎖，除非出版人主動選擇允許 。現有嘅免費計劃客戶如果無手動更新喜好設定，都會陸續被遷移到新嘅預設規則 。

1. 新預設設定：由Opt-Out轉為Opt-In

以前網絡嘅慣例係Opt-out：crawler可以任行，除非網站用robots.txt封鎖。Cloudflare依家將針對AI crawler嘅規則，改成Opt-In模式 。

• 新客戶同新網站： 用於訓練或代理操作嘅AI crawler，預設封鎖。出版人要主動去Dashboard啟用 。
• 現有客戶： 設定唔會自動更改，但擁有人可以（亦強烈建議）經Cloudflare Dashboard轉用新嘅三類別控制 。
• 特別係有廣告嘅頁面： 混用型crawler（同時做搜尋索引同AI訓練爬取）會被預設封鎖，因為新政策會將未標明或「混用」嘅流量當作訓練/代理流量處理 。

2. 三類別Crawler系統：搜尋、代理、訓練

Cloudflare引入新嘅分類法，畀出版人可以為三種機械人行為各自設定獨立規則，免費計劃都用得 ：

出版人依家可以喺單一Dashboard設定例如「允許搜尋、封鎖訓練、封鎖代理」，甚至免費計劃都得 。比傳統嘅robots.txt精細得多，後者只可以一刀切allow/deny成個User-Agent。Cloudflare嘅官方文件清楚定義「搜尋」係指網站擁有人「應該預期會換嚟referral traffic或其他公平補償」嘅活動 。

3. 由Pay Per Crawl過渡到Pay Per Use

Cloudflare最初喺2025年7月推出Pay Per Crawl私人測試版——係一個市場平台，畀出版人可以按每次請求向AI公司收費，使用HTTP 402（「Payment Required」）狀態碼去協商存取權 。呢個系統容許出版人喺未經批准嘅crawler請求內容時，回傳一個包含定價資訊嘅402回應 。

去到2026年4月，喺Cloudflare所謂嘅Agents Week（4月13日至17日），公司已經將呢個框架進化成更全面嘅Pay Per Use模式，將每次爬取收費嘅概念融合到一個單一操作控制台，所有計劃等級都用得 。主要分別在於：

• Pay Per Crawl（2025 Beta）： 每次請求都係一個微型交易——每次爬取請求都會透過HTTP 402回應觸發付款協商 。
• Pay Per Use（2026正式版）： 一個更靈活嘅系統，出版人可以設定唔同條款——例如一次性授權費、按次爬取費率、或者訂閱式存取——而AI公司可以經Cloudflare嘅機械人管理同WAF規則，以程式方式管理存取權 。

Stack Overflow嘅實際應用（2026年2月）示範咗呢個生產版本：佢哋嘅數據授權計劃用到Cloudflare嘅機械人分類功能，向未經授權嘅crawler回傳402回應，大規模變現，唔使再逐個傾合約 。

呢個改動點樣改變大局

對出版人嚟講

• 新收入來源： AI公司要再爬取經Cloudflare代理嘅網站嘅訓練數據，就必須付款，唔再係免費 。
• 精細控制： 出版人可以保留會帶嚟廣告流量嘅搜尋crawler，同時封鎖訓練/代理機械人——一嚟保住廣告收入，二嚟捍衛內容價值 。
• 預設保護： 以前細規模出版人負擔唔起客製化機械人防護，依家預設就有企業級嘅AI crawler封鎖功能 。

對AI公司嚟講

• 訓練數據成本上升： 喺Cloudflare網絡（約佔全球兩成網站）上，免費大規模爬取嘅「免費午餐」玩完 。AI公司一係要畀錢出版人，一係就要傾授權協議。
• Crawler身份危機： AI公司必須喺9月15日前整改佢哋嘅crawler基建，將搜尋、訓練同代理流量拆分做獨立、可識別嘅User-Agent——否則就會全面被封鎖 。
• Google最受影響： Google嘅crawler一直身兼兩職（搜尋索引同Gemini/SGE嘅AI訓練）。Cloudflare嘅政策逼使Google一係拆分crawler，一係要面對Googlebot喺有廣告嘅Cloudflare網站上被封鎖嘅風險 。

更深遠嘅行業影響

• 訂立新標準： Cloudflare正有效地為AI crawler嘅禮儀制定新協議。其他CDN同託管服務商可能會跟隨 。
• Content Signals政策： Cloudflare引入一套全新、可機器讀取嘅指令，寫入robots.txt，超越頁面層級嘅存取權限，令出版人可以指明其內容係咪可以用於搜尋索引、AI訓練、抑或AI代理 。呢個係傳統robots.txt嘅延伸，涵蓋嘅唔單止係「爬取權限」，仲有「存取後嘅使用權限」。