Cloudflare 9 月 AI 爬蟲新預設：邊啲會擋、搜尋機械人仲可唔可以入？

Cloudflare 在 2026 年 9 月 15 日起調整 AI 爬蟲的預設處理方式。不過，重點唔係「一刀切封 AI」：對新加入 Cloudflare 的網域而言，如頁面有展示廣告，屬於 Training（訓練）及 Agent（代理程式）的爬蟲會被預設封鎖；傳統的 Search（搜尋）抓取則仍然容許。 215

對靠自然搜尋流量、廣告收入或訂閱營運的網站而言，呢個分法相當關鍵：你可以嘗試保留有機會帶來訪客的搜尋收錄，同時限制拿內容去訓練模型，或者讓 AI 助手即時代用戶讀取內容的自動化流量。

新預設實際封鎖邊啲？

Cloudflare 將相關自動化流量按「行為」而唔係籠統按「係唔係 AI」分類：

類別	Cloudflare 所指用途	新網域在有廣告頁面的預設
Search	抓取或建立索引，供服務日後回答問題	容許
Training	擷取內容來訓練或微調模型	封鎖
Agent	代表用戶即時做事，例如聊天工具抓取網頁、瀏覽器操作代理	封鎖

Cloudflare 認為，Search 類流量理應帶來轉介訪客，或以其他公平方式回饋內容出版者；Training 則是把內容用於訓練或微調模型，Agent 則是即時代人操作的自動化活動。 13

所以，今次預設只針對有展示廣告的頁面，而且主要針對 Training 和 Agent；並非全網站、全類型 AI 存取都會自動被擋。 215

邊啲 Cloudflare 客戶受影響？

Cloudflare 的官方文件明確指出，新預設適用於新加入其網絡的新網域。 215 有關推出安排的報道亦指，既有客戶新加入的網站，以及未曾手動改動設定的免費方案帳戶，可能同樣適用這套預設。 23

若你本身已用 Cloudflare 一段時間，唔好假設現有 zone（即網站／網域設定單位）一定會自動轉成相同規則。實際效果取決於網域加入時間、方案及既有設定；最穩陣係直接到 Cloudflare 控制台檢查 AI crawler 控制項目。 23

每一類流量都有 3 個處理選項

網站擁有人可對 Search、Training、Agent 分別設定以下其中一種做法：

1. Allow（容許）
2. Block on pages that display ads（只封鎖有展示廣告的頁面）
3. Block on all pages（全站封鎖） 23

呢種細分令網站唔使在「完全開放」與「全部封殺」之間二選一。例如，出版者可保留 Search 收錄，同時全站阻擋 Training；又或者只保護靠廣告變現的頁面。

最大 SEO 伏位：一隻 bot 可以有多重用途

最值得留意的是，多用途爬蟲唔一定只屬於一個類別。Cloudflare 表示，同時具有 Search 和 Training 行為的爬蟲，會按其所有行為評估，並以適用規則中最嚴格的一項決定是否可進入。 2615

換言之，即使你將 Search 設為容許，只要某個爬蟲同時被歸類為 Training，而你的 Training 政策是封鎖，它的搜尋抓取也可能一併失去存取權。Cloudflare 文件及相關報道點名的例子包括 Googlebot、Applebot 和 BingBot。 26

因此，若網站很重視 Google、Apple 或 Bing 的搜尋曝光，設定全站封鎖 Training 前，應先衡量可能對收錄和自然流量造成的取捨。呢個唔只係 AI 政策選擇，同時係 SEO 決策。 24

舊有「Block AI bots」設定亦要覆核

Cloudflare 指出，所有封鎖 AI 訓練的設定，包括舊有的 「Block AI bots」 選項，亦會套用到同時具備 Search 與 Training 功能的爬蟲。 2

換句話講，過往開咗舊版廣泛封鎖功能、但以為只會阻止「非搜尋用途 AI」的網站，尤其應重新檢查設定。

9 月的後續報道則提到，較新的 「Disallow AI Training」 方式，目標是透過 robots.txt 表達不容許訓練的偏好，同時在爬蟲被標示為「Accountable」時，保留 Googlebot、Applebot 和 BingBot 的搜尋抓取。由於實際行為及遷移安排會視乎你選用哪一項控制而定，管理員應以 Cloudflare 控制台目前顯示的設定為準，唔好單靠舊按鈕名稱判斷。 4

點解 Cloudflare 要把「搜尋」同「AI 消耗內容」分開？

傳統搜尋的網絡交換模式是：搜尋引擎抓取及建立索引，然後透過搜尋結果把讀者帶返內容原站。相反，生成式 AI 可以將內容用來訓練模型，或者在自家介面直接整合和呈現答案，原始網站未必獲得相應點擊或轉介價值。

Cloudflare 將 Search 定義為出版者應可預期獲得轉介流量或相等補償的行為，並以三類控制讓網站擁有人保留能帶來讀者和收入的自動化流量，同時限制「只係攞走內容」的流量。 13

核心問題因而唔只係「呢隻係咪 AI bot」，而係它究竟有冇為網站帶來發現、讀者或其他對等價值，抑或主要用內容作模型訓練和即時 AI 任務。 13

網站擁有人而家可以點做？

• 如搜尋收錄與潛在轉介流量係優先事項，保留 Search 為容許。
• 如只想保護廣告變現頁面，可考慮「只封鎖有展示廣告的頁面」。
• 如考慮「全站封鎖」Training，先查清相關爬蟲有冇同時被列作 Search，避免意外影響搜尋抓取。
• 如曾啟用舊有 Block AI bots，而 Google、Apple 或 Bing 的搜尋能見度對你重要，應盡快覆核現行政策。 236

Cloudflare 今次更新確實令出版者多咗控制權，但多用途爬蟲的「最嚴格規則優先」機制，亦意味每次改設定前，都要同時從內容授權和 SEO 兩邊計數。