Cloudflare 讓網站可保留搜尋收錄，同時拒絕 AI 訓練

Cloudflare 在 2026 年 9 月 15 日推出 Disallow AI Training（禁止 AI 訓練），核心改變在於：網站主不必再為了拒絕模型訓練，而一併犧牲搜尋引擎的收錄與曝光。

只要爬蟲營運商符合 Cloudflare 的 Accountable 認定，網站可以允許其進行搜尋索引，同時要求不得將相同內容用於訓練或微調 AI 模型。Apple、Google 與 Microsoft 已經遵守，或承諾在 Cloudflare 指定時程內遵守這項設定。5

從「封鎖哪個機器人」改成「限制用途」

Cloudflare 將爬蟲流量拆為三種可獨立管理的用途：

• Search（搜尋）：為搜尋結果建立索引。
• Training（訓練）：擷取內容以訓練或微調 AI 模型。
• Agent（代理）：AI 依使用者指示執行任務時，擷取網站內容。10

這個差異很關鍵。過去一個爬蟲可能同時服務搜尋與 AI，用一刀切方式封鎖它，可能連正常的搜尋收錄也受影響。現在，網站主可以選擇「讓你收錄，但不能拿去訓練」。5

Accountable 是什麼？

Accountable 是 Cloudflare 對爬蟲營運商提出的認定：營運商必須能把搜尋索引與 AI 訓練用途區分開來，並尊重網站主的禁止訓練偏好。這項認定同時涵蓋已具備能力的業者，以及已作出具體履行承諾的業者。5

對仰賴自然搜尋流量的出版商與網站來說，意義在於：像 Apple、Google、Microsoft 這類可能具有混合用途爬蟲的業者，不會僅因網站拒絕訓練，就必然失去搜尋索引資格。5

不過，現有公告未足以逐一確認每家業者的實作日期、特定爬蟲行為或完整技術承諾；網站主仍應檢查自己的機器人設定與爬取紀錄，不宜假設所有業者的實際行為完全一致。

哪些流量可留下，哪些可阻擋？

新設定的設計目標，是讓符合 Accountable 條件的混合用途爬蟲繼續進行 Search，但拒絕其 Training 用途。5

根據現有資料，可以得出幾項實務結論：

• 符合 Accountable 條件的業者，仍可取得搜尋索引所需的存取權。5
• Training 與 Agent 可分別設定為封鎖，而不必連帶封鎖 Search。10
• 「封鎖所有 AI 機器人」的一鍵選項依然存在，適合希望先全面暫停或採取嚴格限制的網站；但它的精準度不如按用途設定。7

換句話說，這次更新降低了網站在「退出 AI 訓練」與「維持搜尋能見度」之間二選一的壓力。

含廣告頁面的新預設

Cloudflare 先前已宣布，自 2026 年 9 月 15 日起，新加入 Cloudflare 的網域，若頁面顯示廣告，Training 與 Agent 類別的爬蟲會預設遭到封鎖。10

這反映 Cloudflare 對內容出版商的立場：依賴廣告營利的內容，可能更需要預設限制 AI 的訓練及代理式使用。但混合用途爬蟲也帶來衝突——較早的分類式限制可能波及搜尋爬取。Disallow AI Training 與 Accountable 模式正是為了處理這個問題：在可辨別並遵守用途區分的前提下，保護廣告內容免於訓練，同時保留搜尋收錄。5

現有來源未完整說明所有既有網域如何遷移，以及每種帳戶類型適用的全部預設值；既有網站應以控制台中的實際設定為準，而非直接套用新網域規則。

Google-Extended、Applebot-Extended 與 Bing 指令的限制

用途導向控制所處理的，正是各家專屬指令長期想解決的問題：允許搜尋，但限制同一業者的 AI 使用。

Cloudflare 曾提及 Google 的專有退出機制，包括 Google-Extended 與 nosnippet；不過該公司表示，曾收到出版商回饋，認為這些機制未能阻止所有出版商希望控制的內容使用方式。22

本次提供的資料無法獨立確認 Google-Extended、Applebot-Extended，或 Bing NOARCHIVE 指令目前的精確範圍與實際效果。因此，較可靠的結論是：專屬退出機制或 Accountable 承諾，可望支援「可搜尋索引、不可模型訓練」的偏好；直接封鎖整個爬蟲，則未必能做到這種區分。

為何出版商現在更需要細緻設定？

Cloudflare 的流量分析顯示，過去 12 個月 AI 爬取中，80% 被分類為訓練用途、18% 為搜尋、僅 2% 為使用者動作；該分類依據營運商揭露與產業來源。16

這也說明為何單一的「允許／封鎖 AI」開關已不敷使用。網站可接受搜尋索引、拒絕內容被永久納入模型訓練，也可另行決定是否開放即時的 AI 代理存取。

Cloudflare 在 2025 年表示，已有超過 250 萬個網站 透過其代管 robots.txt 功能或 AI 爬蟲封鎖規則，選擇全面禁止 AI 訓練。13 新控制項則為同時重視搜尋曝光的網站，提供更細緻的替代方案。

下一步：AI 生成摘要的控制權

Cloudflare 表示，目標是在 2027 年初讓出版商更細緻地控制 AI 生成摘要。2 不過，公告目前尚未揭露最終產品設計、執行方式或可選設定。

現階段最直接的做法是：把 Search、Training、Agent 視為三項獨立決策。若自然搜尋流量重要，就不應預設 AI 限制必然會影響搜尋收錄；對符合 Accountable 認定的爬蟲尤其如此。5