Cloudflare 9月15日 deadline：AI 爬蟲新規如何重塑網路生態

核心變革：2026 年 9 月 15 日大限

Cloudflare 已將 2026 年 9 月 15 日 設為 AI 公司必須將網頁爬蟲根據內容使用目的，區分為不同、可識別類別的最後期限。任何未清楚宣告其用途、或將搜尋索引與 AI 訓練綁定在同一個使用者代理下的爬蟲，在 Cloudflare 代理的流量上，尤其是顯示廣告的頁面，將被 預設封鎖 。

在此日期之後，新的 Cloudflare 客戶和新建立的網站 將採用預設設定，僅允許被清楚識別的搜尋爬蟲，同時封鎖 AI 訓練和 AI 代理爬蟲，除非發布者明確選擇允許 。現有的免費方案客戶，若未手動更新其偏好設定，也將被遷移至新的預設值 。

1. 新預設設定：從選擇退出到選擇加入

過去，網路運作遵循選擇退出的常規：除非網站透過 robots.txt 明確封鎖，否則爬蟲是被允許的。Cloudflare 已將其翻轉為針對 AI 爬蟲的選擇加入模式 。

• 對新客戶和新網站： 用於訓練或代理操作的 AI 爬蟲預設被封鎖。發布者必須主動啟用它們 。
• 對現有客戶： 設定不會自動更改，但網站擁有者可以（並被強烈鼓勵）透過 Cloudflare 儀表板遷移到新的三層分類控制 。
• 特別是在廣告支援的頁面上： 混合用途爬蟲（同時為搜尋索引和 AI 訓練抓取內容者）將被預設封鎖，因為預設政策將未標記或「混合」流量視為訓練/代理流量 。

2. 三層爬蟲分類系統：搜尋、代理、訓練

Cloudflare 引入了一個新的分類法，讓發布者可以為三種機器人行為設定獨立的規則，所有客戶（包括免費方案使用者）皆可使用 ：

發布者現在可以在單一儀表板上設定諸如「允許搜尋，封鎖訓練，封鎖代理」的政策，即使在免費方案上也能做到 。這比傳統的 robots.txt 更加精細，後者僅允許對每個使用者代理進行全面性的允許或拒絕。Cloudflare 自身的文件將搜尋定義為網站擁有者「應能期待獲得推薦流量或其他公平補償」的活動 。

3. 從按次付費 (Pay Per Crawl) 到按用量付費 (Pay Per Use) 的演進

Cloudflare 最初於 2025 年 7 月推出 按次付費 (Pay Per Crawl) 作為私人測試版——這是一個市場，發布者可以對 AI 公司的每次請求收費，使用 HTTP 402（「要求付款」）狀態碼來協商存取權限 。此系統允許發布者在未經批准的爬蟲請求內容時，回傳帶有定價資訊的 402 回應 。

到了 2026 年 4 月，在 Cloudflare 所謂的「代理週」(4 月 13 日至 17 日) 期間，該公司已將其發展為更廣泛的 按用量付費 (Pay Per Use) 模式，將按次抓取框架整合到一個適用於所有方案等級的單一運算主控台中 。關鍵區別如下：

• 按次付費 (Pay Per Crawl, 2025 測試版)： 一種按請求計費的小額交易模式——每次抓取請求都會透過 HTTP 402 回應觸發一次付款協商 。
• 按用量付費 (Pay Per Use, 2026 全面上線)： 一個更靈活的系統，發布者可以設定條款——統包授權費、按次抓取費率或訂閱式存取——而 AI 公司可以透過 Cloudflare 的機器人管理和 WAF 規則以程式化方式管理存取權限 。

Stack Overflow 的實作（2026 年 2 月）展示了正式版本：他們的資料授權計畫使用 Cloudflare 的機器人分類功能，對未經授權的爬蟲提供 402 回應，無需客製化合約即可大規模獲利 。

這將如何改變生態格局

對發布者而言

• 新的收入來源： AI 公司現在必須為從 Cloudflare 代理的網站取得的訓練資料付費，而非免費抓取 。
• 精細化控制： 發布者可以保留能帶來廣告流量的搜尋爬蟲，同時封鎖訓練/代理機器人——保護廣告收入和內容價值 。
• 內建預設防護： 無力負擔客製化機器人管理的小型發布者，現在可以開箱即用地獲得企業級的 AI 爬蟲封鎖功能 。

對 AI 公司而言

• 訓練資料成本上升： 對於 Cloudflare 網路（約佔全球 20% 網站）上的站點，大規模網路抓取的「免費午餐」時代結束 。AI 公司必須向發布者付費或協商授權協議。
• 爬蟲身份危機： AI 公司必須在 9 月 15 日之前徹底改造其爬蟲基礎設施，將搜尋、訓練和代理流量分離為不同、可識別的使用者代理——否則將面臨被全面封鎖的風險 。
• Google 受影響最大： Google 的爬蟲歷來肩負雙重目的（搜尋索引和 Gemini/SGE 的 AI 訓練）。Cloudflare 的政策迫使 Google 要麼拆分其爬蟲，要麼讓其 Googlebot 在廣告支援的 Cloudflare 頁面上被封鎖 。

更廣泛的產業影響

• 制定標準之舉： Cloudflare 正在有效地為 AI 爬蟲禮儀定義一個新的協議。其他 CDN 和主機提供商可能會跟進 。
• 內容訊號政策 (Content Signals Policy)： Cloudflare 在 robots.txt 中引入了一套新的機器可讀指令，超越了頁面層級的存取控制，讓發布者可以表明其內容是否可用於搜尋索引、AI 訓練或 AI 代理 。這是對傳統 robots.txt 的延伸，以涵蓋存取後的使用，而不僅僅是爬取權限。