| 類別 | 行為 | 例子 |
|---|---|---|
| 搜尋 (Search) | 索引內容,以便之後回答搜尋查詢。網站擁有者應獲得推薦流量或補償。 | 標準搜尋引擎爬蟲 |
| 代理 (Agent) | 代表用戶進行即時自動化操作(例如聊天 fetch、瀏覽器使用代理)。 | ChatGPT-User、Claude、Gemini 嘅代理 |
| 訓練 (Training) | 爬取內容以訓練或微調模型。數據會永久融入模型中。 | 批量訓練爬蟲 |
Cloudflare 「強烈鼓勵」同時進行呢三類活動嘅公司,為每個用途運行 獨立、可識別 嘅爬蟲 T。
最明顯嘅改變係針對 混合用途爬蟲:呢啲機械人喺一次爬取過程中同時收集用於搜尋同 AI 訓練嘅內容,令網站擁有者無從判斷數據嘅用途。Cloudflare 嘅預設封鎖會迫使 AI 公司將爬蟲分開,否則就會失去對廣告支援頁面嘅存取權 TB。
喺 2026 年 7 月 1 日,Cloudflare 亦都宣布由之前嘅 「按爬取付費」(Pay Per Crawl)模式(2025 年宣布)轉向 「按使用付費」(Pay Per Use)模式 BB:
「按使用付費」模式仍然被描述為「早期實驗」同「研究計劃」B。其具體定價、收入分成同普遍可用嘅推出時間表尚未公布。
T TechCrunch – Cloudflare's new policy pushes AI companies to pay for publishers' content (2026-07-01)
B Cloudflare Blog – Your site, your rules: new AI traffic options for all customers (2026-07-01)
B Cloudflare Blog – Introducing pay per crawl (2025-07-01)
Cloudflare Press Release – Cloudflare Announces Research Pilot with OpenAI (2026-07-08)
Yahoo Finance – Cloudflare Announces Research Pilot with OpenAI (2026-07-08)
B Cloudflare Blog – Making AI search smarter (2026-07-01)
Investing.com – Cloudflare, OpenAI launch research pilot on AI search indexing (2026-07-08)