Google 的爬蟲雙重用途爭議：出版業者為何痛批「沒有選擇」

CMA 的回應：全球首項行為要求

2025 年 10 月，英國競爭與市場管理局指定 Google 在一般搜尋和搜尋廣告領域擁有「戰略市場地位」，因其在英國搜尋市場佔有約 90% 的份額 。2026 年 6 月 3 日，CMA 對 Google 施加了一項出版業者行為要求——這是根據英國 2024 年《數位市場、競爭與消費者法案》發布的第一項具有約束力的義務 。

該行為要求的關鍵要素包括：

• AI 選擇退出權。 出版業者首次能夠阻止其內容被用於 Google 搜尋中的 AI 功能（AI Overviews、AI Mode），同時不失去搜尋能見度 。
• 模型微調退出權。 在聽取諮詢意見後，Google 還必須允許出版業者選擇不讓其內容用於 AI 模型的微調 。
• 強制標註來源。 Google 必須在 AI 生成的搜尋結果中，使用清晰的連結標註出版者內容的來源 。
• 透明度與合規要求。 Google 必須在第一年內每六個月發布一次合規報告，披露關鍵數據與指標，並且在將控制範圍擴展至新的 AI 服務時，必須主動通知出版業者 。
• 實施期限。 Google 有九個月的時間（至 2027 年 3 月）來實施所有變更，但 CMA 期望關鍵控制措施能更早上線 。

CMA 明確考慮過但最終否決了爬蟲分離方案——即強制 Google 為搜尋索引和 AI 資料攝取使用不同的爬蟲——認為此舉「不合比例」。其結論是，這會給 Google 帶來過高的成本，而改進的控制措施同樣有效且更為適當 。

Cloudflare 的立場：爬蟲分離才是真正的解決方案

Cloudflare 處理約全球五分之一網路的流量，該公司向 CMA 提交了詳細的回應，認為這項行為要求雖是向前邁出的一步，但並未解決結構性問題 。其核心論點如下：

• 行為要求將控制權交還給 Google。 出版業者仍然依賴 Google 的專有系統，無法使用第三方封鎖工具（例如 Cloudflare 自家的 Crawl Control），否則可能影響搜尋排名 。
• 爬蟲分離是唯一的技術解決方案。 Google 應被要求使用一個獨立的爬蟲來進行 AI 訓練和資料基礎（grounding），這樣出版業者就能在不影響搜尋的情況下封鎖 AI 爬蟲 。
• 精細化控制仍不足。 CMA 提案中區分「AI 訓練/資料基礎」與「搜尋生成式 AI 功能」的方式，在技術上令人困惑，大多數出版業者難以理解 。
• 問題的規模。 Googlebot 約占所有網路爬蟲活動的 50%，而 Google 的 AI 搜尋所抓取的內容量是 OpenAI 的 3.2 倍 。

Cloudflare 執行長 Matthew Prince 於 2025 年 10 月親自飛往倫敦，向 CMA 遊說此方案，並從那時起持續公開推動「解綁」搜尋與 AI 爬蟲 。Cloudflare 也宣布，從 2026 年 9 月 15 日起，將為相關客戶封鎖對廣告支援頁面的混合用途爬蟲 。

目前的局勢

• CMA 已於 2026 年 6 月 3 日施加該行為要求，首次賦予出版業者 AI 選擇退出的工具 。實質性的控制義務將於 2026 年 12 月 3 日生效，此要求將持續有效至 2030 年 10 月 10 日 。
• Cloudflare 持續主張這項行為要求是不足的，唯有強制性的爬蟲分離才能恢復出版業者真正的自主權 。
• Google 表示正在測試讓出版業者管理 AI 使用的新控制功能，並警告強制分離爬蟲可能會「破壞搜尋」，損害用戶體驗 。Google 自身對 CMA 諮詢的回應則認為，該行為要求在各方面達到了適當的平衡 。
• CMA 保留了未來進一步行動的空間，表示正積極監控 Google 如何實施這些變更，必要時可能採取額外措施 。

關於 Google 爬蟲的這場角力，並不僅僅是英國的故事。CMA 的決定正受到歐盟、美國及其他地區監管機構的密切關注，其結果可能會為搜尋主導權與 AI 訓練的交集問題，制定一個全球性的先例。