Google一條爬蟲食兩家茶禮：搜尋同AI綑綁埋，出版人、監管機構同Cloudflare齊聲要求分手

CMA嘅回應：全球首項行為規定

2025年10月，英國CMA認定Google喺一般搜尋同搜尋廣告市場具有「戰略市場地位」（SMS），市場佔有率約九成。到咗2026年6月3日，CMA正式對Google施加出版商行為規定（Publisher Conduct Requirement），係英國《2024年數碼市場、競爭與消費者法》生效以嚟嘅首項約束性規定。

呢項規定嘅主要內容包括：

• 出版商AI退出權：出版商第一次可以防止自己嘅內容用嚟支援Google搜尋嘅AI功能（AI Overviews、AI Mode），同時保留搜尋曝光。
• 微調退出權：跟返諮詢期間嘅意見，Google仲要容許出版商拒絕將內容用於AI模型嘅微調訓練。
• 強制引用來源：Google喺AI生成嘅搜尋結果入面，必須清晰附上連結，標明內容係出自邊個出版商。
• 透明度同合規：Google要喺首年每六個月發布一次合規報告，列明關鍵數據同指標，而且擴展到新AI服務時要主動通知出版商。
• 實施時間表：Google有九個月時間（即係去到2027年3月）全面執行，但CMA期望關鍵控制功能可以更快推出。

CMA考慮過但最終拒絕嘅方案係爬蟲分離——即係強制Google用唔同嘅爬蟲做搜尋索引同AI內容攝取。佢哋認為咁樣做對Google嘅成本太高，而改良控制權係同樣有效同更加合乎比例嘅補救措施。

Cloudflare嘅立場：爬蟲分離先係真正嘅解決方法

Cloudflare處理緊全球大約五分之一網站嘅流量，佢哋向CMA提交咗詳細回應，話呢項規定係向前行咗一步，但解決唔到結構性問題。主要論點如下：

• 規定將控制權交返俾Google：出版商仍然要依賴Google自己嘅系統，冇辦法用第三方封鎖工具（例如Cloudflare自己嘅Crawl Control）而唔影響搜尋排名。
• 爬蟲分離係唯一技術方案：Google應該被要求用一條獨立嘅爬蟲做AI訓練同基礎對照，咁出版商就可以block一條而唔影響另一條。
• 細分控制權唔夠用：CMA方案將「AI訓練/基礎對照」同「搜尋生成式AI功能」分開，技術上好混亂，大部分出版商根本搞唔清楚。
• 問題有幾大：Googlebot佔晒成個互聯網爬蟲活動嘅大約一半，而Google嘅AI搜尋所擷取嘅內容，更加係OpenAI嘅3.2倍。

Cloudflare嘅CEO Matthew Prince喺2025年10月專程飛去倫敦游說CMA支持呢個方案，之後一直公開呼籲要將搜尋同AI爬蟲「拆骨」。Cloudflare更宣布由2026年9月15日起，會主動為相關客戶封鎖混用嘅爬蟲存取有廣告嘅頁面。

而家嘅情況

• CMA喺2026年6月3日頒布咗出版商行為規定，首次賦予出版商AI退出權。實質控制權規定會喺2026年12月3日生效，有效期至2030年10月10日。
• Cloudflare繼續批評呢個規定唔夠，只有強制爬蟲分離先可以畀出版商真正嘅自主權。
• Google就話佢哋正在測試新嘅控制工具，等網站可以管理AI用途，同時警告如果強行分開爬蟲會「破壞搜尋體驗」，影響用戶。Google向CMA嘅回應就話呢項規定已經取得適當平衡。
• CMA留咗一手，話會密切監察Google嘅執行情況，必要時會再出手。

呢場關於Google爬蟲嘅戰爭唔止係英國嘅事。歐盟、美國同其他地區嘅監管機構都喺度睇實CMA嘅決定，結果將會為搜尋壟斷同AI訓練點樣交鋒，定下一個全球先例。