하나의 크롤러가 검색과 AI를 동시에 먹여 살린다…'옵트아웃' 전쟁의 전말

영국 CMA의 대응: 세계 최초의 행동 요구

2025년 10월, 영국 경쟁시장청(CMA, Competition and Markets Authority)은 구글이 일반 검색 및 검색 광고 분야에서 전략적 시장 지위(SMS, Strategic Market Status)를 보유하고 있다고 지정했다. 영국 검색 시장의 약 90%를 점유하고 있기 때문이다 . 2026년 6월 3일, CMA는 **퍼블리셔 행동 요구(CR, Publisher Conduct Requirement)**를 부과했다. 이는 2024년 영국 디지털 시장, 경쟁 및 소비자법(Digital Markets, Competition and Consumers Act 2024)에 따른 최초의 구속력 있는 의무이다 .

CR의 주요 내용은 다음과 같다.

• 퍼블리셔 AI 옵트아웃. 퍼블리셔는 검색 가시성을 포기하지 않고도 자신의 콘텐츠가 구글 검색의 AI 기능(AI Overviews, AI Mode)에 사용되는 것을 처음으로 막을 수 있다 .
• 파인튜닝 옵트아웃. 협의 피드백을 반영하여 구글은 퍼블리셔가 AI 모델 파인튜닝에 콘텐츠가 사용되는 것도 거부할 수 있도록 해야 한다 .
• 의무적 출처 표시. 구글은 AI 생성 검색 결과에서 퍼블리셔 콘텐츠에 대한 명확한 링크를 제공해야 한다 .
• 투명성 및 준수. 구글은 첫 해 동안 6개월마다 주요 데이터와 지표가 포함된 준수 보고서를 게시해야 하며, 새로운 AI 서비스로 통제 범위를 확장할 때는 사전에 퍼블리셔에 통지해야 한다 .
• 구현 시한. 구글은 2027년 3월까지 모든 변경 사항을 구현해야 하지만, CMA는 주요 통제 기능이 더 일찍 제공될 것으로 기대한다 .

CMA는 크롤러 분리(검색 색인용과 AI 수집용으로 다른 크롤러 사용을 강제하는 방안)를 명시적으로 검토했지만, 과도한 조치라고 판단하여 기각했다. 구글에 드는 비용이 훨씬 더 클 것이며, 개선된 통제 기능이 동등하게 효과적이고 더 비례적인 구제책이라고 결론지었다 .

클라우드플레어의 입장: 크롤러 분리만이 유일한 해결책

웹 트래픽의 약 5분의 1을 처리하는 클라우드플레어는 CMA 협의에 상세한 의견서를 제출하며 CR이 한 걸음 전진한 것이지만 구조적 문제를 해결하지는 못한다고 주장했다 . 핵심 주장은 다음과 같다.

• CR은 통제권을 다시 구글에 위임한다. 퍼블리셔는 구글의 독점 시스템에 의존해야 하며, 검색 순위를 위험에 빠뜨리지 않고서는 타사 차단 도구(클라우드플레어 자체 크롤 컨트롤 등)를 사용할 수 없다 .
• 크롤러 분리가 유일한 기술적 해결책이다. 구글은 AI 학습 및 근거 자료 수집을 위해 별도의 크롤러를 사용하도록 강제되어야 하며, 그래야 퍼블리셔가 하나를 차단해도 다른 하나에 영향을 주지 않는다 .
• 세분화된 통제만으로는 부족하다. CMA가 제안한 'AI 학습/근거 자료'와 '검색 생성형 AI 기능' 간의 구분은 기술적으로 혼란스러워 대부분의 퍼블리셔가 이해하기 어렵다 .
• 문제의 규모. Googlebot은 전체 웹 크롤의 약 50%를 차지하며, 구글의 AI 검색은 OpenAI보다 3.2배 더 많은 콘텐츠를 긁어간다 .

클라우드플레어의 매튜 프린스 CEO는 2025년 10월 런던을 직접 방문하여 CMA에 이 접근 방식을 로비했으며, 이후 공개적으로 검색 크롤러와 AI 크롤러의 '분리'를 촉구해왔다 . 또한 클라우드플레어는 2026년 9월 15일부터 관련 고객의 광고 지원 페이지에서 이중 목적 크롤러를 차단할 것이라고 발표했다 .

현재 상황

• CMA는 2026년 6월 3일 CR을 부과하여 퍼블리셔에게 처음으로 AI 옵트아웃 도구를 제공했다 . 실질적인 통제 의무는 2026년 12월 3일부터 발효되며, 이 요구 사항은 2030년 10월 10일까지 유효하다 .
• 클라우드플레어는 CR이 불충분하며 진정한 퍼블리셔 자율성을 회복하려면 크롤러 분리만이 유일한 해결책이라고 계속 주장하고 있다 .
• 구글은 퍼블리셔가 AI 사용을 관리할 수 있는 새로운 통제 기능을 테스트 중이며, 크롤러 분리를 강제하면 '검색 서비스가 망가져' 사용자 경험을 해칠 수 있다고 경고했다 . 구글은 CR이 적절한 균형을 이룬다는 입장이다 .
• CMA는 추가 조치 가능성을 열어두고 있으며, 구글이 이러한 변경 사항을 어떻게 구현하는지 적극적으로 모니터링하고 필요시 추가 조치를 취할 수 있다고 밝혔다 .

구글 크롤러를 둘러싼 이 싸움은 단지 영국만의 이야기가 아니다. CMA의 결정은 EU, 미국 및 기타 국가의 규제 기관들이 주목하고 있으며, 그 결과는 검색 독점과 AI 학습이 교차하는 지점에 대한 글로벌 선례가 될 수 있다.