클라우드플레어 9월 15일 마감: AI 크롤러 새 규칙이 웹을 어떻게 바꾸는가

핵심 변화: 2026년 9월 15일 데드라인

클라우드플레어는 2026년 9월 15일을 AI 기업들이 자신들의 웹 크롤러를 수집된 콘텐츠의 사용 목적에 따라 별도로 식별된 카테고리로 분리해야 하는 기한으로 설정했습니다. 자신의 목적을 명확히 선언하지 않거나, 검색 색인 생성과 AI 학습을 하나의 사용자 에이전트로 묶는 크롤러는 클라우드플레어 트래픽, 특히 광고를 게재하는 페이지에서 기본 차단됩니다 .

이 날짜 이후 새로운 클라우드플레어 고객과 새로 생성된 웹사이트는 검색 크롤러만 허용하고, AI 학습 및 AI 에이전트 크롤러는 퍼블리셔가 명시적으로 동의하지 않는 한 차단하는 설정이 기본값으로 적용됩니다 . 기존 무료 요금제 사용자도 별도로 설정을 변경하지 않으면 같은 기본 설정으로 자동 전환됩니다 .

1. 새로운 기본 설정: 옵트아웃에서 옵트인으로

기존 웹은 '옵트아웃(opt-out)' 규범 아래 운영되었습니다. 즉, 웹사이트가 robots.txt를 통해 명시적으로 차단하지 않는 한 모든 크롤러가 접근을 허용받았습니다. 클라우드플레어는 이를 AI 크롤러에 한해 '옵트인(opt-in)' 방식으로 전환했습니다 .

• 신규 고객 및 신규 사이트: AI 학습 또는 에이전트 작업에 사용되는 크롤러는 기본 차단됩니다. 퍼블리셔가 수동으로 활성화해야 합니다 .
• 기존 고객: 설정이 자동으로 변경되지는 않지만, 소유자는 클라우드플레어 대시보드를 통해 새로운 3가지 카테고리 제어 방식으로 전환할 것을 강력히 권장받습니다 .
• 광고 게재 페이지: 검색 색인 생성과 AI 학습 스크래핑을 동시에 수행하는 혼합 사용 크롤러는 기본 차단됩니다. 기본 정책이 이러한 레이블이 없거나 혼합된 트래픽을 학습/에이전트 트래픽으로 간주하기 때문입니다 .

2. 3가지 크롤러 카테고리 시스템: 검색(Search), 에이전트(Agent), 트레이닝(Training)

클라우드플레어는 퍼블리셔가 세 가지 봇 동작에 대해 독립적인 규칙을 설정할 수 있는 새로운 분류 체계를 도입했습니다. 이 기능은 무료 요금제 사용자를 포함한 모든 고객이 사용할 수 있습니다 :

퍼블리셔는 이제 '검색 허용, 트레이닝 차단, 에이전트 차단'과 같은 정책을 하나의 대시보드에서 설정할 수 있으며, 무료 요금제에서도 가능합니다 . 이는 사용자 에이전트별로 전면 허용/차단만 가능했던 기존 robots.txt보다 훨씬 세분화된 제어입니다. 클라우드플레어 자체 문서는 검색(Search)을 사이트 소유자가 "트래픽 유입이나 그에 상응하는 공정한 보상을 기대해야 하는 활동"으로 정의합니다 .

3. Pay Per Crawl에서 Pay Per Use로의 전환

클라우드플레어는 2025년 7월 Pay Per Crawl을 비공개 베타 형태로 처음 도입했습니다. 이는 퍼블리셔가 HTTP 402("Payment Required") 상태 코드를 사용하여 AI 기업에 요청당 비용을 청구할 수 있는 일종의 마켓플레이스였습니다 . 이 시스템을 통해 퍼블리셔는 승인되지 않은 크롤러가 콘텐츠를 요청할 때 가격 정보와 함께 402 응답을 반환할 수 있었습니다 .

2026년 4월(클라우드플레어의 Agents Week, 4월 13-17일)에는 이 모델이 더 포괄적인 Pay Per Use 방식으로 발전했습니다. 요청당 과금 체계는 모든 요금제에서 사용 가능한 단일 운영자 콘솔로 통합되었습니다 . 주요 차이점은 다음과 같습니다:

• Pay Per Crawl (2025년 베타): 요청당 소액 결제 모델 — 모든 크롤링 요청이 HTTP 402 응답을 통해 결제 협상을 트리거했습니다 .
• Pay Per Use (2026년 정식 버전): 더 유연한 시스템으로, 퍼블리셔가 정액 라이선스 비용, 요청당 요금, 구독형 접근 등 다양한 조건을 설정할 수 있습니다. AI 기업은 클라우드플레어의 봇 관리 및 WAF 규칙을 통해 프로그래밍 방식으로 접근을 관리할 수 있습니다 .

스택 오버플로우(Stack Overflow)의 구현 사례(2026년 2월)는 이 시스템의 실제 운영 버전을 보여줍니다. 그들의 데이터 라이선싱 프로그램은 클라우드플레어의 봇 분류를 사용하여 승인되지 않은 크롤러에 402 응답을 제공하며, 개별 계약 없이 대규모로 수익을 창출하고 있습니다 .

이것이 생태계를 어떻게 바꾸는가

퍼블리셔에게

• 새로운 수익원: AI 기업들은 이제 클라우드플레어를 사용하는 사이트의 학습 데이터에 대해 비용을 지불해야 합니다. 더 이상 공짜로 스크래핑할 수 없습니다 .
• 세밀한 통제권: 퍼블리셔는 광고 트래픽을 유발하는 검색 크롤러는 유지하면서, 학습/에이전트 봇은 차단하여 광고 수익과 콘텐츠 가치를 동시에 보호할 수 있습니다 .
• 기본 보호: 맞춤형 봇 관리에 비용을 들일 수 없었던 중소 규모 퍼블리셔도 이제 기업급 AI 크롤러 차단 기능을 기본으로 제공받게 됩니다 .

AI 기업에게

• 학습 데이터 비용 상승: 클라우드플레어 네트워크(전체 웹의 약 20%)에 있는 사이트들에 대한 '무료 점심'은 끝났습니다 . AI 기업은 퍼블리셔에게 비용을 지불하거나 라이선스 계약을 체결해야 합니다.
• 크롤러 정체성 위기: AI 기업은 9월 15일까지 검색, 학습, 에이전트 트래픽을 별도의 식별 가능한 사용자 에이전트로 분리하는 크롤러 인프라를 개편해야 합니다. 그렇지 않으면 완전히 차단될 위험이 있습니다 .
• 구글이 가장 큰 타격: 구글의 Googlebot은 역사적으로 검색 색인 생성과 Gemini/SGE를 위한 AI 학습이라는 두 가지 목적을 동시에 수행해 왔습니다. 클라우드플레어의 정책은 구글로 하여금 크롤러를 분리하거나, 광고를 게재하는 클라우드플레어 페이지에서 자사의 Googlebot이 차단되는 위험을 감수하도록 강제합니다 .

업계 전반에 미치는 영향

• 표준 설정 움직임: 클라우드플레어는 사실상 AI 크롤러 에티켓에 대한 새로운 프로토콜을 정의하고 있습니다. 다른 CDN 및 호스팅 제공업체들도 이 흐름을 따를 가능성이 높습니다 .
• 콘텐츠 시그널 정책: 클라우드플레어는 페이지 수준의 접근 권한을 넘어, 퍼블리셔가 자신의 콘텐츠가 검색 색인 생성, AI 학습, AI 에이전트 중 어떤 용도로 사용될 수 있는지 신호를 보낼 수 있도록 하는 기계 판독 가능한 새로운 지침 세트를 robots.txt에 도입했습니다 . 이는 기존 robots.txt를 크롤링 허가를 넘어 접근 후 사용까지 규정하는 확장입니다.