클라우드플레어의 새 AI 크롤러 기본값: 차단 대상과 검색 노출의 변수

클라우드플레어가 2026년 9월 15일부터 적용한 AI 크롤러 정책의 핵심은 ‘AI를 전부 막는 것’이 아니라, 콘텐츠를 어떤 목적으로 가져가느냐에 따라 접근 권한을 나누는 것이다.

새로 클라우드플레어에 온보딩하는 도메인에서는 광고가 표시된 페이지에 대해 Training(학습) 및 Agent(에이전트) 유형 크롤러가 기본 차단된다. 반면 Search(검색) 유형은 기본 허용된다. 215

이는 검색 유입을 유지하면서도, 모델 학습이나 AI 비서의 실시간 콘텐츠 호출에 쓰이는 자동화 트래픽은 제한하려는 퍼블리셔에게 중요한 구분이다.

기본값: 광고가 있는 페이지에서 학습·에이전트 차단

이번 기본 정책은 클라우드플레어에 새로 온보딩하는 도메인에 적용된다. 클라우드플레어가 페이지에 광고가 표시된다고 판단하면 다음 두 범주의 자동화 트래픽을 차단한다.

• Training(학습): AI 모델을 학습하거나 미세 조정하기 위해 콘텐츠를 수집하는 크롤러
• Agent(에이전트): 채팅 콘텐츠 가져오기 봇이나 브라우저 사용 에이전트처럼, 이용자를 대신해 실시간으로 작업하는 자동화 트래픽 13

반대로 Search(검색) 는 기본 허용이다. 클라우드플레어는 이를 나중에 질의에 답할 수 있도록 콘텐츠를 크롤링·색인하는 행위로 정의하며, 이런 트래픽에는 사이트 운영자가 추천 유입이나 그에 상응하는 공정한 보상을 기대할 수 있다고 설명한다. 13

즉, 모든 AI 접근을 일괄 금지하는 정책이 아니다. 차단 대상은 Training과 Agent이고, 적용 범위도 광고가 표시된 페이지로 한정된다. 215

어떤 클라우드플레어 고객이 대상인가

공식 문서는 새 기본값이 클라우드플레어 네트워크에 새로 온보딩하는 도메인에 적용된다고 명시한다. 215 관련 보도에 따르면 기존 고객이 새로 추가하는 사이트, 그리고 설정을 직접 변경하지 않은 무료 요금제 계정도 적용 범위에 포함될 수 있다. 23

이미 운영 중인 모든 도메인이 자동으로 같은 정책을 받는다고 단정해서는 안 된다. 실제 적용 결과는 도메인의 온보딩 상태, 요금제, 기존 설정에 따라 달라질 수 있다. 따라서 해당 존(zone)의 AI 크롤러 제어 설정을 직접 확인하는 것이 가장 안전하다. 23

사이트 운영자가 제어할 수 있는 세 가지 트래픽

클라우드플레어는 AI 관련 봇을 하나의 범주로 묶지 않고, 동작 방식에 따라 세 유형으로 구분해 각각 제어할 수 있도록 했다. 13

구분	포함되는 동작	광고 표시 페이지에서 새 도메인의 기본값
Search	나중에 질문에 답하기 위해 콘텐츠를 크롤링하거나 색인	허용
Training	모델 학습 또는 미세 조정을 위한 콘텐츠 수집	차단
Agent	이용자를 대신해 실시간으로 수행하는 자동화 작업	차단

각 유형마다 사이트 운영자는 다음 중 하나를 선택할 수 있다.

1. 허용
2. 광고가 표시된 페이지에서만 차단
3. 모든 페이지에서 차단 23

예를 들어 검색 색인은 유지하면서 Training 크롤러만 사이트 전체에서 차단하거나, 수익화 페이지에만 더 좁은 차단 규칙을 적용할 수 있다.

가장 주의할 점: 복합 용도 크롤러와 SEO

크롤러의 분류가 반드시 하나의 동작으로만 끝나지는 않는다. 클라우드플레어는 Search와 Training을 함께 수행하는 크롤러를 모든 동작 기준으로 평가하며, 적용 가능한 규칙 가운데 가장 엄격한 규칙이 접근 권한을 결정한다고 설명한다. 2615

따라서 Training을 차단한 사이트에서는 클라우드플레어가 Search와 Training을 겸하는 것으로 보는 크롤러가 일반적인 검색 크롤링 접근권까지 잃을 수 있다. 문서와 관련 보도는 이 규칙과 관련된 복합 용도 크롤러의 예로 Googlebot, Applebot, BingBot을 든다. 26

다시 말해 Search를 허용했다고 해서, 학습 기능도 가진 봇의 검색 접근이 자동 보장되는 것은 아니다. 사이트 전체에 Training 차단을 적용하려는 운영자라면 검색 색인 및 유입에 미칠 수 있는 영향을 먼저 검토해야 한다. 24

기존 ‘Block AI bots’ 설정은 어떻게 되나

클라우드플레어는 AI 학습을 차단하는 설정에는 기존 ‘Block AI bots’ 옵션도 포함되며, 이 설정 역시 Search와 Training을 겸하는 크롤러에 적용된다고 안내했다. 2

9월 정책 적용 뒤 보도된 내용에 따르면, 더 새로운 ‘Disallow AI Training’ 방식은 학습 거부 의사를 robots.txt에 표시하면서도 크롤러가 ‘Accountable’로 지정된 경우 Googlebot·Applebot·BingBot의 검색용 크롤링은 유지하려는 취지다. 다만 실제 동작과 이전 설정의 이전 경로는 선택한 제어 항목에 따라 달라질 수 있다. 관리자는 예전 토글 이름만 믿기보다 클라우드플레어 대시보드에 표시되는 현재 설정을 확인해야 한다. 4

왜 검색과 AI 콘텐츠 이용을 분리하나

퍼블리셔의 문제의식은 비교적 분명하다. 전통적인 검색 엔진은 페이지를 크롤링하고 색인한 뒤 이용자를 원문 사이트로 보내는 구조였다. 반면 생성형 AI 서비스는 콘텐츠를 모델 학습에 쓰거나 자체 인터페이스에서 답변으로 제시해, 원문 사이트에 직접적인 방문을 돌려주지 않을 수 있다.

클라우드플레어는 Search를 추천 유입 또는 이에 상응하는 보상을 기대할 수 있는 트래픽으로 설명한다. Training과 Agent는 콘텐츠를 수집하거나 실시간 작업에 활용하는 다른 방식의 사용 사례다. 13

이 정책이 던지는 질문은 단순히 ‘AI 봇인가’가 아니다. 해당 크롤러가 콘텐츠 발견을 돕고 사이트에 가치를 되돌려 주는지, 아니면 주로 모델 학습이나 실시간 AI 작업을 위해 콘텐츠를 소비하는지에 있다. 13

사이트 운영자가 확인할 사항

설정을 바꾸기 전에는 유형별 영향을 점검하는 편이 좋다.

• 검색 색인과 잠재적인 추천 유입이 중요하다면 Search 허용을 유지한다.
• 수익화한 페이지를 우선 보호하려면 광고 표시 페이지에서 차단을 검토한다.
• 모든 페이지에서 차단은 대상 크롤러가 Search와 Training을 함께 수행하는지 확인한 뒤 적용한다.
• Google·Apple·Bing 검색 노출이 중요하다면 기존 Block AI bots 설정과 현재 대시보드의 정책을 다시 살핀다. 236

클라우드플레어의 9월 기본값은 퍼블리셔에게 더 세분화된 제어권을 준다. 그러나 복합 용도 크롤러의 분류 방식 때문에 이는 AI 정책 설정인 동시에, 검색 노출과 SEO를 좌우할 수 있는 운영 결정이기도 하다.