클라우드플레어는 단순히 'AI 봇인지 아닌지'를 구분하는 방식을 폐기하고, 모든 크롤러를 세 가지 용도로 분류하도록 했습니다.
| 분류 | 행동 방식 | 예시 |
|---|---|---|
| 검색(Search) | 나중에 쿼리에 답변하기 위해 콘텐츠를 색인화합니다. 사이트 소유자는 트래픽 유입이나 정당한 보상을 받아야 합니다. | 일반 검색 엔진 크롤러 |
| 에이전트(Agent) | 사용자를 대신해 실시간으로 자동화된 작업을 수행합니다. | ChatGPT-User, Claude, Gemini Agents |
| 학습(Training) | AI 모델을 훈련하거나 미세 조정하기 위해 콘텐츠를 크롤링하며, 데이터는 모델에 영구적으로 흡수됩니다. | 대규모 학습용 크롤러 |
클라우드플레어는 세 가지 용도를 모두 수행하는 기업은 각 목적에 맞는 별도의 식별 가능한 크롤러를 운영할 것을 강력히 권장했습니다.
오는 2026년 9월 15일부터 클라우드플레어는 모든 신규 고객, 기존 고객의 신규 사이트, 그리고 무료 요금제 계정에 대해 다음과 같은 새로운 기본 설정을 적용합니다.
가장 큰 변화는 바로 혼합형 크롤러에 대한 기본 차단입니다. 이 봇들은 검색과 AI 학습을 동시에 수행하기 때문에 사이트 소유자는 어떤 목적으로 데이터가 사용되는지 전혀 알 수 없었습니다. 이제 AI 기업들은 크롤러를 분리하거나, 광고 수익에 기반한 페이지에 접근할 수 없게 됩니다.
클라우드플레어는 정책 개편과 함께 콘텐츠 생산자를 위한 보상 모델도 대폭 변경했습니다. 기존의 크롤링당 지불(Pay Per Crawl) 모델(2025년 발표)에서 사용당 지불(Pay Per Use) 모델로 전환합니다.
이 모델은 아직 '초기 실험' 단계이며, 구체적인 가격이나 수익 분배 비율, 일반 출시 일정은 아직 공개되지 않았습니다.
클라우드플레어-오픈AI의 시범사업, 3단계 크롤러 분류, 혼합형 봇 차단, 페이 퍼 유즈 모델은 모두 하나의 일관된 전략 아래 움직입니다.
클라우드플레어는 단순히 'AI 봇인지 아닌지'를 구분하는 방식을 폐기하고, 모든 크롤러를 세 가지 용도로 분류하도록 했습니다.
| 분류 | 행동 방식 | 예시 |
|---|---|---|
| 검색(Search) | 나중에 쿼리에 답변하기 위해 콘텐츠를 색인화합니다. 사이트 소유자는 트래픽 유입이나 정당한 보상을 받아야 합니다. | 일반 검색 엔진 크롤러 |
| 에이전트(Agent) | 사용자를 대신해 실시간으로 자동화된 작업을 수행합니다. | ChatGPT-User, Claude, Gemini Agents |
| 학습(Training) | AI 모델을 훈련하거나 미세 조정하기 위해 콘텐츠를 크롤링하며, 데이터는 모델에 영구적으로 흡수됩니다. | 대규모 학습용 크롤러 |
클라우드플레어는 세 가지 용도를 모두 수행하는 기업은 각 목적에 맞는 별도의 식별 가능한 크롤러를 운영할 것을 강력히 권장했습니다.
오는 2026년 9월 15일부터 클라우드플레어는 모든 신규 고객, 기존 고객의 신규 사이트, 그리고 무료 요금제 계정에 대해 다음과 같은 새로운 기본 설정을 적용합니다.
가장 큰 변화는 바로 혼합형 크롤러에 대한 기본 차단입니다. 이 봇들은 검색과 AI 학습을 동시에 수행하기 때문에 사이트 소유자는 어떤 목적으로 데이터가 사용되는지 전혀 알 수 없었습니다. 이제 AI 기업들은 크롤러를 분리하거나, 광고 수익에 기반한 페이지에 접근할 수 없게 됩니다.
클라우드플레어는 정책 개편과 함께 콘텐츠 생산자를 위한 보상 모델도 대폭 변경했습니다. 기존의 크롤링당 지불(Pay Per Crawl) 모델(2025년 발표)에서 사용당 지불(Pay Per Use) 모델로 전환합니다.
이 모델은 아직 '초기 실험' 단계이며, 구체적인 가격이나 수익 분배 비율, 일반 출시 일정은 아직 공개되지 않았습니다.
클라우드플레어-오픈AI의 시범사업, 3단계 크롤러 분류, 혼합형 봇 차단, 페이 퍼 유즈 모델은 모두 하나의 일관된 전략 아래 움직입니다.