AI 검색의 미래를 바꾼다: 클라우드플레어, 오픈AI와 손잡고 네트워크 데이터로 검색 효율 혁신

새로운 3단계 AI 크롤러 분류 체계

클라우드플레어는 단순히 'AI 봇인지 아닌지'를 구분하는 방식을 폐기하고, 모든 크롤러를 세 가지 용도로 분류하도록 했습니다.^TB

클라우드플레어는 세 가지 용도를 모두 수행하는 기업은 각 목적에 맞는 별도의 식별 가능한 크롤러를 운영할 것을 강력히 권장했습니다.^T

더 엄격해진다: 2026년 9월 15일부터 적용되는 새로운 기본 설정

오는 2026년 9월 15일부터 클라우드플레어는 모든 신규 고객, 기존 고객의 신규 사이트, 그리고 무료 요금제 계정에 대해 다음과 같은 새로운 기본 설정을 적용합니다.^TBB

• 학습용 크롤러: 광고 게재 페이지에서 기본 차단됩니다.
• 에이전트 크롤러: 광고 게재 페이지에서 기본 차단됩니다.
• 혼합형 크롤러 (검색, 학습, 에이전트 기능을 하나의 패스로 결합한 봇): 광고가 있는 모든 페이지에서 기본 차단됩니다.^TB
• 검색 전용 크롤러: 사이트가 기존 검색에서 계속 발견될 수 있도록 기본 허용됩니다.

가장 큰 변화는 바로 혼합형 크롤러에 대한 기본 차단입니다. 이 봇들은 검색과 AI 학습을 동시에 수행하기 때문에 사이트 소유자는 어떤 목적으로 데이터가 사용되는지 전혀 알 수 없었습니다. 이제 AI 기업들은 크롤러를 분리하거나, 광고 수익에 기반한 페이지에 접근할 수 없게 됩니다.^TB

'크롤링'에서 '사용'으로: 새로운 보상 모델 '페이 퍼 유즈(Pay Per Use)'

클라우드플레어는 정책 개편과 함께 콘텐츠 생산자를 위한 보상 모델도 대폭 변경했습니다. 기존의 크롤링당 지불(Pay Per Crawl) 모델(2025년 발표)에서 사용당 지불(Pay Per Use) 모델로 전환합니다.^BB

• 페이 퍼 크롤(Pay Per Crawl): AI 기업이 콘텐츠를 크롤링할 때마다 비용을 청구하는 방식이었습니다.^B
• 페이 퍼 유즈(Pay Per Use): 콘텐츠가 단순히 크롤링되는 것이 아니라, 실제로 AI 답변을 생성하는 데 사용될 때만 비용을 지불하는 방식입니다.^B 마치 전기세처럼, AI가 실제로 창출한 가치에 대해서만 비용을 지불하는 '미터링 유틸리티(measured utility)' 개념입니다.

이 모델은 아직 '초기 실험' 단계이며, 구체적인 가격이나 수익 분배 비율, 일반 출시 일정은 아직 공개되지 않았습니다.^B

'더 스마트한 AI 검색'이라는 하나의 목표

클라우드플레어-오픈AI의 시범사업, 3단계 크롤러 분류, 혼합형 봇 차단, 페이 퍼 유즈 모델은 모두 하나의 일관된 전략 아래 움직입니다.^TBB

1. 투명성 강화: 크롤러의 용도를 분리해 사이트 소유자가 각 봇의 행동을 명확히 파악할 수 있게 합니다.
2. 소유자 권리 보장: 가장 침해적인 행위(학습, 에이전트, 혼합형)는 기본 차단하고, 검색 가능성(search discoverability)은 유지합니다.
3. 공정한 보상 체계: '무료 크롤링 후 트래픽 유입'이라는 불공평한 거래를 깨고, AI 답변 생성에 기여한 콘텐츠에 대해 정당한 보상을 지급합니다.
4. AI 검색 고도화: 오픈AI와의 협력을 통해 불필요한 크롤링을 줄이고, 최신 정보를 기반으로 더 정확한 답변을 제공함으로써 사용자 경험을 극대화합니다. 이는 결국 모든 참여자에게 이익이 되는 선순환 구조를 만듭니다.