클라우드플레어 ‘AI 학습 차단’ 도입…검색 노출은 유지하고 모델 학습만 막는다

클라우드플레어가 2026년 9월 15일 선보인 **‘AI 학습 차단(Disallow AI Training)’**은 퍼블리셔와 사이트 운영자의 선택지를 바꿨다. 이제 조건을 충족한 혼합 용도 크롤러에 대해 검색 결과용 색인은 유지하면서도, 같은 콘텐츠를 AI 모델 학습에 쓰는 것은 거부할 수 있다. 함께 도입된 ‘Accountable’ 표시는 이런 선택을 존중하거나, 이를 존중하겠다는 구체적 이행 약속을 한 봇 운영자를 가리킨다. 5

핵심은 ‘어떤 봇인가’보다 ‘무슨 목적인가’

클라우드플레어는 크롤러 트래픽을 다음 세 가지 목적에 따라 독립적으로 관리하도록 구분했다.

• 검색(Search): 검색 결과에 노출하기 위한 콘텐츠 색인
• 학습(Training): AI 모델 훈련 또는 파인튜닝을 위한 콘텐츠 수집
• 에이전트(Agent): 사용자가 요청한 작업을 수행하는 과정에서의 콘텐츠 조회 10

이 구분이 중요한 이유는 하나의 크롤러 인프라가 복수의 목적에 쓰일 수 있기 때문이다. 과거에는 AI와 연관된 크롤러를 막을 경우 일반 검색에서의 발견 가능성까지 함께 잃을 수 있었다. 이제는 검색 접근은 허용하되, 학습 사용만 거부하는 식의 더 좁고 정밀한 설정이 가능해졌다. 5

‘Accountable’은 무엇을 뜻하나

클라우드플레어는 검색 색인과 모델 학습을 분리하고, 사이트 운영자의 선택을 존중할 수 있는 봇 운영자에게 Accountable 지정을 부여했다. 애플·구글·마이크로소프트는 현재 이 설정을 준수하거나, 클라우드플레어가 밝힌 일정에 따라 준수하기로 약속한 사업자에 포함된다. 5

퍼블리셔 입장에서는 이 구분이 특히 중요하다. 운영사가 AI 학습 용도도 보유한다는 이유만으로, 검색에 유용한 크롤러까지 전면 차단할 필요가 없어지기 때문이다. 즉, 조건을 갖춘 혼합 용도 운영자는 사이트가 학습을 거부한 뒤에도 검색 목적의 페이지 색인을 계속할 수 있다. 5

다만 공개된 발표 자료만으로는 사업자별 실제 적용 시점, 개별 크롤러의 동작, 전체 기술적 약속을 모두 확인하기 어렵다. 사이트 운영자는 모든 사업자가 동일하게 작동한다고 가정하기보다, 직접 봇 설정과 크롤링 데이터를 점검할 필요가 있다.

무엇은 남고, 무엇이 막히나

새 설정의 의도는 Accountable 혼합 용도 운영자에 대해서는 검색 색인을 유지하고, 동일 콘텐츠의 학습 활용은 거부하는 데 있다. 클라우드플레어도 이 기능을 “검색에는 계속 색인되면서 해당 크롤러의 학습은 거부”하는 방법으로 설명한다. 5

제공된 자료에는 크롤러별 전체 허용·차단 목록이 담겨 있지는 않다. 다만 실무적으로는 다음을 확인할 수 있다.

• Accountable 기준을 충족하는 운영자의 검색 접근은 학습을 차단해도 유지될 수 있다. 5
• 학습과 에이전트 카테고리는 검색과 별도로 차단할 수 있다. 10
• 모든 AI 봇을 차단하는 일반 설정은 여전히 가능하다. 다만 일시적으로 전면 제한을 원할 때 쓰는 더 광범위한 방식이며, 목적별 제어보다 정밀도는 낮다. 7

자연 검색 유입에 의존하는 사이트라면, 이번 업데이트가 특히 의미 있다. AI 학습 거부와 검색 노출 유지 사이에서 하나를 반드시 포기해야 하는 상황을 줄였기 때문이다.

광고 기반 페이지와 9월 기본값

클라우드플레어는 앞서 2026년 9월 15일부터 새로 가입하는 도메인의 경우, 광고가 표시되는 페이지에서 학습 및 에이전트 크롤러를 기본 차단하겠다고 발표했다. 10 광고 수익으로 운영되는 콘텐츠는 AI 활용에 더 제한적인 기본값이 필요할 수 있다는 퍼블리셔 중심의 판단이 반영된 정책이다.

그러나 복수 목적을 수행하는 크롤러에서는 기존의 카테고리 차단이 검색 크롤링까지 영향을 줄 위험이 있었다. AI 학습 차단과 Accountable 모델은 바로 이 충돌을 해결하려는 장치다. 광고 기반 콘텐츠를 학습에서 보호하면서도, 크롤러 운영자가 목적 분리를 준수할 수 있다면 검색 색인은 유지할 수 있다. 5

기존 도메인이 어떤 방식으로 전환됐는지, 모든 계정 유형에 어떤 기본값이 적용됐는지는 제공된 자료만으로 완전히 확인되지 않는다. 기존 도메인 운영자는 신규 도메인 기본값을 그대로 추정하지 말고 현재 정책을 직접 검토해야 한다.

Google-Extended와 nosnippet이 남긴 과제

목적별 제어는 검색 활동과 AI 활용을 분리하려는 기존의 퍼블리셔 지시문이 해결하고자 했던 문제와 맞닿아 있다.

클라우드플레어는 구글의 독자적 옵트아웃 수단인 Google-Extended와 nosnippet을 언급하면서, 이 방식들이 퍼블리셔가 통제하려던 모든 콘텐츠 활용을 막지 못했다는 고객 피드백도 있었다고 밝혔다. 22 다만 이 자료만으로 Google-Extended, Applebot-Extended, 빙의 NOARCHIVE 지시문이 현재 각각 어디까지 적용되는지와 정확한 작동 범위를 독립적으로 확인할 수는 없다.

더 분명한 결론은 따로 있다. 전용 옵트아웃이나 Accountable 사업자의 약속은 “검색용으로는 색인하되 학습에는 쓰지 말라”는 지시를 뒷받침할 수 있다. 반면 크롤러 전체를 차단하는 방식만으로는 이 구분을 안정적으로 구현하기 어렵다.

왜 지금 세분화된 제어가 필요한가

클라우드플레어 분석에 따르면 최근 12개월 AI 크롤링의 80%는 학습 목적으로 분류됐다. 검색 목적은 18%, 사용자 요청 작업은 **2%**였다. 회사는 운영자 공개 정보와 업계 자료를 바탕으로 목적을 분류했다고 설명한다. 16

이 비중은 AI를 단순히 허용·차단하는 스위치 하나로 다루기 어려운 이유를 보여준다. 퍼블리셔는 검색 색인은 허용하되 콘텐츠가 학습을 통해 모델 내부에 지속적으로 반영되는 것은 거부할 수 있고, 실시간 에이전트 접근은 또 별도로 판단할 수 있다.

클라우드플레어는 2025년 기준 관리형 robots.txt 기능 또는 관리형 AI 크롤러 차단 규칙을 통해 250만 개가 넘는 웹사이트가 AI 학습을 전면 거부했다고 밝힌 바 있다. 13 이번 9월 제어 기능은 검색 노출도 중요한 이들 운영자에게 한층 세밀한 선택지를 제공한다.

다음 단계는 AI 요약문 통제

클라우드플레어는 2027년 초 퍼블리셔가 AI 생성 요약문을 더 세밀하게 제어할 수 있도록 하겠다는 계획도 밝혔다. 2 다만 최종 제품 구조, 집행 방식, 구체적인 선택지는 아직 확정된 자료로 확인되지 않는다.

현재의 실무적 결론은 간단하다. 검색·학습·에이전트 정책을 각각 분리된 결정으로 검토해야 한다. 자연 검색 유입이 중요하다면 AI 제한이 곧 검색 제한을 뜻한다고 단정할 필요는 없다. 특히 크롤러 운영자가 Accountable로 지정된 경우에는 더욱 그렇다. 5