클라우드플레어가 2026년 9월 15일 공개한 ‘Disallow AI Training’(AI 학습 거부) 설정은 콘텐츠 운영자들이 오랫동안 마주해 온 선택지를 바꾸려는 기능이다. AI 기업의 모델 학습에는 콘텐츠 사용을 허용하지 않되, 일반 검색 결과에서 사라지지는 않도록 하겠다는 것이다. 720

핵심은 ‘검색용 크롤링’과 ‘학습용 수집’의 분리

기존의 광범위한 Block AI Bots 방식 대신 클라우드플레어는 크롤러 트래픽을 다음 세 가지 용도로 나눠 제어하도록 했다.

• Search: 검색 색인을 위한 크롤링
• Training: AI 모델의 학습 또는 미세 조정에 콘텐츠를 쓰기 위한 수집
• Agent: 이용자를 대신해 작동하는 AI 에이전트의 접근

이에 따라 운영자는 모든 봇을 일괄 차단하는 대신, 검색은 허용하고 학습과 에이전트 접근은 제한하는 식으로 목적별 정책을 정할 수 있다. 새 제어 기능과 권장 설정은 9월 15일부터 제공됐다. 1320

검색 노출을 유지하면서 모델 학습만 거부하려는 사이트에 해당하는 선택지가 바로 Disallow AI Training이다. 이 설정은 클라우드플레어의 봇 정책 및 robots.txt 도구를 통해 학습 거부 의사를 게시하고, 학습 트래픽에는 차단 규칙을 적용한다. 167

검색 노출은 어떻게 유지되나

일부 크롤러는 검색과 AI 관련 활용을 함께 수행한다. 예컨대 Googlebot, Applebot, Bingbot은 검색 색인을 위해 사이트를 수집할 수 있다. 클라우드플레어는 이 검색 기능과 모델 학습을 별도 용도로 본다.

Disallow AI Training을 활성화하면 다음과 같이 작동한다.

• Accountable(책임 이행) 지정을 받은 혼합 용도 크롤러는 검색 색인을 위해 계속 콘텐츠에 접근할 수 있다.
• 해당 크롤러의 운영사는 사이트의 AI 학습 거부 의사를 준수해야 한다.
• 전용 학습 크롤러와 Accountable 지정을 받지 못한 혼합 용도 크롤러는 학습 거부 정책에 따라 차단된다. 71724

이는 더 강한 Block 옵션과 다르다. 전체 차단을 선택하면 Googlebot·Applebot·Bingbot의 검색 크롤링까지 막힐 수 있다. 검색 유입을 유지하는 것이 우선이라면 Block은 맞지 않는 선택일 수 있다. 1728

‘Accountable’ 지정이란

Accountable은 검색과 AI 관련 용도를 함께 가진 크롤러의 운영사가 검색 크롤링과 AI 활용을 분리하기 위한 클라우드플레어 기준을 충족했거나, 정해진 일정에 따라 충족하겠다고 약속했음을 나타내는 지정이다. Apple·Google·Microsoft가 첫 지정 사업자다. 72023

이 지정이 사이트에 포괄적인 AI 사용 허가가 부여됐다는 뜻은 아니다. 운영자가 Disallow AI Training을 선택했을 때, 해당 혼합 용도 크롤러에 검색 접근만 유지하도록 하는 판단 기준이다.

Accountable 지정을 위한 네 가지 요건

클라우드플레어가 제시한 요건은 다음과 같다.

1. robots.txt 또는 이에 준하는 표준을 통한 AI 학습 거부 수단 제공
2. 현재 제공 중이거나 정해진 일정 내 제공을 약속한 AI 생성 검색 요약 거부 수단
3. 콘텐츠가 검색과 학습에 어떻게 쓰이는지 확인할 수 있는 URL 단위 가시성
4. 학습을 거부해도 일반 검색 접근이 사라지지 않는다는 공개 확인 2324

요지는 사이트 운영자가 선호를 표시할 수 있어야 할 뿐 아니라, 그 선호가 실제로 지켜지는지 확인할 수 있는 투명성도 필요하다는 데 있다.

어떤 크롤러는 검색에 허용되고, 어떤 크롤러는 막히나

Disallow AI Training에서 판단 기준은 해당 봇이 단순히 AI 기업 소속인지가 아니다. 검색과 학습을 함께 수행하는 크롤러인지, 그리고 운영사가 Accountable 지정을 받았는지가 중요하다.

크롤러 유형	Disallow AI Training 적용 시 처리
Googlebot·Applebot·Bingbot 등 Accountable 혼합 용도 검색 크롤러	검색 색인을 위한 접근 유지 가능 1722
전용 AI 학습 크롤러	차단 1722
Accountable 지정을 받지 않은 혼합 용도 크롤러	학습 접근 차단 24

즉, 클라우드플레어는 모든 AI 봇을 같은 방식으로 다루기보다, 운영사가 학습 거부를 준수할 책임과 투명성을 갖춘 경우에 한해 검색 역할을 남기는 모델을 제시했다.

Google·Apple·Bing 관련 제어 방식

클라우드플레어의 Bot Preference Sync는 대시보드에서 설정한 Search·Agent·Training 정책이 사이트의 robots.txt에도 반영되도록 동기화하는 기능이다. 16

Google과 Apple은 검색 크롤러와 학습 관련 제어 표식이 분리돼 있다.

• Google-Extended는 Google의 학습 관련 거부 토큰이다. Googlebot과 별개이므로, 이를 통해 학습 제한 의사를 표시하면서 Google 검색 색인을 반드시 차단하지는 않을 수 있다. 27
• Applebot-Extended도 Apple의 AI 학습 관련 제어 표식으로, Applebot의 검색 역할과 AI 학습 거부를 분리할 수 있다. 1727
• Bingbot은 클라우드플레어의 Accountable 모델 아래 검색용 접근을 유지할 수 있다. 다만 Accountable은 모든 기능이 모든 운영사에 이미 제공된다는 뜻이 아니라, 일부 기능은 정해진 일정에 따른 이행 약속을 포함할 수 있다. 723

새 광고 지원 도메인의 기본 설정

클라우드플레어는 2026년 9월 15일부터 클라우드플레어에 새로 등록하는 도메인 가운데 광고가 표시되는 페이지에 대해 Training과 Agent 범주를 기본 차단한다고 예고했다. 13

이는 사이트 전체의 검색 접근을 일괄 차단하는 기본값이 아니다. 또한 제공된 자료만으로는 기존 고객의 모든 설정이 어떤 규칙으로 자동 이전됐는지 단정하기 어렵다. 기존 사이트 운영자는 과거 설정이 자동으로 바뀌었을 것이라 가정하기보다, 도메인별 Search·Training·Agent 정책을 직접 점검하는 편이 안전하다.

운영자가 확인할 점

실무적으로는 다음처럼 판단할 수 있다.

• 검색 발견 가능성은 유지하면서 모델 학습을 거부하려면 Disallow AI Training을 선택한다.
• 검색 크롤링까지 제한할 의사가 있을 때만 더 광범위한 Block 정책을 검토한다.
• 광고가 있는 페이지나 기존 봇 규칙이 적용된 도메인은 Search·Training·Agent 설정을 각각 확인한다. 131720

이 기능이 크롤러 운영사의 준수 여부를 자동으로 보장하는 것은 아니다. 다만 검색 색인은 허용하고 AI 학습은 명시적으로 거부하는 정책 경계를 더 분명히 만들었다는 점이 이번 변화의 핵심이다. 단, 검색 접근 유지 여부는 해당 운영사가 클라우드플레어의 Accountable 조건을 충족하는지에 달려 있다. 724

클라우드플레어가 2026년 9월 15일 공개한 ‘Disallow AI Training’(AI 학습 거부) 설정은 콘텐츠 운영자들이 오랫동안 마주해 온 선택지를 바꾸려는 기능이다. AI 기업의 모델 학습에는 콘텐츠 사용을 허용하지 않되, 일반 검색 결과에서 사라지지는 않도록 하겠다는 것이다. 720

핵심은 ‘검색용 크롤링’과 ‘학습용 수집’의 분리

기존의 광범위한 Block AI Bots 방식 대신 클라우드플레어는 크롤러 트래픽을 다음 세 가지 용도로 나눠 제어하도록 했다.

• Search: 검색 색인을 위한 크롤링
• Training: AI 모델의 학습 또는 미세 조정에 콘텐츠를 쓰기 위한 수집
• Agent: 이용자를 대신해 작동하는 AI 에이전트의 접근

이에 따라 운영자는 모든 봇을 일괄 차단하는 대신, 검색은 허용하고 학습과 에이전트 접근은 제한하는 식으로 목적별 정책을 정할 수 있다. 새 제어 기능과 권장 설정은 9월 15일부터 제공됐다. 1320

검색 노출을 유지하면서 모델 학습만 거부하려는 사이트에 해당하는 선택지가 바로 Disallow AI Training이다. 이 설정은 클라우드플레어의 봇 정책 및 robots.txt 도구를 통해 학습 거부 의사를 게시하고, 학습 트래픽에는 차단 규칙을 적용한다. 167

검색 노출은 어떻게 유지되나

일부 크롤러는 검색과 AI 관련 활용을 함께 수행한다. 예컨대 Googlebot, Applebot, Bingbot은 검색 색인을 위해 사이트를 수집할 수 있다. 클라우드플레어는 이 검색 기능과 모델 학습을 별도 용도로 본다.

Disallow AI Training을 활성화하면 다음과 같이 작동한다.

• Accountable(책임 이행) 지정을 받은 혼합 용도 크롤러는 검색 색인을 위해 계속 콘텐츠에 접근할 수 있다.
• 해당 크롤러의 운영사는 사이트의 AI 학습 거부 의사를 준수해야 한다.
• 전용 학습 크롤러와 Accountable 지정을 받지 못한 혼합 용도 크롤러는 학습 거부 정책에 따라 차단된다. 71724

이는 더 강한 Block 옵션과 다르다. 전체 차단을 선택하면 Googlebot·Applebot·Bingbot의 검색 크롤링까지 막힐 수 있다. 검색 유입을 유지하는 것이 우선이라면 Block은 맞지 않는 선택일 수 있다. 1728

‘Accountable’ 지정이란

Accountable은 검색과 AI 관련 용도를 함께 가진 크롤러의 운영사가 검색 크롤링과 AI 활용을 분리하기 위한 클라우드플레어 기준을 충족했거나, 정해진 일정에 따라 충족하겠다고 약속했음을 나타내는 지정이다. Apple·Google·Microsoft가 첫 지정 사업자다. 72023

이 지정이 사이트에 포괄적인 AI 사용 허가가 부여됐다는 뜻은 아니다. 운영자가 Disallow AI Training을 선택했을 때, 해당 혼합 용도 크롤러에 검색 접근만 유지하도록 하는 판단 기준이다.

Accountable 지정을 위한 네 가지 요건

클라우드플레어가 제시한 요건은 다음과 같다.

1. robots.txt 또는 이에 준하는 표준을 통한 AI 학습 거부 수단 제공
2. 현재 제공 중이거나 정해진 일정 내 제공을 약속한 AI 생성 검색 요약 거부 수단
3. 콘텐츠가 검색과 학습에 어떻게 쓰이는지 확인할 수 있는 URL 단위 가시성
4. 학습을 거부해도 일반 검색 접근이 사라지지 않는다는 공개 확인 2324

요지는 사이트 운영자가 선호를 표시할 수 있어야 할 뿐 아니라, 그 선호가 실제로 지켜지는지 확인할 수 있는 투명성도 필요하다는 데 있다.

어떤 크롤러는 검색에 허용되고, 어떤 크롤러는 막히나

Disallow AI Training에서 판단 기준은 해당 봇이 단순히 AI 기업 소속인지가 아니다. 검색과 학습을 함께 수행하는 크롤러인지, 그리고 운영사가 Accountable 지정을 받았는지가 중요하다.

크롤러 유형	Disallow AI Training 적용 시 처리
Googlebot·Applebot·Bingbot 등 Accountable 혼합 용도 검색 크롤러	검색 색인을 위한 접근 유지 가능 1722
전용 AI 학습 크롤러	차단 1722
Accountable 지정을 받지 않은 혼합 용도 크롤러	학습 접근 차단 24

즉, 클라우드플레어는 모든 AI 봇을 같은 방식으로 다루기보다, 운영사가 학습 거부를 준수할 책임과 투명성을 갖춘 경우에 한해 검색 역할을 남기는 모델을 제시했다.

Google·Apple·Bing 관련 제어 방식

클라우드플레어의 Bot Preference Sync는 대시보드에서 설정한 Search·Agent·Training 정책이 사이트의 robots.txt에도 반영되도록 동기화하는 기능이다. 16

Google과 Apple은 검색 크롤러와 학습 관련 제어 표식이 분리돼 있다.

• Google-Extended는 Google의 학습 관련 거부 토큰이다. Googlebot과 별개이므로, 이를 통해 학습 제한 의사를 표시하면서 Google 검색 색인을 반드시 차단하지는 않을 수 있다. 27
• Applebot-Extended도 Apple의 AI 학습 관련 제어 표식으로, Applebot의 검색 역할과 AI 학습 거부를 분리할 수 있다. 1727
• Bingbot은 클라우드플레어의 Accountable 모델 아래 검색용 접근을 유지할 수 있다. 다만 Accountable은 모든 기능이 모든 운영사에 이미 제공된다는 뜻이 아니라, 일부 기능은 정해진 일정에 따른 이행 약속을 포함할 수 있다. 723

새 광고 지원 도메인의 기본 설정

클라우드플레어는 2026년 9월 15일부터 클라우드플레어에 새로 등록하는 도메인 가운데 광고가 표시되는 페이지에 대해 Training과 Agent 범주를 기본 차단한다고 예고했다. 13

이는 사이트 전체의 검색 접근을 일괄 차단하는 기본값이 아니다. 또한 제공된 자료만으로는 기존 고객의 모든 설정이 어떤 규칙으로 자동 이전됐는지 단정하기 어렵다. 기존 사이트 운영자는 과거 설정이 자동으로 바뀌었을 것이라 가정하기보다, 도메인별 Search·Training·Agent 정책을 직접 점검하는 편이 안전하다.

운영자가 확인할 점

실무적으로는 다음처럼 판단할 수 있다.

• 검색 발견 가능성은 유지하면서 모델 학습을 거부하려면 Disallow AI Training을 선택한다.
• 검색 크롤링까지 제한할 의사가 있을 때만 더 광범위한 Block 정책을 검토한다.
• 광고가 있는 페이지나 기존 봇 규칙이 적용된 도메인은 Search·Training·Agent 설정을 각각 확인한다. 131720

이 기능이 크롤러 운영사의 준수 여부를 자동으로 보장하는 것은 아니다. 다만 검색 색인은 허용하고 AI 학습은 명시적으로 거부하는 정책 경계를 더 분명히 만들었다는 점이 이번 변화의 핵심이다. 단, 검색 접근 유지 여부는 해당 운영사가 클라우드플레어의 Accountable 조건을 충족하는지에 달려 있다. 724