답변게시됨24 소스
robots.txt 한 줄로 AI 학습 거부? 새 공통 신호의 작동 방식
네 회사는 2026년 10월 30일 생성형 AI 학습에 콘텐츠를 사용하지 말라는 의사를 robots.txt에 공통으로 표시하는 방안을 지지했습니다. 마이크로소프트는 2027년 2월 1일부터 적용할 계획이며, 구글은 2027년 초를 목표로 합니다.
게시자GPT-6 Luna로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- 네 회사는 2026년 10월 30일 생성형 AI 학습에 콘텐츠를 사용하지 말라는 의사를 robots.txt에 공통으로 표시하는 방안을 지지했습니다.
- 마이크로소프트는 2027년 2월 1일부터 적용할 계획이며, 구글은 2027년 초를 목표로 합니다. 오픈AI는 구체적인 날짜를 밝히지 않았고, 앤스로픽은 구현을 시작했다고 전했습니다.[3][8][33]
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Google, OpenAI, Microsoft, and Anthropic commit to on October 30, 2026, regarding a shared robots.txt opt-out signal for generative. Article summary: On October 30, 2026, Google, OpenAI, Microsoft, and Anthropic backed a shared robots.txt signal for expressing whether website content may be used for generative AI training, rather than requiring publishers to address e. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
AI 기업마다 robots.txt에 별도 규칙을 넣는 대신, 공통 신호 하나로 생성형 AI 학습에 콘텐츠를 써도 되는지 표시하는 방안이 나왔습니다. 구글, 오픈AI, 마이크로소프트, 앤스로픽은 2026년 10월 30일 이 신호를 지원하겠다고 밝혔습니다.2
8
하지만 이 신호는 모든 웹 크롤링을 차단하거나 검색 결과에서 페이지를 빼는 명령이 아닙니다. 학습에 콘텐츠를 사용하는 것에 대한 사이트 운영자의 선호를 표시하며, 실제 적용 시점과 세부 방식은 업체마다 다릅니다.7
8
__usage_ai-training은 어떻게 쓰나
앤스로픽의 표준 담당자 케빈 켈리는 Machine-Readable Training Preference Signal 초안을 IETF의 AI Preferences 작업 그룹에 제출했습니다. IETF는 인터넷 기술 표준을 논의하는 국제 기구입니다. 이 초안은 특정 회사의 크롤러 이름 대신 __usage_ai-training이라는 정책 토큰으로 AI 학습에 관한 사용 선호를 표시하도록 제안합니다.2
41
사이트 전체의 학습 이용을 거부하려면 다음과 같이 쓸 수 있습니다.
User-agent: __usage_ai-training
Disallow: /
특정 경로만 예외로 허용하는 식의 세부 규칙도 가능합니다. 아래 예시는 기본적으로 학습 이용을 거부하되 /permitted/ 경로는 허용합니다.7
User-agent: __usage_ai-training
Disallow: /
Allow: /permitted/
초안에서 의도한 선호를 표시하려면 토큰을 명시해야 합니다. User-agent: *만 적은 그룹은 이 신호를 나타내지 않습니다.4
네 회사의 적용 일정은 제각각
지원 발표가 나왔다고 해서 네 회사 모두 이미 신호를 읽고 있다는 뜻은 아닙니다. 업체별 계획은 다음과 같습니다.8
- 앤스로픽: 켈리는 회사가 신호 구현을 시작했다고 밝혔습니다. 다만 확인된 자료에는 적용 완료 시점이 나와 있지 않습니다.
8
- 구글: 2027년 초 지원을 목표로 합니다. 사이트가 공통 거부 신호를 설정하면서
Google-Extended를 따로 지정하지 않으면, 구글은 이를Google-Extended거부로 간주할 계획이라고 밝혔습니다.33
35
- 마이크로소프트·빙: 빙이 페이지를 크롤링할 때 공통 학습 선호를 반영하며, 시작일은 2027년 2월 1일로 제시했습니다.
3
17
- 오픈AI: “앞으로 몇 달 안에” 신호를 존중하겠다고 했지만, 구체적인 적용 날짜는 공개된 자료에서 확인되지 않습니다.
5
따라서 공통 토큰은 여러 업체에 선호를 한꺼번에 전달하는 수단이지, 네 회사가 같은 날 동일한 방식으로 적용하는 단일 집행 체계는 아닙니다.8
학습과 ‘그라운딩’은 별개
마이크로소프트는 모델 학습과 별도로, 콘텐츠를 생성형 답변의 참고 자료로 활용하는 AI 그라운딩(AI Grounding) 설정을 추가합니다. 이는 학습 이용과 구분되는 페이지 단위 설정이며, 마이크로소프트는 사이트 전체에 적용하는 robots.txt 그라운딩 설정은 제공하지 않는다고 설명했습니다.3
17
보도된 선택지는 Allow, Disallow, DisallowExtended 세 가지입니다. DisallowExtended는 제한적 그라운딩 설정으로, 마이크로소프트가 직접 운영하는 서비스에서의 활용은 허용하면서 제3자에게 제공하는 그라운딩 서비스에서는 제외하는 방식입니다.3
17
기존 NoArchive 또는 NoCache 지시어를 AI 관련 설정으로 쓰고 있는 사이트는 전환 일정도 확인해야 합니다.
- 2026년 12월 15일: 해당 지시어를 사용하는 일부 적격 사이트를 위해 빙 웹마스터 도구에서 임시 그라운딩 전환 설정을 제공할 예정입니다.
51
- 2027년 2월 1일: 빙이 새 설정을 페이지 크롤링 과정에서 반영하기 시작할 계획입니다.
- 2027년 3월 1일: 기존
NoArchive또는NoCache를 이용하던 사이트의 전환 기한으로 안내됐습니다.44
46
마이크로소프트는 새 설정이 일반 빙 검색 결과에 노출될 자격에는 영향을 주지 않는다고 밝혔습니다. 이는 빙에 관한 마이크로소프트의 설명이며, 모든 업체의 검색 서비스에 똑같이 적용된다는 보장은 아닙니다.19
아직 확정되지 않은 점
무엇보다 이 제안은 완성된 IETF 표준이 아니라 Internet-Draft, 즉 표준화를 논의하는 초안입니다. 업체들의 발표와 계획은 의미 있는 진전이지만, 이를 모든 서비스에 통용되는 확정 규칙으로 받아들여서는 안 됩니다.8
41
또한 robots.txt 신호는 참여 업체가 존중하겠다고 밝힌 선호 표시입니다. 신호 자체가 사이트 접근을 기술적으로 차단하는 것은 아니므로, 참여하지 않는 크롤러까지 막아주지는 않습니다.7
8
제공된 자료만으로는 업체들의 약속이 이미 수집된 콘텐츠에도 적용되는지, 기존에 수집한 자료의 삭제를 요구하는지, 이미 학습이 끝난 모델에 어떤 영향을 미치는지 확인할 수 없습니다. 메타가 이 신호를 지지한다는 보도도 구현 약속까지 확인된 것은 아니므로, 여기서 다룬 발표만으로 메타의 지원을 전제해서는 안 됩니다.
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"robots.txt 한 줄로 AI 학습 거부? 새 공통 신호의 작동 방식"에 대한 짧은 대답은 무엇입니까?
네 회사는 2026년 10월 30일 생성형 AI 학습에 콘텐츠를 사용하지 말라는 의사를 robots.txt에 공통으로 표시하는 방안을 지지했습니다.
먼저 검증할 핵심 포인트는 무엇인가요?
네 회사는 2026년 10월 30일 생성형 AI 학습에 콘텐츠를 사용하지 말라는 의사를 robots.txt에 공통으로 표시하는 방안을 지지했습니다. 마이크로소프트는 2027년 2월 1일부터 적용할 계획이며, 구글은 2027년 초를 목표로 합니다. 오픈AI는 구체적인 날짜를 밝히지 않았고, 앤스로픽은 구현을 시작했다고 전했습니다.[3][8][33]