OpenAI, 2026년 크롤러 가이드라인 공개… robots.txt로 검색·학습·쇼핑 ‘선택적 관리’ 가능

OpenAI는 2026년 공식 문서를 통해 웹사이트 운영자가 검색 노출, AI 모델 학습용 크롤링, 사용자 요청 방문, 상품 피드 인덱싱을 각각 독립적으로 제어할 수 있음을 명확히 했다. OAI-SearchBot을 허용하면 ChatGPT 검색에 사이트가 표시될 수 있고, GPTBot은 차단해도 전혀 문제가 없다.

✅ 검색 노출: OAI-SearchBot

“웹마스터는 검색 결과에 나타나기 위해 OAI-SearchBot을 허용하면서, 동시에 GPTBot은 차단할 수 있다.”

OAI-SearchBot은 ChatGPT 검색 기능에서 사이트를 표면화하는 데 사용되는 크롤러다. 이 봇을 robots.txt에서 차단하면 ChatGPT 검색 결과에 아예 나타나지 않는다.

🚫 AI 모델 학습: GPTBot

GPTBot은 OpenAI의 생성형 AI 기반 모델(파운데이션 모델) 학습을 위한 콘텐츠 수집을 제어한다. OAI-SearchBot과 설정이 완전히 독립적이므로, 검색 노출은 허용하면서 학습용 크롤링은 차단하는 전략이 가능하다.

🙋 사용자 요청 방문: ChatGPT-User

ChatGPT-User는 자동 검색 색인이 아닌, ChatGPT 사용자가 특정 URL을 직접 요청할 때 작동하는 사용자 에이전트다. 공식 크롤러 문서를 기준으로 운영해야 하며, 이 에이전트에 대한 완전한 인용문은 제공된 검색 결과에 포함되지 않았다.

🏪 머천트 및 쇼핑

OpenAI는 머천트 자격을 폭넓게 열어두고 있다.

• 자격: “어떤 웹사이트나 머천트든 ChatGPT 검색에 나타날 수 있다.”
• 제품 피드: “제품을 ChatGPT 내에서 발견 가능하게 하려면, 머천트는 구조화된 제품 피드 파일을 OpenAI에 제공해야 하며, OpenAI가 이를 수집·인덱싱한다.”