OpenAI, 2026년 크롤러 가이드라인 공개… robots.txt로 검색·학습·쇼핑 ‘선택적 관리’ 가능

OpenAI는 2026년 공식 문서를 통해 웹사이트 운영자가 검색 노출, AI 모델 학습용 크롤링, 사용자 요청 방문, 상품 피드 인덱싱을 각각 독립적으로 제어할 수 있음을 명확히 했다. OAI-SearchBot을 허용하면 ChatGPT 검색에 사이트가 표시될 수 있고, GPTBot은 차단해도 전혀 문제가 없다.

✅ 검색 노출: OAI-SearchBot

“웹마스터는 검색 결과에 나타나기 위해 OAI-SearchBot을 허용하면서, 동시에 GPTBot은 차단할 수 있다.”

OAI-SearchBot은 ChatGPT 검색 기능에서 사이트를 표면화하는 데 사용되는 크롤러다. 이 봇을 robots.txt에서 차단하면 ChatGPT 검색 결과에 아예 나타나지 않는다.

🚫 AI 모델 학습: GPTBot

GPTBot은 OpenAI의 생성형 AI 기반 모델(파운데이션 모델) 학습을 위한 콘텐츠 수집을 제어한다. OAI-SearchBot과 설정이 완전히 독립적이므로, 검색 노출은 허용하면서 학습용 크롤링은 차단하는 전략이 가능하다.

🙋 사용자 요청 방문: ChatGPT-User

ChatGPT-User는 자동 검색 색인이 아닌, ChatGPT 사용자가 특정 URL을 직접 요청할 때 작동하는 사용자 에이전트다. 공식 크롤러 문서를 기준으로 운영해야 하며, 이 에이전트에 대한 완전한 인용문은 제공된 검색 결과에 포함되지 않았다.

🏪 머천트 및 쇼핑

OpenAI는 머천트 자격을 폭넓게 열어두고 있다.

• 자격: “어떤 웹사이트나 머천트든 ChatGPT 검색에 나타날 수 있다.”
• 제품 피드: “제품을 ChatGPT 내에서 발견 가능하게 하려면, 머천트는 구조화된 제품 피드 파일을 OpenAI에 제공해야 하며, OpenAI가 이를 수집·인덱싱한다.”
• 2026년 접근 권한: “ChatGPT에서 제품 피드를 온보딩하는 기능은 현재 승인된 파트너에게만 제공된다.”
• 쇼핑 UI: 쇼핑 의도 질문(예: “강아지 코스튬 찾아줘”)이 들어오면 ChatGPT는 제품 이미지, 상세 정보, 구매 링크를 표시한다. OpenAI는 이 유기적 제품 결과가 광고가 아니며 파트너십의 영향을 받지 않는다고 밝혔다.

🛠 실전 robots.txt 설정 예시

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

이 설정은 ChatGPT 검색을 통한 사이트 발견 가능성은 허용하면서, GPTBot의 학습용 콘텐츠 수집은 차단한다. 단, 이 설정이 검색 내 순위나 포함을 보장하지는 않는다.