OpenAI в 2026 году выпустил обновлённые рекомендации, которые разделяют поисковую индексацию, обучение генеративных моделей, пользовательские визиты и индексацию товарных фидов. Теперь владельцы сайтов могут гибко управлять каждым из этих сценариев через robots.txt.
-
Поисковая индексация — OAI-SearchBot: «Вебмастер может разрешить OAI-SearchBot, чтобы сайт появлялся в результатах поиска, но при этом запретить GPTBot».
Это означает, что контент может быть виден в ChatGPT Search без риска, что его используют для обучения больших языковых моделей.
-
Обучение моделей — GPTBot: GPTBot отвечает за сбор данных для тренировки генеративных моделей OpenAI. Его настройка в robots.txt полностью независима от настроек OAI-SearchBot.
Если вы хотите только показываться в поиске, но не участвовать в обучении — просто заблокируйте GPTBot.
-
Визиты по запросу пользователя — ChatGPT-User: Этот агент отвечает за посещения, инициированные конкретным пользователем ChatGPT в рамках сессии (например, когда пользователь просит «открой страницу X»). В официальной документации OpenAI говорится, что исчерпывающие сведения по этому агенту лучше смотреть в описании краулеров, однако в поисковой выдаче полная цитата по нему пока не раскрыта. ![]()
-
Доступность для мерчантов: «Любой сайт или мерчант может появиться в поиске ChatGPT».
Никакой обязательной аккредитации или платы за доступ не требуется.
-
Товарные фиды: «Чтобы ваши товары были обнаруживаемы внутри ChatGPT, мерчанты предоставляют структурированный файл товарного фида, который OpenAI загружает и индексирует».