Почему старый Reddit стал лёгкой добычей для скрейперов

Чтобы понять суть этого шага, нужно разобраться в архитектуре. В отличие от современного дизайна, основанного на React, где данные загружаются на стороне клиента и сложны для программного парсинга, old.reddit.com отдаёт полностью готовый HTML-код на сервере, без необходимости в cookie . Скрейпер может запросить страницу и мгновенно получить чистую структурированную разметку — без ключа API, аутентификации и выполнения JavaScript. Именно это сделало его самым популярным «бесплатным» путём для масштабного извлечения данных, особенно для компаний, обучающих модели ИИ на живых человеческих обсуждениях Reddit .

Обещание, которое нарушили: мандат на логин и судьба старого Reddit

Время выбрано неслучайно. В мае 2025 года генеральный директор Reddit Стив Хаффман публично заявил, что компания сохранит старый Reddit «до тех пор, пока люди им пользуются» . Однако сообщение администрации от июня 2026 года прямо противоречит этому заявлению. Теперь Reddit признаёт, что «не может обещать», что старый Reddit просуществует вечно . Многие воспринимают обязательный вход в аккаунт как шаг к постепенному отказу от legacy-интерфейса, что является самым чётким сигналом о том, что компания считает его всё более обременительным — и больше не рассматривает как постоянное обязательство .

Полный арсенал анти-скрейпинговых мер 2026 года

Проблемы со скрейпингом стали движущей силой политики Reddit в 2026 году, и стена логина для old.reddit.com — далеко не единственное изменение. Вот скоординированная стратегия, которая полностью изменила доступ к данным на платформе:

Отключение неаутентифицированного JSON-доступа (май 2026)

28 мая 2026 года Reddit объявил о прекращении поддержки неаутентифицированного доступа к .json — ещё одного крупного бесплатного пути для получения структурированных данных . Уже через несколько дней анонимные запросы начали возвращать ошибку 403 Forbidden, без какого-либо периода отсрочки. В своём объявлении Reddit заявил: «Эти конечные точки могут использоваться для скрейпинга Reddit без ответственности» .

Политика «Ответственного разработчика» (ноябрь 2025)

Самостоятельная регистрация OAuth-приложений была закрыта . Теперь каждый новый токен требует предварительного одобрения через процедуру подачи заявки и ожидания. Бесплатный некоммерческий уровень формально всё ещё существует, но процесс утверждения стал всё более непредсказуемым .

Блокировка Robots.txt и Internet Archive

В марте 2025 года Reddit обновил свой robots.txt, заблокировав всех ботов, кроме Google и Bing . В августе 2025 года он пошёл ещё дальше, заблокировав Wayback Machine от архивирования большинства страниц Reddit, после того как обнаружил, что компании, занимающиеся ИИ, собирают данные Reddit через архивные копии . Теперь Internet Archive может индексировать только главную страницу Reddit.com .

Верификация человека для подозрительных аккаунтов (март 2026)

25 марта 2026 года Хаффман объявил об обязательной верификации человека для аккаунтов, отмеченных поведенческими сигналами, такими как скорость публикации . Методы верификации включают passkeys, Face ID, а в некоторых случаях и удостоверение личности . Это не общесайтовое требование — оно применяется только на основе технического обнаружения — но это значительное повышение порога входа для автоматизированных операций .

Маркировка ботов

Аккаунты, использующие разрешённую автоматизацию, теперь имеют специальную метку [App] на своём профиле, чтобы другие пользователи знали, что взаимодействуют с программой . Хорошие боты остаются; обманные — помечаются и удаляются.

Ежедневное удаление ботов (~100 000 в день)

Reddit ежедневно удаляет в среднем 100 000 аккаунтов ботов — этот темп сохраняется на протяжении всего 2026 года . Инструмент криминалистической экспертизы BotPrints, запущенный в мае 2026 года, снимает поведенческие метаданные и может обнаруживать бот-сети, вычисляя коэффициент Жаккара для временных окон публикаций в 5 минут .

Единая стратегия против скрейпинга ИИ

Каждая из этих мер нацелена на разные векторы — API, HTML, архивы, поведение аккаунтов — но все они служат одной цели: остановить несанкционированный скрейпинг, особенно со стороны компаний, обучающих модели ИИ на созданном людьми контенте Reddit . Обязательный вход в аккаунт для old.reddit.com закрывает самый лёгкий оставшийся анонимный путь для скрейперов, гарантируя, что даже те, кто полагаются на legacy-интерфейс, должны быть аутентифицированы и нести ответственность.

Почему старый Reddit стал лёгкой добычей для скрейперов

Чтобы понять суть этого шага, нужно разобраться в архитектуре. В отличие от современного дизайна, основанного на React, где данные загружаются на стороне клиента и сложны для программного парсинга, old.reddit.com отдаёт полностью готовый HTML-код на сервере, без необходимости в cookie . Скрейпер может запросить страницу и мгновенно получить чистую структурированную разметку — без ключа API, аутентификации и выполнения JavaScript. Именно это сделало его самым популярным «бесплатным» путём для масштабного извлечения данных, особенно для компаний, обучающих модели ИИ на живых человеческих обсуждениях Reddit .

Обещание, которое нарушили: мандат на логин и судьба старого Reddit

Время выбрано неслучайно. В мае 2025 года генеральный директор Reddit Стив Хаффман публично заявил, что компания сохранит старый Reddit «до тех пор, пока люди им пользуются» . Однако сообщение администрации от июня 2026 года прямо противоречит этому заявлению. Теперь Reddit признаёт, что «не может обещать», что старый Reddit просуществует вечно . Многие воспринимают обязательный вход в аккаунт как шаг к постепенному отказу от legacy-интерфейса, что является самым чётким сигналом о том, что компания считает его всё более обременительным — и больше не рассматривает как постоянное обязательство .

Полный арсенал анти-скрейпинговых мер 2026 года

Проблемы со скрейпингом стали движущей силой политики Reddit в 2026 году, и стена логина для old.reddit.com — далеко не единственное изменение. Вот скоординированная стратегия, которая полностью изменила доступ к данным на платформе:

Отключение неаутентифицированного JSON-доступа (май 2026)

28 мая 2026 года Reddit объявил о прекращении поддержки неаутентифицированного доступа к .json — ещё одного крупного бесплатного пути для получения структурированных данных . Уже через несколько дней анонимные запросы начали возвращать ошибку 403 Forbidden, без какого-либо периода отсрочки. В своём объявлении Reddit заявил: «Эти конечные точки могут использоваться для скрейпинга Reddit без ответственности» .

Политика «Ответственного разработчика» (ноябрь 2025)

Самостоятельная регистрация OAuth-приложений была закрыта . Теперь каждый новый токен требует предварительного одобрения через процедуру подачи заявки и ожидания. Бесплатный некоммерческий уровень формально всё ещё существует, но процесс утверждения стал всё более непредсказуемым .

Блокировка Robots.txt и Internet Archive

В марте 2025 года Reddit обновил свой robots.txt, заблокировав всех ботов, кроме Google и Bing . В августе 2025 года он пошёл ещё дальше, заблокировав Wayback Machine от архивирования большинства страниц Reddit, после того как обнаружил, что компании, занимающиеся ИИ, собирают данные Reddit через архивные копии . Теперь Internet Archive может индексировать только главную страницу Reddit.com .

Верификация человека для подозрительных аккаунтов (март 2026)

25 марта 2026 года Хаффман объявил об обязательной верификации человека для аккаунтов, отмеченных поведенческими сигналами, такими как скорость публикации . Методы верификации включают passkeys, Face ID, а в некоторых случаях и удостоверение личности . Это не общесайтовое требование — оно применяется только на основе технического обнаружения — но это значительное повышение порога входа для автоматизированных операций .

Маркировка ботов

Аккаунты, использующие разрешённую автоматизацию, теперь имеют специальную метку [App] на своём профиле, чтобы другие пользователи знали, что взаимодействуют с программой . Хорошие боты остаются; обманные — помечаются и удаляются.

Ежедневное удаление ботов (~100 000 в день)

Reddit ежедневно удаляет в среднем 100 000 аккаунтов ботов — этот темп сохраняется на протяжении всего 2026 года . Инструмент криминалистической экспертизы BotPrints, запущенный в мае 2026 года, снимает поведенческие метаданные и может обнаруживать бот-сети, вычисляя коэффициент Жаккара для временных окон публикаций в 5 минут .

Единая стратегия против скрейпинга ИИ

Каждая из этих мер нацелена на разные векторы — API, HTML, архивы, поведение аккаунтов — но все они служат одной цели: остановить несанкционированный скрейпинг, особенно со стороны компаний, обучающих модели ИИ на созданном людьми контенте Reddit . Обязательный вход в аккаунт для old.reddit.com закрывает самый лёгкий оставшийся анонимный путь для скрейперов, гарантируя, что даже те, кто полагаются на legacy-интерфейс, должны быть аутентифицированы и нести ответственность.