ОтветыОпубликовано22 источники
Краулеры Meta перегрузили сайт художницы более чем 550 тысячами запросов
По словам Челси Паулус, сайт получил более 550 тысяч запросов от краулера Meta за 48 часов, а ресурсы хостинга оказались почти исчерпаны.[53] Сначала SiteGround предупредил о расходе 80% ресурсов общего тарифного плана для четырёх сайтов; позднее, по данным Fast Company, нагрузка достигла 100%, и сайт упал.[2][6] Па...
ОпубликовалОтредактировано с помощью GPT-6 LunaИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- По словам Челси Паулус, сайт получил более 550 тысяч запросов от краулера Meta за 48 часов, а ресурсы хостинга оказались почти исчерпаны.[53]
- Сначала SiteGround предупредил о расходе 80% ресурсов общего тарифного плана для четырёх сайтов; позднее, по данным Fast Company, нагрузка достигла 100%, и сайт упал.[2][6]
- Паулус не считает произошедшее намеренной атакой. Публикации не позволяют установить, почему её попытка заблокировать одного краулера не предотвратила появление другого.[2]
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Meta’s AI crawlers allegedly disrupt the business website of San Diego children’s author and illustrator Chelsea Paulus, including S. Article summary: Paulus alleged that Meta’s automated crawlers exhausted her website’s hosting resources rather than bringing paying customers, leaving her business site effectively offline; Business Insider’s report confirms her allegat. Topic tags: general, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
Сайт — это не только витрина для клиентов, но и услуга с ограниченными ресурсами. Детская писательница и иллюстратор из Сан-Диего Челси Паулус рассказала, что автоматические запросы краулеров Meta перегрузили её сайт: за 48 часов, по её словам, их было более 550 тысяч.53 История ставит практический вопрос для небольших компаний: что делать, если бот создаёт нагрузку, а не приводит покупателей?
Как развивалась ситуация
Паулус использовала общий тариф SiteGround для четырёх сайтов. 24 октября хостинг-провайдер предупредил, что израсходовано 80% выделенного лимита CPU.2 Это показатель нагрузки на общий тарифный план — не доказательство того, что одна только Meta постоянно использовала 80% мощности процессора.
По данным Fast Company, краулер Meta-ExternalAgent зациклился на функции «удалить из корзины» и отправлял более 100 запросов в минуту. За следующие дни их набралось около 550 тысяч.6 Business Insider отдельно сообщил со ссылкой на Паулус о более чем 550 тысячах посещений бота за 48 часов и почти полностью израсходованных ресурсах хостинга.
53
Паулус заблокировала этот краулер, но через два дня, пишет Fast Company, появился Meta-WebIndexer. По данным издания, загрузка CPU достигла 100%, и сайт перестал работать.6 Публикации подтверждают общий ход событий — резкий всплеск запросов и проблемы с доступностью сайта, — но не доказывают, что Meta намеренно выбрала сайт Паулус целью атаки. Сама она говорила, что не считает произошедшее умышленным нападением.
2
У краулеров разные задачи
Meta-ExternalAgent собирает контент для таких целей, как обучение базовых ИИ-моделей или улучшение продуктов за счёт прямой индексации материалов.12 Meta-WebIndexer, в свою очередь, помогает формировать результаты поиска Meta AI, чтобы в ответах можно было цитировать сайты и давать на них ссылки.
55
Разница важна для владельцев сайтов: блокировка одного краулера не обязательно остановит другой. Они выполняют разные задачи и могут настраиваться отдельно.7
Что Meta говорит о контроле доступа
Представитель Meta заявил, что владельцы сайтов могут сами определять, как краулеры компании взаимодействуют с их ресурсами.24 В ответ на вопросы о пересмотренных коммерческих условиях компания также указывала, что доступ ботов можно регулировать с помощью файла
robots.txt.26 Эти условия привлекли внимание, поскольку, по сообщениям СМИ, расширяли права на сбор контента за пределы рекламодателей.
26
robots.txt — файл с инструкциями для автоматических систем о том, к каким страницам сайта им разрешён доступ. Google отмечает, что протокол, помимо прочего, используют, чтобы не перегружать сайт запросами.18 Однако сам факт наличия такого инструмента не объясняет, как именно были настроены блокировки Паулус, почему затем появился другой краулер и соблюдал ли он действовавшие инструкции. Доступные публикации этого не устанавливают.
Проблема, выходящая за рамки одного сайта
Для небольшого бизнеса внезапная нагрузка может обернуться не только технической проблемой: сайт нужен, чтобы рассказывать о товарах и услугах и находить клиентов. Fast Company описывает и более широкие жалобы владельцев небольших ресурсов на краулеры, способные перегружать сайты.6 При общем хостинге запросы расходуют ресурсы, выделенные сразу нескольким сайтам, даже если не приносят продаж.
По данным DataDome, боты, связанные с Meta, составили 46,3% ИИ-трафика, который компания отслеживала в первой половине 2026 года.1
51 Это доля в наблюдаемом DataDome трафике, а не во всём трафике интернета. Cloudflare также называет Meta-ExternalAgent вторым по числу запросов ботом после Googlebot.
59 Эти оценки показывают масштаб активности краулеров, но не говорят, как часто она приводит к сбоям у небольших компаний.
Главный вывод здесь конкретен, но ограничен: история Паулус показывает, что автоматические запросы могут израсходовать ресурсы хостинга и поставить под угрозу доступность сайта. При этом доступные сведения не доказывают намеренную атаку и не объясняют, почему попытка блокировки не решила проблему.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Краулеры Meta перегрузили сайт художницы более чем 550 тысячами запросов»?
По словам Челси Паулус, сайт получил более 550 тысяч запросов от краулера Meta за 48 часов, а ресурсы хостинга оказались почти исчерпаны.[53]
Какие ключевые моменты необходимо проверить в первую очередь?
По словам Челси Паулус, сайт получил более 550 тысяч запросов от краулера Meta за 48 часов, а ресурсы хостинга оказались почти исчерпаны.[53] Сначала SiteGround предупредил о расходе 80% ресурсов общего тарифного плана для четырёх сайтов; позднее, по данным Fast Company, нагрузка достигла 100%, и сайт упал.[2][6]
Что мне делать дальше на практике?
Паулус не считает произошедшее намеренной атакой. Публикации не позволяют установить, почему её попытка заблокировать одного краулера не предотвратила появление другого.[2]
Источники
businessinsider.comAn artist says Meta's bots overwhelmed her website and left her scrambling to protect her business
ithome.comMeta 爬虫疯狂涌入，一艺术家网站被挤爆
fastcompany.comMeta web crawlers crash small business websites as AI ...
webpossible.comAI Crawlers & robots.txt — Allow/Block Guide | WebPossible
51degrees.com