Різкий сплеск автоматичних запитів може обернутися реальними витратами для малого бізнесу — навіть якщо немає доказів злого умислу. Дитяча письменниця та ілюстраторка із Сан-Дієго Челсі Паулус розповіла, що краулери Meta перевантажили її сайт: за повідомленнями медіа, за 48 годин надійшло понад 550 тисяч запитів, а ресурси хостингу майже вичерпалися.
53 Цей випадок порушує практичне питання: наскільки власник сайту може захистити його, якщо активність краулера створює надмірне навантаження на тариф, від якого залежить робота бізнесу?
Що сталося із сайтом Паулус
Паулус розмістила чотири сайти на спільному хостинг-плані SiteGround. 24 жовтня сервіс попередив її, що використано 80% доступного процесорного ресурсу.
2 Це був показник навантаження на спільний план — не обов’язково свідчення того, що саме Meta використала 80% потужності процесора.
За повідомленням Fast Company, Meta-ExternalAgent знову й знову викликав на сайті функцію «видалити з кошика». Це створювало понад 100 запитів на хвилину й приблизно 550 тисяч запитів протягом наступних днів. Паулус заблокувала цього краулера, але за два дні з’явився Meta-WebIndexer; Fast Company повідомила, що використання процесорного ресурсу сягнуло 100%, після чого сайт упав.
6 Business Insider окремо навів слова Паулус про понад 550 тисяч відвідувань ботом за 48 годин і вичерпання ресурсів хостингу.
53
Ці повідомлення підтверджують загальну картину різкого й шкідливого для сайту сплеску трафіку. Але вони не доводять, що Meta навмисно обрала сайт Паулус ціллю або свідомо обійшла правильно налаштоване блокування. Сама Паулус сказала, що не вважає інцидент навмисною атакою.
2
Два краулери — різні завдання
Meta-ExternalAgent описують як краулер, що збирає вміст, зокрема для навчання базових моделей штучного інтелекту або вдосконалення продуктів через пряме індексування контенту.
12 Натомість Meta-WebIndexer, за описом його призначення, допомагає формувати результати пошуку в Meta AI, щоб у відповідях можна було цитувати матеріали й давати на них посилання.
55
Ця різниця важлива для власників сайтів, які вирішують, яких автоматизованих відвідувачів допускати. Блокування одного краулера не обов’язково зупинить активність іншого: вони виконують різні завдання й можуть налаштовуватися окремо.
7
Що Meta каже про контроль власників сайтів
Представник Meta заявив, що адміністратори сайтів можуть вирішувати, як краулери компанії взаємодіятимуть із їхніми ресурсами.
24 У матеріалах про оновлені комерційні умови Meta також заявляла, що власники можуть керувати доступом краулерів за допомогою файлу robots.txt.
26 Ці умови привернули увагу, оскільки, за повідомленнями медіа, розширювали права на сканування сайтів за межі рекламодавців.
26
Файл robots.txt повідомляє краулерам, до яких URL-адрес вони можуть звертатися; Google зазначає, що цей протокол використовують передусім, щоб не перевантажувати сайт запитами.
18 Та історія Паулус показує: заявлена можливість контролю не завжди означає практичний захист. Доступні повідомлення не пояснюють, як саме вона налаштувала блокування, чому з’явився другий краулер і чи проігнорував він чинну інструкцію.
Проблема, що може зачепити малий бізнес
Випадок Паулус — частина ширшого занепокоєння через автоматичний трафік, який створює навантаження на невеликі сайти. Fast Company писала про власників бізнесу, чиї сайти допомагають знаходити клієнтів і продавати товари, але можуть потерпати від роботи краулерів.
6 На спільному хостингу сплеск запитів може навантажити загальний пул ресурсів — навіть якщо він не приносить продажів.
За даними DataDome, на Meta-affiliated bots припадало 46,3% трафіку AI-краулерів, який компанія відстежувала в першій половині 2026 року.
1
51 Це частка саме в даних DataDome, а не показник усього вебтрафіку. У своєму пояснювальному матеріалі за 2026 рік Cloudflare також називає Meta-ExternalAgent другим за кількістю запитів ботом після Googlebot.
59 Ці дані дають уявлення про масштаб активності краулерів, але не показують, як часто вона порушує роботу сайтів малого бізнесу.
Найобережніший висновок такий: за повідомленнями, краулери Meta спожили ресурси хостингу Паулус і поставили під загрозу доступність її бізнес-сайту. Водночас наявні дані не доводять навмисного переслідування й не пояснюють, чому спроби блокування не спрацювали.