Automatiserad trafik kan bli dyr och problematisk för ett litet företag även om det inte finns belägg för att någon försökt orsaka skada. Barnboksförfattaren och illustratören Chelsea Paulus i San Diego säger att Meta-crawlrar överbelastade hennes webbplats. Enligt rapporteringen kom över 550 000 förfrågningar på 48 timmar, samtidigt som webbhotellets resurser pressades till gränsen.
53
Fallet sätter fingret på en praktisk fråga för småföretag: hur mycket kontroll har man egentligen när en crawler belastar webbhotellet som håller verksamheten online?
Så ska trafiken ha sett ut
Paulus hade fyra webbplatser på samma delade webbhotellspaket hos SiteGround. Den 24 oktober fick hon en varning om att paketet hade använt 80 procent av sin tilldelade CPU-kapacitet.
2 Det gäller resursutnyttjandet för det delade paketet – uppgiften innebär inte nödvändigtvis att Meta ensamt använde 80 procent av en processor.
Enligt Fast Company fastnade Meta-ExternalAgent i en upprepad anropning av webbplatsens funktion ”remove from cart”. Det ska ha genererat över 100 förfrågningar i minuten och omkring 550 000 anrop under de följande dagarna. Efter att Paulus blockerat den crawlern dök Meta-WebIndexer upp två dagar senare. Fast Company rapporterade då att CPU-utnyttjandet nådde 100 procent och att webbplatsen kraschade.
6 Business Insider rapporterade separat Paulus uppgift om över 550 000 botbesök på 48 timmar och att webbhotellets resurser förbrukades.
53
Rapporteringen beskriver alltså en trafikökning med tydliga konsekvenser. Men den visar inte att Meta medvetet riktade in sig på Paulus eller avsiktligt kringgick en korrekt inställd blockering. Paulus har själv sagt att hon inte trodde att händelsen var en avsiktlig attack.
2
Crawlrarna har olika uppgifter
Meta-ExternalAgent beskrivs som en crawler som samlar in innehåll för bland annat träning av grundläggande AI-modeller eller för att förbättra produkter genom direkt indexering.
12 Meta-WebIndexer beskrivs i stället som ett verktyg för Metas AI-sökresultat, så att innehåll kan citeras och länkas i svar.
55
Skillnaden spelar roll för webbplatsägare som vill välja vilka automatiserade besökare de släpper in. Att blockera en crawler behöver inte stoppa en annan, eftersom de har olika funktioner och kan hanteras separat.
7
Vad Meta säger att webbplatsägare kan göra
En talesperson för Meta uppgav att webbplatsansvariga kan bestämma hur företagets crawlrar interagerar med deras webbplatser.
24 I samband med rapportering om ändrade kommersiella villkor har Meta också sagt att webbplatsägare kan använda robots.txt för att hantera crawleråtkomst.
26 Villkoren väckte kritik eftersom rapporteringen beskrev dem som en utvidgning av crawlerrättigheter till fler än annonsörer.
26
En robots.txt-fil anger vilka webbadresser en crawler får besöka. Google beskriver protokollet som ett sätt att bland annat undvika att en webbplats överbelastas av förfrågningar.
18 Men uppgifterna om Paulus visar att en uttalad kontrollmöjlighet inte alltid är detsamma som ett säkert skydd i praktiken. Det tillgängliga materialet klargör inte exakt hur hennes blockeringar var inställda, varför en andra crawler dök upp eller om den ignorerade en giltig instruktion.
Ett bredare problem för små webbplatser
Paulus fall ingår i en större diskussion om hur automatiserad trafik kan belasta små webbplatser. Fast Company har beskrivit hur webbplatsägare oroar sig för crawlrar som kan pressa sajter som används för att nå kunder och sälja produkter.
6 För företag med delat webbhotell kan en trafikspik belasta resurser som delas med flera webbplatser – utan att trafiken leder till någon försäljning.
DataDome uppger att Meta-anknutna botar stod för 46,3 procent av den AI-crawlertrafik som företaget följde under första halvåret 2026.
1
51 Det är andelen av den trafik DataDome observerade, inte ett mått på all trafik på internet. Cloudflare beskriver också Meta-ExternalAgent som den bot som skickar näst flest förfrågningar, efter Googlebot.
59 Siffrorna ger en bild av omfattningen på crawlertrafiken, men säger inte hur ofta enskilda småföretags webbplatser drabbas av avbrott.
Den försiktiga slutsatsen är ändå viktig: Paulus berättelse visar hur crawlertrafik kan förbruka webbhotellskapacitet och hota ett litet företags närvaro online. Däremot bevisar de tillgängliga uppgifterna inte att Meta avsiktligt riktade in sig på henne, och de förklarar inte exakt varför hennes försök att stoppa trafiken inte fungerade.