En voldsom stigning i automatiserede forespørgsler kan koste en lille virksomhed dyrt, også uden tegn på, at trafikken er ondsindet. Børnebogsforfatteren og illustratoren Chelsea Paulus fra San Diego fortæller, at Meta-crawlere overbelastede hendes hjemmeside. Ifølge omtalen drejede det sig om mere end 550.000 forespørgsler på 48 timer, og hendes hostingressourcer blev presset til grænsen.
53 Sagen stiller et praktisk spørgsmål til hjemmesideejere: Hvor meget kontrol har man, når en crawler belaster den hosting, der holder ens forretning online?
Sådan udviklede trafikken sig
Paulus havde fire hjemmesider på samme delte hostingaftale hos SiteGround. Den 24. oktober advarede udbyderen hende om, at aftalen havde brugt 80 procent af sin CPU-kvote.
2 Det tal handler om ressourceforbruget på den delte aftale – ikke nødvendigvis om, at Meta alene brugte 80 procent af en processor.
Ifølge Fast Company blev Meta-ExternalAgent ved med at kalde hjemmesidens funktion til at fjerne varer fra indkøbskurven. Det skabte over 100 forespørgsler i minuttet og omkring 550.000 i løbet af de følgende dage. Efter at Paulus blokerede crawleren, dukkede Meta-WebIndexer op to dage senere. Fast Company skrev, at CPU-forbruget nåede 100 procent, og at hjemmesiden gik ned.
6 Business Insider beskrev særskilt Paulus’ oplysning om over 550.000 botbesøg på 48 timer og hostingressourcer, der blev brugt op.
53
Omtalen tegner et billede af en trafikbølge med reelle konsekvenser for hjemmesiden. Den fastslår dog ikke, at Meta bevidst udpegede Paulus eller forsøgte at omgå en korrekt opsat blokering. Paulus sagde selv, at hun ikke mente, at hændelsen var et bevidst angreb.
2
De to crawlere har forskellige formål
Meta-ExternalAgent beskrives som en crawler, der blandt andet indsamler indhold til træning af grundlæggende AI-modeller eller til produktforbedringer gennem direkte indeksering af indhold.
12 Meta-WebIndexer beskrives derimod som en crawler, der understøtter søgeresultater i Meta AI, så indhold kan citeres og linkes i svar.
55
Forskellen kan være vigtig, når en hjemmesideejer beslutter, hvilke automatiserede besøgende der skal have adgang. En blokering af den ene crawler løser ikke nødvendigvis problemer med den anden, fordi de har forskellige formål og kan styres hver for sig.
7
Hvad Meta siger, hjemmesideejere kan styre
En talsperson for Meta sagde, at hjemmesideejere selv kan bestemme, hvordan virksomhedens crawlere interagerer med deres sider.
24 I omtalen af Metas ændrede kommercielle vilkår har virksomheden også sagt, at ejere kan bruge robots.txt til at styre crawleradgangen.
26 Vilkårene blev mødt med kritik, fordi de ifølge omtalen udvidede crawleradgangen til også at omfatte andre end annoncører.
26
En robots.txt-fil fortæller crawlere, hvilke adresser på en hjemmeside de må besøge. Google beskriver protokollen som noget, der blandt andet bruges til at undgå at overbelaste en hjemmeside med forespørgsler.
18 Men Paulus’ oplevelse viser, at en formel mulighed for at styre trafikken ikke nødvendigvis er det samme som en praktisk garanti for beskyttelse. De tilgængelige oplysninger fastslår ikke præcist, hvordan hendes blokeringer var sat op, hvorfor en anden crawler dukkede op, eller om den tilsidesatte en gyldig instruktion.
Et problem for små virksomheder
Paulus’ sag indgår i en bredere bekymring for, at automatiseret trafik kan belaste små hjemmesider. Fast Company beskrev hjemmesideejere, der kæmper med crawlere, som kan presse sider, virksomheder bruger til at nå kunder og sælge varer.
6 For virksomheder på delt hosting kan en trafikbølge påvirke en fælles pulje af ressourcer – uden at trafikken nødvendigvis fører til salg.
DataDome oplyste, at Meta-tilknyttede bots stod for 46,3 procent af den AI-crawlertrafik, som virksomheden fulgte i første halvår af 2026.
1
51 Det er en andel af den trafik, DataDome observerede, ikke et mål for al trafik på internettet. Cloudflares gennemgang fra 2026 beskriver også Meta-ExternalAgent som den bot, der sender næstflest forespørgsler, efter Googlebot.
59 Tallene giver et indtryk af omfanget af crawleraktiviteten, men viser ikke, hvor ofte den forstyrrer enkelte små virksomheders hjemmesider.
Den mest præcise konklusion er derfor afgrænset, men vigtig: Paulus’ oplevelse illustrerer, hvordan crawlertrafik kan bruge en hjemmesides hostingressourcer og true en lille virksomheds online tilstedeværelse. De tilgængelige oplysninger beviser dog ikke, at hun blev målrettet med vilje, eller forklarer præcist, hvorfor hendes forsøg på at blokere trafikken ikke virkede.