Automatisert trafikk kan bli et reelt problem for en liten virksomhet, også uten tegn til at noen har forsøkt å skade den. Barnebokforfatteren og illustratøren Chelsea Paulus fra San Diego sier at Meta-roboter overbelastet nettstedet hennes. Ifølge omtalen skal én av robotene ha sendt over 550 000 forespørsler på 48 timer, mens webhotellets ressurser nærmet seg grensen.
53
Saken reiser et praktisk spørsmål for små nettstedseiere: Hvor mye kontroll har man egentlig hvis en robots aktivitet belaster webhotellet som holder virksomheten på nett?
Slik beskrives hendelsesforløpet
Paulus hadde fire nettsteder på én delt hostingpakke hos SiteGround. 24. oktober varslet leverandøren at pakken hadde brukt 80 prosent av den tildelte CPU-kapasiteten.
2 Det tallet viser ressursbruken på den delte pakken – ikke nødvendigvis at Meta alene brukte 80 prosent av én prosessor.
Ifølge Fast Company traff Meta-ExternalAgent gjentatte ganger nettstedets funksjon for å «fjerne fra handlekurven». Dette skal ha gitt mer enn 100 forespørsler i minuttet og rundt 550 000 forespørsler i løpet av de påfølgende dagene. Etter at Paulus blokkerte roboten, dukket Meta-WebIndexer opp to dager senere. Fast Company rapporterte at CPU-bruken da nådde 100 prosent, og at nettstedet krasjet.
6 Business Insider omtalte separat Paulus’ opplysning om mer enn 550 000 botbesøk på 48 timer og at hostingressursene ble brukt opp.
53
Rapportene gir støtte til hovedbildet av en kraftig trafikkøkning som rammet nettstedet. De viser derimot ikke at Meta med vilje gikk etter Paulus, eller at selskapet bevisst omgått en korrekt konfigurert blokkering. Paulus har selv sagt at hun ikke tror hendelsen var et tilsiktet angrep.
2
Robotene har ulike oppgaver
Meta-ExternalAgent beskrives som en crawler som henter innhold til blant annet trening av grunnleggende AI-modeller eller forbedring av produkter gjennom direkte indeksering.
12 Meta-WebIndexer skal på sin side bidra til søkeresultater i Meta AI, slik at innhold kan siteres og lenkes i svarene.
55
Forskjellen er relevant når en nettstedseier vurderer hvilke automatiserte besøkende som skal få tilgang. Å blokkere én crawler løser ikke nødvendigvis problemer med en annen, siden de har ulike formål og kan håndteres hver for seg.
7
Hva Meta sier nettstedseiere kan gjøre
En talsperson for Meta sa at nettstedansvarlige selv kunne bestemme hvordan selskapets crawlere samhandler med nettstedene deres.
24 I omtale av Metas reviderte kommersielle vilkår har selskapet også sagt at eiere kan bruke robots.txt til å styre tilgangen.
26 Vilkårene fikk kritikk fordi rapporteringen beskrev dem som en utvidelse av crawlernes tilgang utover annonsører.
26
En robots.txt-fil angir hvilke nettadresser en crawler kan besøke. Google beskriver protokollen som et verktøy som blant annet brukes for å unngå å overbelaste nettsteder med forespørsler.
18 Men Paulus’ erfaring illustrerer at en oppgitt kontrollmulighet ikke nødvendigvis betyr effektiv beskyttelse i praksis. Omtalen fastslår ikke nøyaktig hvordan blokkeringene hennes var satt opp, hvorfor en ny crawler dukket opp, eller om den ignorerte en gyldig instruks.
En større utfordring for små nettsteder
Paulus’ sak inngår i en bredere bekymring for at automatisert trafikk kan belaste små nettsteder. Fast Company har beskrevet hvordan nettstedseiere opplever at crawlere presser sidene de bruker til å nå kunder og selge varer.
6 For en virksomhet på delt webhotell kan trafikkøkningen gå ut over en felles ressursramme – uten at besøkene fører til salg.
DataDome rapporterte at Meta-tilknyttede roboter sto for 46,3 prosent av AI-crawlertrafikken selskapet fulgte med på i første halvår 2026.
1
51 Det gjelder trafikken DataDome observerte, ikke all trafikk på internett. Cloudflare omtaler også Meta-ExternalAgent som den nest mest aktive boten målt i forespørsler, etter Googlebot.
59 Tallene gir et bilde av omfanget av crawleraktivitet, men sier ikke hvor ofte småbedrifter faktisk får problemer med nettstedene sine.
Den viktigste lærdommen er avgrenset, men relevant: Paulus’ sak viser hvordan crawlertrafikk kan bruke opp hostingressurser og true en liten virksomhets tilstedeværelse på nett. Samtidig beviser ikke den tilgjengelige dokumentasjonen at Meta bevisst gikk etter henne, eller forklarer nøyaktig hvorfor blokkeringsforsøkene ikke virket.