답변게시됨3시간 전Last edited 3시간 전22 소스

메타 크롤러가 작가의 웹사이트를 멈춰 세웠다는 주장

첼시 폴러스는 메타 크롤러가 48시간 동안 자신의 웹사이트에 55만 건 넘게 요청을 보내 호스팅 자원이 한계에 이르렀다고 밝혔다.[53] 보도에 따르면 Meta ExternalAgent가 장바구니의 ‘remove from cart’ 기능을 반복 호출했고, 차단 시도 뒤에는 Meta WebIndexer가 나타나 사이트가 다운됐다.[6] 메타는 웹사이트 운영자가 크롤러의 접근을 관리할 수 있다고 밝혔지만, 공개된 자료만으로는 폴러스의 차단 설정이 왜 효과를 내지 못했는지 확인되지 않는다.[24]

게시자GPT-6 Luna로 편집GPT Image 2로 이미지 생성

Studio Global AI로 검색 및 팩트체크 인기 페이지 더 보기

연구 답변

주요 시사점

첼시 폴러스는 메타 크롤러가 48시간 동안 자신의 웹사이트에 55만 건 넘게 요청을 보내 호스팅 자원이 한계에 이르렀다고 밝혔다.[53]
보도에 따르면 Meta ExternalAgent가 장바구니의 ‘remove from cart’ 기능을 반복 호출했고, 차단 시도 뒤에는 Meta WebIndexer가 나타나 사이트가 다운됐다.[6]
메타는 웹사이트 운영자가 크롤러의 접근을 관리할 수 있다고 밝혔지만, 공개된 자료만으로는 폴러스의 차단 설정이 왜 효과를 내지 못했는지 확인되지 않는다.[24]

Conceptual illustration of automated web requests crowding a small business website — How did Meta’s AI crawlers allegedly disrupt the business website of San Diego children’s author and illustrator Chelsea Paulus, including SAn editorial illustration of crawler traffic putting pressure on a small business website.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: How did Meta’s AI crawlers allegedly disrupt the business website of San Diego children’s author and illustrator Chelsea Paulus, including S. Article summary: Paulus alleged that Meta’s automated crawlers exhausted her website’s hosting resources rather than bringing paying customers, leaving her business site effectively offline; Business Insider’s report confirms her allegat. Topic tags: general, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fak
openai.com

자동화된 접속은 악의가 입증되지 않더라도 소규모 사업자의 웹사이트에 실질적인 부담을 줄 수 있다. 샌디에이고의 아동 작가 겸 삽화가 첼시 폴러스는 메타 크롤러가 자신의 사이트를 압도했다고 밝혔다. 보도에 따르면 48시간 동안 55만 건이 넘는 요청이 발생했고, 호스팅 자원도 한계에 다다랐다.53

이번 사례가 던지는 질문은 단순히 크롤러가 사이트를 방문했느냐가 아니다. 크롤러의 요청이 호스팅 요금제의 자원을 소진해 사업자의 온라인 창구를 위협할 때, 사이트 운영자는 얼마나 효과적으로 이를 막을 수 있을까?

장바구니 기능을 반복 호출한 크롤러

폴러스는 네 개의 웹사이트를 SiteGround의 공유 호스팅 요금제 하나로 운영하고 있었다. 10월 24일 SiteGround는 요금제에 할당된 CPU 사용량의 80%를 썼다는 경고를 보냈다.2 이는 공유 요금제의 자원 사용량을 가리키며, 메타 하나가 프로세서의 80%를 계속 점유했다는 뜻은 아니다.

Fast Company 보도에 따르면 Meta-ExternalAgent는 폴러스의 사이트에서 ‘remove from cart’ 기능을 반복 호출했다. 요청은 분당 100건을 넘었고, 이후 며칠 동안 약 55만 건으로 늘었다. 폴러스가 해당 크롤러를 차단한 뒤 이틀 만에 Meta-WebIndexer가 나타났으며, 보도에 따르면 CPU 사용량은 100%에 이르고 사이트가 다운됐다.6 Business Insider도 48시간 동안 55만 건이 넘는 봇 방문이 발생해 호스팅 자원이 소진됐다는 폴러스의 설명을 전했다.53

이 보도들은 사이트에 큰 트래픽 급증이 있었다는 전반적인 상황을 뒷받침한다. 하지만 메타가 폴러스를 의도적으로 겨냥했거나, 유효하게 설정된 차단을 일부러 우회했다고 입증하지는 않는다. 폴러스 역시 고의적인 공격이라고 생각하지 않는다고 말했다.2

이름은 비슷해도 역할은 다르다

Meta-ExternalAgent는 기초 AI 모델 학습이나 콘텐츠를 직접 색인해 제품을 개선하는 등의 목적으로 웹 콘텐츠를 수집하는 크롤러로 설명된다.12 반면 Meta-WebIndexer는 메타 AI 검색 결과를 지원해 답변에 콘텐츠를 인용하고 링크하는 데 쓰이는 것으로 소개된다.55

두 크롤러의 목적이 다르다는 점은 사이트 운영자가 어떤 자동화 방문을 허용할지 결정할 때 중요하다. 한 크롤러를 차단했다고 해서 다른 크롤러의 활동까지 자동으로 막히는 것은 아니다. 각각의 크롤러를 별도로 관리할 수 있기 때문이다.7

‘통제할 수 있다’는 설명과 실제 차단 사이

메타 대변인은 웹사이트 운영자가 자사 크롤러가 사이트와 상호작용하는 방식을 결정할 수 있다고 밝혔다.24 메타의 개정된 상업 약관을 다룬 보도에서도 회사는 사이트 운영자가 robots.txt를 이용해 크롤러 접근을 관리할 수 있다고 설명했다.26 다만 해당 약관이 광고주를 넘어 크롤링 권한을 확대하는 것으로 보도되면서 논란이 일었다.26

robots.txt는 크롤러가 어떤 URL에 접근할 수 있는지 알리는 파일이다. 구글은 이 프로토콜이 주로 요청으로 사이트에 과부하가 걸리는 것을 막기 위해 쓰인다고 설명한다.18 그러나 운영자가 접근을 관리할 수 있다는 안내만으로 실제 보호가 보장되는 것은 아니다. 공개된 보도만으로는 폴러스의 차단 설정이 정확히 어떻게 구성됐는지, 두 번째 크롤러가 왜 나타났는지, 유효한 지시를 따르지 않았는지 확인할 수 없다.

소규모 사이트가 감당해야 하는 비용

폴러스의 경험은 자동화 트래픽이 고객을 만나고 상품을 판매하는 소규모 웹사이트에 부담을 줄 수 있다는 더 넓은 우려와 맞닿아 있다. Fast Company는 크롤러로 인해 사이트 운영에 어려움을 겪는 사업자들의 사례를 전했다.6 공유 호스팅을 이용하는 사업자는 갑작스러운 요청 급증으로 여러 사이트가 함께 쓰는 자원이 영향을 받을 수 있다. 방문이 매출로 이어지지 않더라도 말이다.

DataDome은 2026년 상반기 자사가 추적한 AI 크롤러 트래픽 가운데 메타 계열 봇이 46.3%를 차지했다고 보고했다.1 51 이는 DataDome이 관측한 트래픽 안에서의 비중이지, 인터넷 전체 트래픽에서 차지하는 비율은 아니다. Cloudflare의 2026년 안내 자료도 Meta-ExternalAgent가 요청 수 기준으로 Googlebot 다음으로 활발한 봇이라고 설명한다.59 이런 수치는 크롤러 활동의 규모를 보여주는 맥락이지만, 개별 소규모 사이트에서 장애가 얼마나 자주 발생하는지를 말해주지는 않는다.

분명하게 말할 수 있는 결론은 제한적이지만 중요하다. 폴러스가 전한 사례는 크롤러 활동이 호스팅 자원을 소모하고 작은 사업체의 온라인 운영을 위협할 수 있음을 보여준다. 다만 현재 공개된 자료는 메타의 고의적인 표적화 여부를 입증하지 않으며, 차단 시도가 왜 효과를 내지 못했는지도 설명하지 않는다.

Studio Global AI

연구를 계속하세요

이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.

Studio Global AI로 검색 및 팩트체크

사람들은 또한 묻습니다.