답변게시됨2시간 전Last edited 1시간 전14 소스

메타 AI 크롤러가 작가의 웹사이트를 압도한 이유

보도에 따르면 메타 크롤러는 첼시 파울루스의 웹사이트에 48시간 동안 55만 회 넘게 접속했고, 쇼핑몰의 ‘장바구니에서 삭제’ 기능을 반복해서 호출해 호스팅 자원에 부담을 줬다.

게시자GPT-6 Luna로 편집GPT Image 2로 이미지 생성

연구 답변

주요 시사점

보도에 따르면 메타 크롤러는 첼시 파울루스의 웹사이트에 48시간 동안 55만 회 넘게 접속했고, 쇼핑몰의 ‘장바구니에서 삭제’ 기능을 반복해서 호출해 호스팅 자원에 부담을 줬다.

Illustration of automated web requests overwhelming a small online shop — How did Meta’s AI crawlers reportedly overwhelm the business website of San Diego children’s author and illustrator Chelsea Paulus with rougIllustrative image generated for this article; it does not depict Chelsea Paulus’s actual website.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: How did Meta’s AI crawlers reportedly overwhelm the business website of San Diego children’s author and illustrator Chelsea Paulus with roug. Article summary: The reporting supports the core account: a Meta crawler reportedly made more than 550,000 visits to Chelsea Paulus’s website in 48 hours, overwhelming its hosting resources; another report identified Meta-ExternalAgent l. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
openai.com

아동 작가이자 일러스트레이터인 첼시 파울루스의 웹사이트에 메타 크롤러가 48시간 동안 55만 회 넘게 접속해 소규모 사업자의 사이트 운영을 위태롭게 했다는 보도가 나왔다. 패스트컴퍼니는 봇이 온라인 상점의 ‘장바구니에서 삭제’ 기능에서 반복 동작을 일으켰다고 전했다. 비즈니스 인사이더도 자동화된 접속이 파울루스의 호스팅 자원에 부담을 줬다고 보도했다. 3 8

이번 사례가 보여주는 건 웹사이트 운영자가 크롤러에 방문하지 말라고 요청할 수 있다는 사실만으로 과도한 접속을 막거나 사이트를 보호할 수 있는 것은 아니라는 점이다. 다만 공개된 보도 내용만으로는 파울루스가 사용한 기술 설정이나 이후 시도한 조치를 모두 확인하기 어렵다.

‘장바구니에서 삭제’ 기능에 요청이 몰렸다

패스트컴퍼니에 따르면 Meta-ExternalAgent라는 봇은 파울루스의 사이트에서 ‘장바구니에서 삭제’ 기능을 반복 호출했다. 요청은 분당 100회를 넘었고, 며칠 사이 약 55만 회에 이르렀다. 사이트의 CPU 사용률은 80%까지 올라갔으며, 호스팅 업체는 100%에 도달하면 사이트가 중단될 수 있다고 경고했다. 3

비즈니스 인사이더 역시 메타 크롤러가 48시간 동안 사이트를 55만 회 넘게 방문해 호스팅 자원에 부담을 줬다고 전했다. 8 두 보도는 접속 규모와 그 영향에 대한 설명을 뒷받침하지만, 전체 요청 기록이나 호스팅 환경을 재구성할 정도의 세부 정보를 제공하지는 않는다.

패스트컴퍼니는 파울루스가 첫 번째 봇을 차단한 뒤 이틀 후 Meta-WebIndexer라는 다른 봇이 나타났다고 보도했다. 3 하지만 제공된 보도 내용만으로는 어떤 방식으로 차단했는지, robots.txt나 방화벽, 호스팅 업체가 제공한 코드를 시도했을 때 무슨 일이 있었는지, 두 번째 크롤러가 사이트 장애를 단독으로 일으켰는지는 확인되지 않는다.

두 크롤러는 역할이 다르다

보도에 등장한 두 크롤러는 이름만 다른 같은 도구가 아니다. 크롤러 안내 자료에 따르면 Meta-ExternalAgent는 AI 학습과 제품 색인에 쓰이고, Meta-WebIndexer는 메타 AI 검색 답변에 활용되는 색인을 구축한다. 4 따라서 사이트 운영자가 크롤러 접근을 관리할 때는 한 종류를 차단하는 것만으로 다른 크롤러의 요청까지 막을 수 있는 것은 아니라는 점을 고려해야 한다.

비즈니스 인사이더 보도에 따르면 메타는 웹사이트 관리자가 자사 크롤러와 사이트의 상호작용 방식을 결정할 수 있다고 밝혔다. 8 이는 운영자가 선택권을 가진다는 설명이다. 그러나 이 답변만으로는 대량 요청을 어떻게 방지할 수 있는지, 소규모 호스팅 상품이 어느 정도의 접속을 감당할 수 있는지는 알 수 없다.

확인된 내용과 아직 확인되지 않은 내용

보도에서 확인되는 핵심은 크롤러의 반복 요청과 접속 급증이 파울루스의 사이트 자원에 부담을 줬고, 호스팅 업체가 위험을 경고했다는 점이다. 3 8 이 보도만으로 메타가 사이트를 의도적으로 방해했다고 결론 내릴 수는 없다.

반면 댈러스 IP 주소 추적, 네 개 웹사이트가 하나의 호스팅 상품을 공유했다는 내용, 11월 2일 당시 사이트 상태, 인스타그램 링크를 삭제하거나 Cloudflare의 사람 확인 도구를 검토했다는 세부 사항은 제공된 보도 자료만으로 확인되지 않는다.

더 넓은 업계 통계도 마찬가지다. 여기 제시된 출처는 메타가 추적된 AI 트래픽의 46.3%를 차지했다거나 2026년 1월부터 6월까지 트래픽이 164.9% 증가했다는 주장, Meta-ExternalAgent가 구글봇 다음으로 많은 크롤러라는 순위를 뒷받침하지 않는다. 이런 수치를 이번 사례로 입증된 사실처럼 받아들여서는 안 된다.

크롤러 접근 제어가 사업 문제인 이유

메타는 AI 데이터 수집과 관련한 새 사업 약관을 두고 게시자들의 비판을 받았다. 더버지는 게시자들이 약관의 파장을 우려하자 메타가 시행 시점을 2026년 11월 20일로 미뤘다고 보도했다. 1 다만 약관 논쟁과 파울루스 사례의 기술적 문제는 구분해야 한다. 콘텐츠 접근을 허용하는 약관이 있다고 해서 개별 웹사이트가 갑작스러운 요청 증가를 감당할 수 있는지는 알 수 없다.

소규모 사이트 운영자에게 현실적인 쟁점은 서버 자원이다. 크롤러를 차단하면 사이트 콘텐츠에 대한 접근을 제한할 수 있지만, 허용하면 일부 검색이나 노출 경로를 유지할 수도 있다. 어느 쪽이 적절한지는 사이트의 목표와 인프라에 따라 다르다. 파울루스의 사례는 그 선택에 한계가 있음을 보여준다. 크롤러 접근을 통제할 수 있다는 것과 사이트가 과도한 요청으로부터 안전하다는 것은 같은 말이 아니다.

Studio Global AI

연구를 계속하세요

이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.

Studio Global AI로 검색 및 팩트체크

사람들은 또한 묻습니다.