自动请求即使并非出于恶意，也可能给小企业带来实际成本。圣迭戈儿童作家、插画师切尔西·保卢斯称，Meta 爬虫的大量访问让她的网站不堪重负。媒体报道称，网站在48小时内收到超过55万次请求，主机资源也被推至极限。53 这起事件引出一个现实问题：当爬虫流量开始挤占维持网站运行的主机资源时，网站经营者究竟能有多少有效控制权？

网站发生了什么

保卢斯的4个网站共用一套 SiteGround 主机方案。10月24日，SiteGround 发出提醒，称该方案已使用80%的 CPU 配额。2 这里指的是共享主机方案的资源使用情况，并不意味着 Meta 单独占用了处理器的80%。

据《Fast Company》报道，名为 Meta-ExternalAgent 的爬虫反复调用网站的“从购物车移除”功能，每分钟产生超过100次请求，随后几天累计约55万次。保卢斯屏蔽该爬虫后，两天后又出现了 Meta-WebIndexer；《Fast Company》称网站 CPU 使用率达到100%，随后崩溃。6《Business Insider》也报道了保卢斯所说的情况：48小时内出现超过55万次机器人访问，主机资源被大量消耗。53

这些报道勾勒出了一次造成影响的流量激增，但不能证明 Meta 是有意针对保卢斯，也不能证明它故意绕过了配置正确的屏蔽规则。保卢斯本人表示，她不认为这次事件是蓄意攻击。2

两种爬虫，用途不同

Meta-ExternalAgent 被描述为用于抓取内容，以训练基础人工智能模型，或通过直接索引内容来改进产品。12 Meta-WebIndexer 则被描述为支持 Meta AI 搜索结果，让内容能够在回答中被引用并附上链接。55

对网站经营者来说，区分爬虫用途有助于判断是否允许访问。屏蔽一种爬虫，不一定能阻止另一种，因为它们承担不同任务，也可能需要分别管理。7

Meta 称网站管理者可以控制爬虫访问

Meta 发言人表示，网站管理者可以决定公司的爬虫如何与其网站互动。24 在有关 Meta 修订商业条款的报道中，公司还表示，网站所有者可以通过 robots.txt 管理爬虫访问。26 相关条款受到关注，是因为报道指出其扩大了广告客户以外的爬取权限。26

robots.txt 文件会向爬虫说明哪些网址可以访问；Google 表示，这套机制主要用于避免请求过多、给网站造成负担。18 但保卢斯的经历也说明，名义上的控制手段与实际保护效果未必是一回事：现有报道没有说明她具体如何设置屏蔽规则、第二种爬虫为何出现，也无法确认它是否忽略了有效指令。

小网站面对的更大难题

保卢斯的遭遇反映了外界对自动流量给小网站带来负担的担忧。《Fast Company》报道称，一些网站经营者正努力应对可能拖慢网站的爬虫，而这些网站承担着吸引客户、销售商品等商业功能。6 对使用共享主机的小企业来说，突发流量可能挤占共享资源，即使这些访问并没有带来销售。

DataDome 报告称，在其2026年上半年追踪的 AI 爬虫流量中，Meta 相关机器人占46.3%。151 这个比例反映的是 DataDome 观测到的流量，并非全网流量。Cloudflare 的2026年说明也称，按请求数量计算，Meta-ExternalAgent 是仅次于 Googlebot 的活跃机器人。59 这些数据展现了爬虫活动的规模，但无法说明小企业网站因此受扰的频率。

目前最明确的结论是：保卢斯所述经历显示，爬虫流量可能大量消耗主机资源，威胁小企业的线上运营；但现有证据不足以证明存在蓄意针对，也无法解释她尝试屏蔽后问题为何仍然出现。

自动请求即使并非出于恶意，也可能给小企业带来实际成本。圣迭戈儿童作家、插画师切尔西·保卢斯称，Meta 爬虫的大量访问让她的网站不堪重负。媒体报道称，网站在48小时内收到超过55万次请求，主机资源也被推至极限。53 这起事件引出一个现实问题：当爬虫流量开始挤占维持网站运行的主机资源时，网站经营者究竟能有多少有效控制权？

网站发生了什么

保卢斯的4个网站共用一套 SiteGround 主机方案。10月24日，SiteGround 发出提醒，称该方案已使用80%的 CPU 配额。2 这里指的是共享主机方案的资源使用情况，并不意味着 Meta 单独占用了处理器的80%。

据《Fast Company》报道，名为 Meta-ExternalAgent 的爬虫反复调用网站的“从购物车移除”功能，每分钟产生超过100次请求，随后几天累计约55万次。保卢斯屏蔽该爬虫后，两天后又出现了 Meta-WebIndexer；《Fast Company》称网站 CPU 使用率达到100%，随后崩溃。6《Business Insider》也报道了保卢斯所说的情况：48小时内出现超过55万次机器人访问，主机资源被大量消耗。53

这些报道勾勒出了一次造成影响的流量激增，但不能证明 Meta 是有意针对保卢斯，也不能证明它故意绕过了配置正确的屏蔽规则。保卢斯本人表示，她不认为这次事件是蓄意攻击。2

两种爬虫，用途不同

Meta-ExternalAgent 被描述为用于抓取内容，以训练基础人工智能模型，或通过直接索引内容来改进产品。12 Meta-WebIndexer 则被描述为支持 Meta AI 搜索结果，让内容能够在回答中被引用并附上链接。55

对网站经营者来说，区分爬虫用途有助于判断是否允许访问。屏蔽一种爬虫，不一定能阻止另一种，因为它们承担不同任务，也可能需要分别管理。7

Meta 称网站管理者可以控制爬虫访问

Meta 发言人表示，网站管理者可以决定公司的爬虫如何与其网站互动。24 在有关 Meta 修订商业条款的报道中，公司还表示，网站所有者可以通过 robots.txt 管理爬虫访问。26 相关条款受到关注，是因为报道指出其扩大了广告客户以外的爬取权限。26

robots.txt 文件会向爬虫说明哪些网址可以访问；Google 表示，这套机制主要用于避免请求过多、给网站造成负担。18 但保卢斯的经历也说明，名义上的控制手段与实际保护效果未必是一回事：现有报道没有说明她具体如何设置屏蔽规则、第二种爬虫为何出现，也无法确认它是否忽略了有效指令。

小网站面对的更大难题

保卢斯的遭遇反映了外界对自动流量给小网站带来负担的担忧。《Fast Company》报道称，一些网站经营者正努力应对可能拖慢网站的爬虫，而这些网站承担着吸引客户、销售商品等商业功能。6 对使用共享主机的小企业来说，突发流量可能挤占共享资源，即使这些访问并没有带来销售。

DataDome 报告称，在其2026年上半年追踪的 AI 爬虫流量中，Meta 相关机器人占46.3%。151 这个比例反映的是 DataDome 观测到的流量，并非全网流量。Cloudflare 的2026年说明也称，按请求数量计算，Meta-ExternalAgent 是仅次于 Googlebot 的活跃机器人。59 这些数据展现了爬虫活动的规模，但无法说明小企业网站因此受扰的频率。

目前最明确的结论是：保卢斯所述经历显示，爬虫流量可能大量消耗主机资源，威胁小企业的线上运营；但现有证据不足以证明存在蓄意针对，也无法解释她尝试屏蔽后问题为何仍然出现。