据报道，Meta的一款爬虫在48小时内访问儿童作家兼插画师切尔西·保卢斯的网站逾55万次，给她的小型商业网站带来沉重负担。Fast Company称，爬虫卡在网店的“从购物车移除”功能上；Business Insider也报道，这些自动请求挤占了网站的托管资源。38

这起事件揭示了网站经营者面临的现实难题：即使网站能通过某种方式表达“不希望爬虫访问”，也不等于能避免大量请求造成的压力。不过，现有报道并未核实保卢斯采用的全部技术设置，也没有交代她之后尝试的每一种处理办法。

网站发生了什么

Fast Company报道，名为Meta-ExternalAgent的爬虫反复请求“从购物车移除”功能，每分钟发起逾100次访问，随后几天累计约55万次。报道还称，网站CPU使用率升至80%，托管服务商警告说，如果达到100%，网站可能无法继续运行。3

Business Insider也称，Meta爬虫在48小时内访问保卢斯的网站逾55万次，令托管资源不堪重负。8 这些报道说明了流量规模及其影响，但没有提供足够细节，供外界独立还原完整的请求日志或托管配置。

Fast Company还报道，保卢斯屏蔽了第一个爬虫；两天后，另一个名为Meta-WebIndexer的爬虫似乎又出现了。3 现有材料无法确认她具体如何屏蔽爬虫，也没有证实她尝试robots.txt、防火墙或主机服务商提供的代码时究竟发生了什么；后续爬虫是否单独导致网站故障，同样无法确定。

两种爬虫，功能并不相同

报道中的两个名称并非同一工具的不同叫法。爬虫指南将Meta-ExternalAgent与AI训练及产品索引联系起来；Meta-WebIndexer则用于建立供Meta AI搜索答案使用的索引。4 对网站经营者来说，这一区别很重要：屏蔽一种爬虫，不一定能阻止另一种爬虫发出的请求。

Business Insider报道，Meta的回应是，网站管理者可以决定Meta的爬虫如何与自己的网站互动。8 这说明网站经营者拥有一定的访问控制选择，但并没有单独解释如何防止请求量激增，也没有说明小型托管方案能承受多大流量。

这起事件能说明什么，不能说明什么

现有报道支持事件的核心经过：爬虫循环请求与流量骤增有关，保卢斯的托管服务商也警告网站资源正承受压力。38 但报道并未证明Meta有意干扰网站。现有材料也无法核实有关达拉斯IP地址、四个网站共用一个托管方案、网站在11月2日的具体状况，以及她打算移除Instagram链接、考虑使用Cloudflare人机验证工具等细节。

对更宏观的数据也应保持谨慎。这里提供的来源不足以证实Meta占被追踪AI流量46.3%、其流量在2026年1月至6月增长164.9%，或Meta-ExternalAgent的排名仅次于Googlebot。不能把这些数字视为这起个案已经证实的事实。

爬虫访问控制为何成了经营问题

Meta因与AI抓取相关的拟议商业条款受到出版商批评。The Verge报道，在出版商提出担忧后，Meta将相关条款的执行时间推迟至2026年11月20日。1 这场争议与保卢斯遭遇的技术问题有关联，但两者并非一回事：规定网站访问的条款，并不能说明单个网站是否有能力承受短时间内涌入的大量请求。

对小型网站而言，关键是自身资源能否应付流量。屏蔽爬虫可能限制内容被访问；允许爬虫访问，则可能有助于某些形式的发现或索引。具体取舍取决于网站目标和基础设施。保卢斯的遭遇让这种选择的边界变得清晰：能够控制爬虫访问很有用，但这并不等于网站因此获得了不会被流量压垮的保障。

据报道，Meta的一款爬虫在48小时内访问儿童作家兼插画师切尔西·保卢斯的网站逾55万次，给她的小型商业网站带来沉重负担。Fast Company称，爬虫卡在网店的“从购物车移除”功能上；Business Insider也报道，这些自动请求挤占了网站的托管资源。38

这起事件揭示了网站经营者面临的现实难题：即使网站能通过某种方式表达“不希望爬虫访问”，也不等于能避免大量请求造成的压力。不过，现有报道并未核实保卢斯采用的全部技术设置，也没有交代她之后尝试的每一种处理办法。

网站发生了什么

Fast Company报道，名为Meta-ExternalAgent的爬虫反复请求“从购物车移除”功能，每分钟发起逾100次访问，随后几天累计约55万次。报道还称，网站CPU使用率升至80%，托管服务商警告说，如果达到100%，网站可能无法继续运行。3

Business Insider也称，Meta爬虫在48小时内访问保卢斯的网站逾55万次，令托管资源不堪重负。8 这些报道说明了流量规模及其影响，但没有提供足够细节，供外界独立还原完整的请求日志或托管配置。

Fast Company还报道，保卢斯屏蔽了第一个爬虫；两天后，另一个名为Meta-WebIndexer的爬虫似乎又出现了。3 现有材料无法确认她具体如何屏蔽爬虫，也没有证实她尝试robots.txt、防火墙或主机服务商提供的代码时究竟发生了什么；后续爬虫是否单独导致网站故障，同样无法确定。

两种爬虫，功能并不相同

报道中的两个名称并非同一工具的不同叫法。爬虫指南将Meta-ExternalAgent与AI训练及产品索引联系起来；Meta-WebIndexer则用于建立供Meta AI搜索答案使用的索引。4 对网站经营者来说，这一区别很重要：屏蔽一种爬虫，不一定能阻止另一种爬虫发出的请求。

Business Insider报道，Meta的回应是，网站管理者可以决定Meta的爬虫如何与自己的网站互动。8 这说明网站经营者拥有一定的访问控制选择，但并没有单独解释如何防止请求量激增，也没有说明小型托管方案能承受多大流量。

这起事件能说明什么，不能说明什么

现有报道支持事件的核心经过：爬虫循环请求与流量骤增有关，保卢斯的托管服务商也警告网站资源正承受压力。38 但报道并未证明Meta有意干扰网站。现有材料也无法核实有关达拉斯IP地址、四个网站共用一个托管方案、网站在11月2日的具体状况，以及她打算移除Instagram链接、考虑使用Cloudflare人机验证工具等细节。

对更宏观的数据也应保持谨慎。这里提供的来源不足以证实Meta占被追踪AI流量46.3%、其流量在2026年1月至6月增长164.9%，或Meta-ExternalAgent的排名仅次于Googlebot。不能把这些数字视为这起个案已经证实的事实。

爬虫访问控制为何成了经营问题

Meta因与AI抓取相关的拟议商业条款受到出版商批评。The Verge报道，在出版商提出担忧后，Meta将相关条款的执行时间推迟至2026年11月20日。1 这场争议与保卢斯遭遇的技术问题有关联，但两者并非一回事：规定网站访问的条款，并不能说明单个网站是否有能力承受短时间内涌入的大量请求。

对小型网站而言，关键是自身资源能否应付流量。屏蔽爬虫可能限制内容被访问；允许爬虫访问，则可能有助于某些形式的发现或索引。具体取舍取决于网站目标和基础设施。保卢斯的遭遇让这种选择的边界变得清晰：能够控制爬虫访问很有用，但这并不等于网站因此获得了不会被流量压垮的保障。