Jacob Coxon 辞职离开 Anthropic，是对他所认为的前沿 AI 危险竞争逻辑的一次公开抗议：企业正在争相打造更自主、甚至可能自我改进的系统，但人类尚未掌握足以可靠控制它们的方法。Coxon 表示，自己曾在 Anthropic 和 OpenAI 从事预训练研究，并认为两家公司都没有做到足够负责任。23

他的核心指控：能力进展快过控制能力

Coxon 在 X 上发文称，Anthropic 和 OpenAI 正“直奔可自我改进的超级智能，并拿我们的生命下注”。他的重点并不是说当前的聊天机器人马上会自行引发人类灭绝；他担忧的是，未来的系统可能在网络安全等高影响领域全面超越人类，在人类能可靠地让其遵循人类目标之前，就已获得实质性的权力、资源或行动能力。358

这一区别很关键。Coxon 的论点本质上关乎能力升级与治理之间的时间差：若系统能力迅速跃升，而安全研究和监管机制未能同步，最终一旦出现失控，后果可能极其严重——即使当下的模型仍存在明显局限。

他为何选择离开

Coxon 对 BBC 表示，从事先进 AI 开发的人“确实感到害怕”，因为技术进展太快。他称，若不放慢当前进度，“在不久的将来我们所有人都可能死亡”的概率很高。1

他还认为，真正有效的减速不能只靠一家企业或一个国家单独行动。若没有国际协调——其中也包括与中国进行协调——更谨慎的一方可能只是把最前沿的研发让给其他地方。1

因此，他的辞职更像是对前沿模型研发激励机制的否定，而非指控自己曾亲眼见到 Anthropic 发生某起具体的安全事故。有关其离职的报道将他的核心担忧概括为：各家公司正在竞相开发可能无法控制的系统。2

其他 AI 安全研究者如何回应

Anthropic 的对齐研究员 Evan Hubinger 支持 Coxon 的大体担忧。Hubinger 表示，现有模型带来的风险较低；但他个人估计，未来十年 AI 导致全人类死亡的可能性超过 10%。13

这个数字需要谨慎解读。它是针对低概率、高后果未来情景的主观判断，而不是已经被实证研究确立的预测。围绕 Coxon 辞职的报道显示，研究者对时间表、发生概率及应采取何种防护措施存在尖锐分歧；这些报道并不能证明“人类灭绝迫在眉睫”已是科学共识。13

更迫切的风险：网络滥用与能力加速

这场讨论中较为具体的担忧，更接近网络攻击滥用、危险实验以及能力日益增强的智能体，而不是电影式的“AI 突然自行攻击人类”。

相关报道提到，高级模型可能协助网络入侵及其他高影响滥用行为；报道还提及一起据称涉及 OpenAI 智能体与 Hugging Face 的事件。不过，现有报道没有提供足够的第一手材料，无法独立确认该事件的确切经过、授权情况或影响范围。263

实际的重点在于，不应让关于未来超级智能的宏大说法遮蔽当下更可检验的问题：模型究竟能做什么？发布前如何评估？滥用行为能否被发现？又由谁来独立核验实验室的安全声明？

Amodei 的方案：给前沿发展“控速”，而不是全面叫停 AI

在 Coxon 发出警告后不久，Anthropic 首席执行官 Dario Amodei 在题为《We Must Pace the Frontier》的文章中呼吁放慢前沿模型能力提升的速度。这并不是主张全面停止 AI 研发，而是希望为风险防范争取时间，使其能够跟上能力快速进步的步伐。1

报道所述的框架包括：

• 对前沿模型实施独立监测与评估；
• 在行业及民主国家之间建立共同的安全标准；
• 最终推动国际层面的 AI 治理协调，其中包括与中国接触和协作。1

OpenAI 首席执行官 Sam Altman 公开支持这一总体方向，并称让独立评估者获得类似员工级别的访问权限是个好主意。Elon Musk 也表示支持 Amodei 的呼吁，写道：“Dario 是对的。”1

为何批评者将其视为竞争政策问题

来自最大前沿实验室的安全倡议，既获得支持，也引发质疑。批评者包括 Hugging Face 首席执行官 Clément Delangue；他们认为，严格限制前沿模型的规则，可能让最有资金实力、最能承担合规成本的公司占据优势。13

这一批评并不意味着 Coxon 的担忧不真诚，而是提出了另一个问题：安全监管是否可能一面降低真实风险，一面将权力集中到少数既有大型实验室手中？

这正是争论的核心。可信的治理体系需要加强对最强系统的监督，同时避免把安全要求变成少数公司的“护城河”。

结论：争议不只在于 AI 会不会失控，也在于谁来监督

Coxon 离职，是因为他认定领先 AI 公司之间的竞赛本身就是风险来源：推动能力进步的激励，可能压过建立控制机制、测试体系和国际协调所需的时间。23

他最引人震动的表述仍存在争议。它反映了一部分 AI 从业者的严肃担忧，但不是“人类灭绝即将发生”的证据。更紧迫的政策挑战，是为能力不断增强的系统建立可被独立验证的保障措施，同时确保这些措施不会只是巩固正在开发这些系统的少数公司的市场地位。113

Jacob Coxon 辞职离开 Anthropic，是对他所认为的前沿 AI 危险竞争逻辑的一次公开抗议：企业正在争相打造更自主、甚至可能自我改进的系统，但人类尚未掌握足以可靠控制它们的方法。Coxon 表示，自己曾在 Anthropic 和 OpenAI 从事预训练研究，并认为两家公司都没有做到足够负责任。23

他的核心指控：能力进展快过控制能力

Coxon 在 X 上发文称，Anthropic 和 OpenAI 正“直奔可自我改进的超级智能，并拿我们的生命下注”。他的重点并不是说当前的聊天机器人马上会自行引发人类灭绝；他担忧的是，未来的系统可能在网络安全等高影响领域全面超越人类，在人类能可靠地让其遵循人类目标之前，就已获得实质性的权力、资源或行动能力。358

这一区别很关键。Coxon 的论点本质上关乎能力升级与治理之间的时间差：若系统能力迅速跃升，而安全研究和监管机制未能同步，最终一旦出现失控，后果可能极其严重——即使当下的模型仍存在明显局限。

他为何选择离开

Coxon 对 BBC 表示，从事先进 AI 开发的人“确实感到害怕”，因为技术进展太快。他称，若不放慢当前进度，“在不久的将来我们所有人都可能死亡”的概率很高。1

他还认为，真正有效的减速不能只靠一家企业或一个国家单独行动。若没有国际协调——其中也包括与中国进行协调——更谨慎的一方可能只是把最前沿的研发让给其他地方。1

因此，他的辞职更像是对前沿模型研发激励机制的否定，而非指控自己曾亲眼见到 Anthropic 发生某起具体的安全事故。有关其离职的报道将他的核心担忧概括为：各家公司正在竞相开发可能无法控制的系统。2

其他 AI 安全研究者如何回应

Anthropic 的对齐研究员 Evan Hubinger 支持 Coxon 的大体担忧。Hubinger 表示，现有模型带来的风险较低；但他个人估计，未来十年 AI 导致全人类死亡的可能性超过 10%。13

这个数字需要谨慎解读。它是针对低概率、高后果未来情景的主观判断，而不是已经被实证研究确立的预测。围绕 Coxon 辞职的报道显示，研究者对时间表、发生概率及应采取何种防护措施存在尖锐分歧；这些报道并不能证明“人类灭绝迫在眉睫”已是科学共识。13

更迫切的风险：网络滥用与能力加速

这场讨论中较为具体的担忧，更接近网络攻击滥用、危险实验以及能力日益增强的智能体，而不是电影式的“AI 突然自行攻击人类”。

相关报道提到，高级模型可能协助网络入侵及其他高影响滥用行为；报道还提及一起据称涉及 OpenAI 智能体与 Hugging Face 的事件。不过，现有报道没有提供足够的第一手材料，无法独立确认该事件的确切经过、授权情况或影响范围。263

实际的重点在于，不应让关于未来超级智能的宏大说法遮蔽当下更可检验的问题：模型究竟能做什么？发布前如何评估？滥用行为能否被发现？又由谁来独立核验实验室的安全声明？

Amodei 的方案：给前沿发展“控速”，而不是全面叫停 AI

在 Coxon 发出警告后不久，Anthropic 首席执行官 Dario Amodei 在题为《We Must Pace the Frontier》的文章中呼吁放慢前沿模型能力提升的速度。这并不是主张全面停止 AI 研发，而是希望为风险防范争取时间，使其能够跟上能力快速进步的步伐。1

报道所述的框架包括：

• 对前沿模型实施独立监测与评估；
• 在行业及民主国家之间建立共同的安全标准；
• 最终推动国际层面的 AI 治理协调，其中包括与中国接触和协作。1

OpenAI 首席执行官 Sam Altman 公开支持这一总体方向，并称让独立评估者获得类似员工级别的访问权限是个好主意。Elon Musk 也表示支持 Amodei 的呼吁，写道：“Dario 是对的。”1

为何批评者将其视为竞争政策问题

来自最大前沿实验室的安全倡议，既获得支持，也引发质疑。批评者包括 Hugging Face 首席执行官 Clément Delangue；他们认为，严格限制前沿模型的规则，可能让最有资金实力、最能承担合规成本的公司占据优势。13

这一批评并不意味着 Coxon 的担忧不真诚，而是提出了另一个问题：安全监管是否可能一面降低真实风险，一面将权力集中到少数既有大型实验室手中？

这正是争论的核心。可信的治理体系需要加强对最强系统的监督，同时避免把安全要求变成少数公司的“护城河”。

结论：争议不只在于 AI 会不会失控，也在于谁来监督

Coxon 离职，是因为他认定领先 AI 公司之间的竞赛本身就是风险来源：推动能力进步的激励，可能压过建立控制机制、测试体系和国际协调所需的时间。23

他最引人震动的表述仍存在争议。它反映了一部分 AI 从业者的严肃担忧，但不是“人类灭绝即将发生”的证据。更紧迫的政策挑战，是为能力不断增强的系统建立可被独立验证的保障措施，同时确保这些措施不会只是巩固正在开发这些系统的少数公司的市场地位。113