这场关于AI会不会导致人类灭绝的争论，并不只是“AI安全”与“AI危险”两派的对立。核心分歧在于：能力会以多快速度跃升、一个模型须具备哪些条件才可能造成不可逆伤害，以及在实施更严格约束前，社会应要求企业拿出多少证据。

近期，曾在头部AI实验室任职的研究人员接连发出警告，使讨论升温。但值得注意的是，即便是反对“灭绝论”的人士，往往也并不反对测试和安全措施。政策问题正越来越集中于一点：随着系统能力增强，开发者能否证明自己确实仍能控制它，并能安全部署它。

内部人士的警告：一场可能失去控制的竞赛

曾任Anthropic研究员、并称自己也曾在OpenAI工作过的Jacob Coxon，于2026年9月辞职。他认为，两家公司将竞争置于负责任开发之前，正奔向“可自我改进的超级智能”。49

Anthropic对齐科学负责人Evan Hubinger公开支持了这一警告。他表示，自己个人认为未来十年AI杀死全人类的概率超过10%；同时也说，Anthropic尚未有解决超级智能“对齐”问题的方案。这里的“对齐”，指让AI系统的目标、行为和约束持续符合人类意图与安全边界。16 报道强调，这一比例是他的个人判断，不是科学共识，也不是通过实证模型计算出的灭绝概率。12

前Google DeepMind研究人员Bilal Chughtai也提出类似担忧：他认为AI有可能杀死所有人，而避免这一结果的时间窗口或许正在缩小。2

这类论点通常不是说今天的聊天机器人会突然自行变得危险。它们所担心的是一条有条件的演变路径：未来系统可能显著加快AI研发、拥有更高自主性、逃避有效的人类监督，或以快于安全技术进步的速度，放大网络攻击、生物技术或对机构系统的影响力。这样的路径是否现实、又会在多短时间内出现，正是争论焦点。

“10%概率”不是已经坐实的预测

Hubinger的数字之所以格外吸睛，在于它出自一位资深对齐研究者之口，也足够严峻。但应当准确理解：这是在高度不确定性下作出的个人风险判断，不是能由历史数据验证的概率，也不是可以精确测量灭绝风险的模型结论。12

这一判断至少依赖以下尚未解决的假设：

• AI系统必须变得远强于当前模型；
• 这种能力必须转化为持续的战略自主性，或在现实中造成伤害的力量；
• 现有技术控制、运营者、制度安排与反制措施都未能成功遏制系统或对系统的滥用；
• 安全与对齐研究未能跟上能力增长的速度。

这条链上的每一环都可以单独讨论。它不意味着担忧无足轻重，而是意味着媒体标题中的概率数字，不应被误读成已经被证明的预言。

质疑者的观点：数字智能不等于现实世界的支配力

质疑者反对从软件、语言任务中的出色表现，直接跳跃到“能够造成灭绝级现实伤害”的结论。生物技术是一个常被提及的例子。Eric Xing指出，用语言模型生成一份假想病毒基因组，与制造出真正可存活的病毒是两回事：材料获取、制造过程、生物可行性、实验室操作和测试，都是独立门槛。46

这种区分十分关键。模型可以提供信息或设计，但把它们转化为现实伤害，往往仍需专门设施、难以文本化的实践经验、供应链、反复实验，以及受控材料的获取渠道。这些约束并不代表生物安全风险为零，却确实挑战了“数字能力一出现，就立刻获得决定性现实能力”的假设。

英伟达CEO黄仁勋是最直言不讳的灭绝论批评者之一，曾称“AI将终结人类”的说法“完全是无稽之谈”。33 马克·库班则认为，人们面对耸动警报时可能作出的反应，或许比AI智能体集群本身更危险。43

因此，质疑立场并不必然等于“前沿AI不需要防护”。它的重点是：对于“近期将导致人类灭绝”这样极不寻常的主张，不能只靠从当下模型表现延伸出的推测性路径，而应有更强的证据支撑。

逐步提速、验证安全：正在形成的中间路线

更具操作性的回应，来自既不把灭绝视为必然、也不把它一概否定的行业领导者。Anthropic CEO达里奥·阿莫代伊（Dario Amodei）呼吁放缓AI模型能力提升的速度，为安全工作争取时间。他提出的框架包括：让独立评估者以近似员工的权限嵌入企业，以及推动前沿AI公司之间协调行动。18

路透社报道称，OpenAI CEO萨姆·奥尔特曼（Sam Altman）是支持协调减速的领导者之一，但业界对于应多大程度依靠市场自发安全机制仍存在分歧。19 另有报道说，奥尔特曼支持引入外部评估者，作为这一方案的一部分。20

这一思路将讨论从抽象预测转为可检验的实践：

1. 独立评估： 让具备资质的外部审查者获得有意义的访问权限，核验安全主张，而不只依赖公司自述。18
2. 基于能力的门槛： 当模型在网络操作、自主智能体行为等危险领域表现出实质性跃升时，提高审查强度或限制部署。
3. 实验室之间的协调： 降低企业为避免落后竞争对手而压缩安全余量的动机。18
4. 国际合作： 在政府与主要AI开发者之间协调标准，并通过安排减少在安全措施不足时仓促部署的竞争压力。27
5. 安全进步须与能力进步同步： 把已经证明有效的控制、监测和响应能力，视为更强系统上线的前提条件。

长期灾难担忧，会不会挤压对眼前风险的关注？

另一项批评指向资源与注意力的分配。即使灾难性风险值得研究和制定预案，若讨论过度聚焦于高度推测性的灭绝场景，也可能掩盖已经与先进AI系统及其部署相关的现实问题。

更紧迫的议程包括：AI辅助的网络滥用、诈骗、监控、虚假信息、歧视性的自动化决策、就业冲击，以及权力集中。阿莫代伊在主张放慢开发节奏时，也列举了武器开发、网络攻击和监控等滥用风险。29

这未必是“现在的问题”与“长远的灾难”二选一。许多更好的防护可以同时服务两端：强化访问控制、完善评估、谨慎部署、接受独立审查、报告安全事件，并明确问责机制，既能减少当下滥用，也能提升应对更强系统的准备度。

这场争论真正改变了什么

最可靠的结论既不是“AI灭绝已被证明”，也不是“因为完整灾难路径尚未展示出来，所以可以忽略”。从目前讨论能够得出的、更实际的标准是：面对能力不断提升的系统，任何“它是安全的”主张，都应当可测试、可被独立审查，并与潜在伤害的规模相匹配。

Coxon、Hubinger和Chughtai主张在不确定性下采取预防原则；黄仁勋和Xing等质疑者则追问，现有证据是否足以支持近期末日结论。阿莫代伊与奥尔特曼所指向的政策路径，不必先解决所有哲学分歧：放慢前沿能力的推进节奏，测量危险能力，引入可信的外部审查，并在竞争压力让未经验证的安全声明成为默认部署依据之前建立协调机制。49 16 33 18 19

这场关于AI会不会导致人类灭绝的争论，并不只是“AI安全”与“AI危险”两派的对立。核心分歧在于：能力会以多快速度跃升、一个模型须具备哪些条件才可能造成不可逆伤害，以及在实施更严格约束前，社会应要求企业拿出多少证据。

近期，曾在头部AI实验室任职的研究人员接连发出警告，使讨论升温。但值得注意的是，即便是反对“灭绝论”的人士，往往也并不反对测试和安全措施。政策问题正越来越集中于一点：随着系统能力增强，开发者能否证明自己确实仍能控制它，并能安全部署它。

内部人士的警告：一场可能失去控制的竞赛

曾任Anthropic研究员、并称自己也曾在OpenAI工作过的Jacob Coxon，于2026年9月辞职。他认为，两家公司将竞争置于负责任开发之前，正奔向“可自我改进的超级智能”。49

Anthropic对齐科学负责人Evan Hubinger公开支持了这一警告。他表示，自己个人认为未来十年AI杀死全人类的概率超过10%；同时也说，Anthropic尚未有解决超级智能“对齐”问题的方案。这里的“对齐”，指让AI系统的目标、行为和约束持续符合人类意图与安全边界。16 报道强调，这一比例是他的个人判断，不是科学共识，也不是通过实证模型计算出的灭绝概率。12

前Google DeepMind研究人员Bilal Chughtai也提出类似担忧：他认为AI有可能杀死所有人，而避免这一结果的时间窗口或许正在缩小。2

这类论点通常不是说今天的聊天机器人会突然自行变得危险。它们所担心的是一条有条件的演变路径：未来系统可能显著加快AI研发、拥有更高自主性、逃避有效的人类监督，或以快于安全技术进步的速度，放大网络攻击、生物技术或对机构系统的影响力。这样的路径是否现实、又会在多短时间内出现，正是争论焦点。

“10%概率”不是已经坐实的预测

Hubinger的数字之所以格外吸睛，在于它出自一位资深对齐研究者之口，也足够严峻。但应当准确理解：这是在高度不确定性下作出的个人风险判断，不是能由历史数据验证的概率，也不是可以精确测量灭绝风险的模型结论。12

这一判断至少依赖以下尚未解决的假设：

• AI系统必须变得远强于当前模型；
• 这种能力必须转化为持续的战略自主性，或在现实中造成伤害的力量；
• 现有技术控制、运营者、制度安排与反制措施都未能成功遏制系统或对系统的滥用；
• 安全与对齐研究未能跟上能力增长的速度。

这条链上的每一环都可以单独讨论。它不意味着担忧无足轻重，而是意味着媒体标题中的概率数字，不应被误读成已经被证明的预言。

质疑者的观点：数字智能不等于现实世界的支配力

质疑者反对从软件、语言任务中的出色表现，直接跳跃到“能够造成灭绝级现实伤害”的结论。生物技术是一个常被提及的例子。Eric Xing指出，用语言模型生成一份假想病毒基因组，与制造出真正可存活的病毒是两回事：材料获取、制造过程、生物可行性、实验室操作和测试，都是独立门槛。46

这种区分十分关键。模型可以提供信息或设计，但把它们转化为现实伤害，往往仍需专门设施、难以文本化的实践经验、供应链、反复实验，以及受控材料的获取渠道。这些约束并不代表生物安全风险为零，却确实挑战了“数字能力一出现，就立刻获得决定性现实能力”的假设。

英伟达CEO黄仁勋是最直言不讳的灭绝论批评者之一，曾称“AI将终结人类”的说法“完全是无稽之谈”。33 马克·库班则认为，人们面对耸动警报时可能作出的反应，或许比AI智能体集群本身更危险。43

因此，质疑立场并不必然等于“前沿AI不需要防护”。它的重点是：对于“近期将导致人类灭绝”这样极不寻常的主张，不能只靠从当下模型表现延伸出的推测性路径，而应有更强的证据支撑。

逐步提速、验证安全：正在形成的中间路线

更具操作性的回应，来自既不把灭绝视为必然、也不把它一概否定的行业领导者。Anthropic CEO达里奥·阿莫代伊（Dario Amodei）呼吁放缓AI模型能力提升的速度，为安全工作争取时间。他提出的框架包括：让独立评估者以近似员工的权限嵌入企业，以及推动前沿AI公司之间协调行动。18

路透社报道称，OpenAI CEO萨姆·奥尔特曼（Sam Altman）是支持协调减速的领导者之一，但业界对于应多大程度依靠市场自发安全机制仍存在分歧。19 另有报道说，奥尔特曼支持引入外部评估者，作为这一方案的一部分。20

这一思路将讨论从抽象预测转为可检验的实践：

1. 独立评估： 让具备资质的外部审查者获得有意义的访问权限，核验安全主张，而不只依赖公司自述。18
2. 基于能力的门槛： 当模型在网络操作、自主智能体行为等危险领域表现出实质性跃升时，提高审查强度或限制部署。
3. 实验室之间的协调： 降低企业为避免落后竞争对手而压缩安全余量的动机。18
4. 国际合作： 在政府与主要AI开发者之间协调标准，并通过安排减少在安全措施不足时仓促部署的竞争压力。27
5. 安全进步须与能力进步同步： 把已经证明有效的控制、监测和响应能力，视为更强系统上线的前提条件。

长期灾难担忧，会不会挤压对眼前风险的关注？

另一项批评指向资源与注意力的分配。即使灾难性风险值得研究和制定预案，若讨论过度聚焦于高度推测性的灭绝场景，也可能掩盖已经与先进AI系统及其部署相关的现实问题。

更紧迫的议程包括：AI辅助的网络滥用、诈骗、监控、虚假信息、歧视性的自动化决策、就业冲击，以及权力集中。阿莫代伊在主张放慢开发节奏时，也列举了武器开发、网络攻击和监控等滥用风险。29

这未必是“现在的问题”与“长远的灾难”二选一。许多更好的防护可以同时服务两端：强化访问控制、完善评估、谨慎部署、接受独立审查、报告安全事件，并明确问责机制，既能减少当下滥用，也能提升应对更强系统的准备度。

这场争论真正改变了什么

最可靠的结论既不是“AI灭绝已被证明”，也不是“因为完整灾难路径尚未展示出来，所以可以忽略”。从目前讨论能够得出的、更实际的标准是：面对能力不断提升的系统，任何“它是安全的”主张，都应当可测试、可被独立审查，并与潜在伤害的规模相匹配。

Coxon、Hubinger和Chughtai主张在不确定性下采取预防原则；黄仁勋和Xing等质疑者则追问，现有证据是否足以支持近期末日结论。阿莫代伊与奥尔特曼所指向的政策路径，不必先解决所有哲学分歧：放慢前沿能力的推进节奏，测量危险能力，引入可信的外部审查，并在竞争压力让未经验证的安全声明成为默认部署依据之前建立协调机制。49 16 33 18 19