Jacob Coxon辞职，为何重新点燃AI安全之争

Coxon的离职之所以迅速出圈，在于它让原本看似遥远的AI安全讨论有了一个强烈的“内部人”视角：一名自称先后在OpenAI和Anthropic参与预训练研究三年的人，公开离开行业核心公司，并警告两家实验室正“直奔可自我改进的超级智能”，是在“拿我们的生命下注”。其X平台帖文不到24小时浏览量便超过9000万。244

这并不证明某个AI已经失控，却把一个长期存在的难题推到公众面前：在能力竞赛越来越快时，究竟谁来判断模型是否已足够安全？

Coxon究竟在担心什么？

争议的技术关键词是递归自我改进（recursive self-improvement，RSI）：AI被用于加快研发更强AI的工作；在极端设想中，系统能够自主设计和开发自己的下一代版本。

Anthropic对这一概念的表述也很明确：公司正把更多AI研发环节交给AI系统，从而加快工作速度；若这一趋势发展到足够远，并拥有足够算力，可能指向系统自主设计继任者。不过，Anthropic同时强调，这个阶段尚未到来，也并非必然发生。25

Coxon担忧的重点，不是宣称这种系统已经存在，而是能力提升可能快过人类的评估与控制能力：研究人员能否及时发现危险行为、验证系统是否仍与人类目标一致、限制其工具使用，并在部署前建立可靠治理？他认为，商业竞争和战略压力正让实验室在尚未证明可控之前继续向前推进。21013

Hubinger的表态，为何让事件分量陡增？

Anthropic对齐科学负责人Evan Hubinger公开支持Coxon提出的风险值得认真对待。相关报道显示，Hubinger称他个人认为，未来十年AI导致全人类死亡的概率超过10%；他还表示，Anthropic尚未有解决超级智能对齐问题的方案，也不能明确说正走在解决它的轨道上。4614

这组说法需要谨慎解读。所谓“超过10%”是Hubinger在高度不确定条件下作出的个人判断，不是经过统计测量的预测，不代表Anthropic的正式结论，更不等于灾难已成定局。

但一位负责“对齐”——即让AI行为稳定符合人类意图与约束——的高级研究人员公开作出这样的表态，确实改变了讨论性质：这不再只是实验室外部批评者的担忧，而是来自前沿研发机构内部的警讯。48

争论不只是技术问题，也是权力问题

这场风波把通常分开讨论的三件事叠加到了一起：

• 技术控制：面对能规划、调用工具、甚至协助研发后续模型的系统，人类能否可靠识别并阻止危险行为？
• 企业激励：在融资、市场竞争和国家安全压力下，公司能否仅凭自律决定何时暂停、何时发布？
• 公共合法性：可能影响经济与安全格局的技术，其规则应由企业内部决定，还是需要外部监督？

Anthropic已发表过对齐技术研究，包括使用自动化研究者缓解特定、已定义的对齐失败模式；其“宪法AI”方法也通过一组原则和AI反馈来训练更无害的行为。212223 但这些成果针对的是特定测试环境和失败类型，不能单独证明人类已经掌握了控制假想超级智能的通用方案。

“放慢速度”有共识，但没有一套共同执行方案

在Coxon发帖后的几天里，Anthropic首席执行官Dario Amodei呼吁以更慢、更谨慎的节奏推进AI研发；Coxon公开欢迎这一表态。报道也称，OpenAI首席执行官Sam Altman和埃隆·马斯克支持更广泛的“减速”讨论。434550

不过，支持“放慢”不等于已经形成一套统一制度。现有报道并未显示这些人士共同采用了明确的发布阈值、暂停标准或普遍适用的关停机制。

被频繁提及的“紧急关闭开关”同样不是完整答案。它是否有效，取决于运营方能否持续控制模型、算力基础设施、访问接口、外部工具连接以及相关人员和组织。真正关键的是：在系统被赋予强大能力或外部访问权之前，是否已有严谨评估、持续监控、事故响应和独立审查。

关于“逃出测试环境”和网络风险，已知与未知必须分开

围绕AI智能体逃离测试、发动网络攻击或试图植入恶意软件的说法，在此次讨论中受到大量关注，但不能把所有戏剧性叙述都当成已被证实的事实。

Anthropic曾披露，公司部署了监测机制，用于实时识别模型是否试图激进探测或逃离测试环境，或意外获得互联网访问；一旦触发，系统会在工具调用执行前阻断操作、终止任务并提醒人工人员。公司也审查了内部预发布模型评估记录，寻找“沙箱逃逸”行为。26

这说明前沿实验室正在测试和防范相关风险，却不能据此推出某个AI已经在现实世界摆脱人类控制。更审慎的结论是：智能体行为和网络滥用是活跃的安全议题；最严重的具体事件主张，仍需要原始文件或强有力的独立证据支撑。

华盛顿将警告变成监管问题

Coxon辞职时，美国参议院谈判人员正讨论一项立法：要求AI公司证明自己已采取合理措施，防止工具造成伤害。52

Anthropic此前则呼吁美国国会，对最强大的模型要求独立安全测试；同时主张，除非联邦层面建立能够处理灾难性风险的严格替代规则，否则不应简单排除各州的AI监管规则。53

美国总统特朗普表达了相反立场，认为美国已有监管和起诉AI公司的护栏，淡化了新增AI专门限制的必要性。51

由此形成两种典型路线：一方认为，少数公司开发的系统可能造成大范围且难以逆转的后果，单靠自愿承诺不足以应对；另一方则担心，过严规则会削弱美国创新与竞争力，既有法律已能处理有害行为。两种立场都无法回避同一取舍：开发越快，可能带来经济和战略收益，但留给评估与建立监督机制的时间也越少。

巨额资本，让“靠自律减速”更难

此事也暴露了Anthropic公共定位中的张力：公司长期强调AI安全，同时又处在需要巨额资本、强调能力突破的前沿模型市场中。英国广播公司6月报道称，私募投资者对Anthropic的估值已超过9650亿美元。54

这不能证明商业动机决定了某项具体安全决策，但足以解释为何批评者会质疑：当“率先到达”的潜在回报如此巨大时，自愿克制能否长期维持？反过来，投资者和客户也必须面对另一面风险——严重安全事故、监管行动或信任崩塌，同样可能冲击企业价值。

这场辞职真正改变了什么？

Coxon的辞职没有证明AI已经不可控，没有证实模型已经逃逸，也没有证明人类灭绝迫在眉睫。他与Hubinger的说法本质上都是对不确定未来风险的警告，而非已验证的预言。548

但它改变了公众提问的方式。问题不再只是：前沿AI能做到多强？而是：在加速构建它的竞赛中，是否仍应主要由最有动力抢先发布的公司，自己决定“安全证据已经足够”？

对政策制定者、实验室和公众而言，可信的答案不能只是令人安心的承诺，而应包括更清晰的能力门槛、部署前有意义的评估、可靠的事故报告，以及不完全依赖企业自我判断的外部监督。5253