答案已发布15 来源
Hubinger的10%估计，揭开了AI对齐争论的核心矛盾
Hubinger所说“超过10%”是个人判断，并非Anthropic的官方风险评估或科学界共识；但他承认超智能对齐尚无解决方案，也没有清晰的解决路径。[1][2] 争议的重点不在于现有模型是否马上失控——Hubinger称当前模型风险较低——而在于是否应在可靠安全机制尚未验证前，继续加速开发可能自我改进的系统。[2][10] 事件将独立评测、信息披露、可执行监管与国际协调推到AI安全讨论的中心，而非简单的“乐观派对末日派”之争。
发布者使用 GPT-5.6 Terra 编辑图片由 GPT Image 2 生成
研究答案
要点
- Hubinger所说“超过10%”是个人判断，并非Anthropic的官方风险评估或科学界共识；但他承认超智能对齐尚无解决方案，也没有清晰的解决路径。[1][2]
- 争议的重点不在于现有模型是否马上失控——Hubinger称当前模型风险较低——而在于是否应在可靠安全机制尚未验证前，继续加速开发可能自我改进的系统。[2][10]
- 事件将独立评测、信息披露、可执行监管与国际协调推到AI安全讨论的中心，而非简单的“乐观派对末日派”之争。
AI 提示
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Anthropic alignment science lead Evan Hubinger’s public statement that he personally believes there is more than a 10% chance AI co. Article summary: Hubinger’s statement chiefly exposed a sharp mismatch between frontier-AI labs’ public safety posture and the private-level uncertainty described by people closest to the work: a senior alignment lead said the field may . Topic tags: general, general web, news, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
Evan Hubinger的公开发言，并没有证明AI必然导致人类灭绝。它揭示的是一个更具体、也更值得重视的矛盾：Anthropic负责对齐科学的主管表示，他个人估计未来十年AI造成全人类死亡的可能性超过10%；同时，他承认Anthropic尚未拥有解决“超智能对齐”问题的方案，也看不出一条明确可行的解决路径。1
2
这里的“对齐”，指让AI系统的目标、行为与人类意图和约束保持一致。Hubinger的表态因此给前Anthropic、OpenAI研究员Jacob Coxon辞职时提出的担忧增添了分量：前沿实验室正在持续提升模型能力，但如何可靠控制远超当前系统的AI，仍未得到验证。2
3
先厘清：这是个人概率判断，不是公司结论
“超过10%”是Hubinger本人的估计，不是Anthropic发布的官方概率，也不代表全体员工共识，更不是已经确立的科学预测。1
2
单独一个概率数字不能解释具体风险机制，也无法证明灾难很可能发生或何时发生。Hubinger还表示，现有模型的风险较低；他担忧的是未来系统可能通过“递归式自我改进”——利用AI能力帮助研发更强AI——迅速获得远高于当前模型的能力。2
10
但这番话之所以受到关注，并不只是因为数字惊人，而是因为它来自一家主要前沿AI实验室中负责对齐研究的人。其核心信息是：模型能力在推进，而人类是否能让超智能系统始终处于可控状态，尚无足够把握。1
2
为什么这让Coxon的辞职警告更难被忽视
Coxon曾在OpenAI和Anthropic任职。他辞职后批评两家公司都没有负责任地行事，正竞相开发可能自我改进的超智能系统。Hubinger公开认同了Coxon的一个关键说法：参与构建这类系统的人，确实严肃看待AI可能带来灭绝级后果的风险。2
3
这并不意味着所有员工持相同立场，也不能把Coxon的描述自动视为对两家公司风险状况的独立审计。但一名在职对齐负责人对底层担忧的确认，使这起辞职事件不再像只是前员工的孤立抱怨。它说明，实验室内部对严重风险的担心，可以与继续推进前沿研发同时存在。1
2
关于Samuel Marks的相关发言也应保持同样的审慎。报道称，他认为AI开发者相信其技术可能导致人类灭绝或同等严重的后果；但这属于内部人士的观点，不是全公司风险概率的公开证据。5
真正的分歧：不确定性下应如何治理
这件事常被简化成“AI末日论”与“AI乐观论”的对撞。但更实际的问题是：当潜在伤害具有全球性、不可逆性，而发生概率与时间表又高度不确定时，开发者应当被要求具备哪些安全保障？
Hubinger的说法凸显了几项关键问题：
- 对齐问题尚未解决。 实验室努力做安全研究，不等于已证明拥有控制远超当前模型系统的有效方法。
1
- 竞争可能让自愿克制变得困难。 Coxon认为，竞争压力推动实验室追求更高能力，而重大安全问题仍没有答案。
2
3
- 现有模型安全并非全部问题。 Hubinger区分了当前模型的低风险与未来高能力系统的潜在风险。
10
- 外部验证不可或缺。 如果没有独立评估与透明披露，公众、客户和政府很难判断一家公司的内部安全流程是否足够可靠。
这些是治理问题，而不是灾难即将发生的证明。但一旦系统已获得危险能力，解决这些问题可能会更加困难。
透明度争议进一步加压
有报道称，Anthropic在其最新模型发布前，没有将该模型提交给英国AI安全研究所测试。对此应谨慎对待：现有材料将其描述为媒体报道，而非Anthropic或英国政府确认的公开结论。10
即便如此，这一说法也解释了为何外界会质疑企业自愿安全承诺。若公司自己的安全负责人承认对齐难题尚未解决，外部观察者自然会追问：模型做了哪些测试？由谁审查？哪些结果被公开？到了什么能力阈值，必须启动更严格的控制？
“放慢速度”不等于停止一切AI发展
主张放慢前沿AI开发，并不必然意味着永久停止所有AI研究或部署。政策层面的重点，是在系统跨越具有重大后果的能力阈值前，建立可执行、可核验的检查机制。
可能的措施包括：
- 部署前进行独立的能力与安全评测；
- 对严重事故和具有实质危险的能力设立报告义务；
- 明确开发者何时必须加强安全、安保与治理控制；
- 引入不只依赖开发商内部承诺的审计；
- 推进国际协调，避免任何公司或国家因竞争压力而降低安全标准。
逻辑很直接：当风险概率尚不确定、但最坏后果可能极端严重时，安全保障应在失控之前就能够被证明，而不能等到事后补救。
这番表态最终说明了什么
Hubinger的发言暴露出前沿AI发展中的核心张力：领先开发者可以公开承认长期风险极其严重，同时仍在推进那些会使风险更紧迫的能力。1
2
它没有判定灾难性AI风险的真实概率，也不应被当成Anthropic的官方预言。但它让“对齐”争论变得更具体：问题不再只是先进AI会不会变得危险，而是企业和政府能否借由独立证据、可执行规则与国际协调证明——在相关系统强大到难以安全治理之前，人类已经做好准备。1
10
Studio Global AI
继续你的研究
此页面包含一个有来源支持的答案，您可以在 Studio Global 内继续。
人们还问
“Hubinger的10%估计，揭开了AI对齐争论的核心矛盾”的简短答案是什么？
Hubinger所说“超过10%”是个人判断，并非Anthropic的官方风险评估或科学界共识；但他承认超智能对齐尚无解决方案，也没有清晰的解决路径。[1][2]
首先要验证的关键点是什么？
Hubinger所说“超过10%”是个人判断，并非Anthropic的官方风险评估或科学界共识；但他承认超智能对齐尚无解决方案，也没有清晰的解决路径。[1][2] 争议的重点不在于现有模型是否马上失控——Hubinger称当前模型风险较低——而在于是否应在可靠安全机制尚未验证前，继续加速开发可能自我改进的系统。[2][10]
接下来在实践中我应该做什么？
事件将独立评测、信息披露、可执行监管与国际协调推到AI安全讨论的中心，而非简单的“乐观派对末日派”之争。
来源