Hinton：AI致人类灭绝的10%概率“并非不合理”，但这不是科学预测

杰弗里·辛顿（Geoffrey Hinton）——2024年诺贝尔物理学奖得主、常被称为“AI教父”的研究者——近日表示：未来十年人工智能导致人类灭绝的概率若按 10% 估计，“并非不合理”。但他紧接着给出了关键限定：“没有人真正知道如何给出合理估算。” 14

这句话不等于一项经过数据校准的预测。辛顿的意思更接近于：面对后果极端、技术能力演进又高度未知的风险，不能轻率地把这种可能性直接归零。

他担心的不是单一风险，而是两类风险叠加

辛顿长期区分两种相关但不同的威胁：一类是人类恶意使用AI；另一类是未来能力远超人类的AI系统本身变得难以控制。

在诺贝尔演讲中，他列举了已经出现或近在眼前的风险，包括制造加剧对立的内容推荐“回音室”、大规模监控、AI辅助网络钓鱼；他还警告，AI未来可能被用于制造危险的新病毒，以及能自行决定杀伤目标的致命武器。他呼吁各国政府和国际组织紧急、强力应对这些问题。

从现实路径看，先进AI可能让虚假信息更具说服力、更容易按个人定制；帮助攻击者寻找软件漏洞；或降低生物和网络攻击的技术门槛。AI安全倡导者所设想的最严重情景是：一个具备很强战略、技术与行动能力的系统获得资源或关键基础设施的接入，同时又能抗拒人类约束。5

“对齐”为什么成为争论核心

所谓对齐（alignment），指的是如何确保能力远超人类的系统持续执行人类真正想要的目标、能够被纠正，并始终处于有效限制之内。

曾在Anthropic和OpenAI任职的研究员雅各布·考克森（Jacob Coxon）辞职时称，头部实验室正“径直冲向可自我改进的超级智能”，是在“拿我们的生命赌博”。18 他的核心担忧是：若系统自我提升能力的速度超过安全技术的进步速度，人类可能在学会可靠控制之前，就已面对无法驾驭的系统。

Anthropic对齐科学负责人埃文·休宾格（Evan Hubinger）公开支持这一警告。他表示，自己认为未来十年AI杀死人类的概率超过10%；同时，他称Anthropic尚未有解决超级智能对齐问题的方案，也没有明显迹象显示这一目标正在按计划实现。16

不过，他们的论点并不是“当前模型已经要自行毁灭人类”。休宾格明确表示，现有模型带来的风险较低。担忧集中在未来的能力跃迁：模型可能在开发者尚未掌握可靠控制方法前，已具备自我改进或在现实世界中有效行动的能力。116

怀疑者：严重伤害不等于近期灭绝

另一部分研究者并不否认AI会放大网络犯罪、虚假信息和生物滥用等问题；他们质疑的是，从“严重危害”推导到“人类灭绝”的这一步。

AI研究者加里·马库斯（Gary Marcus）认为，AI确实可能助长网络攻击、生物威胁、虚假信息传播和冲突升级，但他看不到一条能在近期现实中通向“杀死所有人”的路径。15 他的观点是，应严肃处理可见、具体的风险，而不应默认今天的大语言模型必然会走向失控的超级智能。

杨立昆（Yann LeCun）也质疑对所谓“末日概率”（p(doom)）作出高置信度判断。相关报道将他的立场概括为：AI致灭绝的风险远低于核浩劫风险，同时任何这类数字本质上都高度推测性。

因此，真正的分歧并不是“关心AI风险”与“不关心AI风险”之间的对立，而是围绕两个尚无答案的问题：

1. **能力时间表：**AI何时——如果会发生——达到广泛超越人类、并能自行提升能力的水平？
2. **控制能力：**如果这种系统出现，开发者能否让它保持可靠可控，还是安全护栏会在更强模型和商业竞争的压力下失效？

10%这个数字能说明什么，不能说明什么

目前并不存在一种经验证的方法，可以精确计算AI导致人类灭绝的概率。辛顿和休宾格等人给出的百分比，是在深度不确定性下作出的判断，不是从可重复的历史数据中推导出的统计概率。14

所以，10%不应被解读为“灭绝很可能发生”的证据；但无法可靠计算，也不能反过来证明风险可以忽略。更务实的结论是：专家对概率和具体路径分歧很大，但许多人认同，在任何假想的灭绝情景之前，强大AI就可能带来严峻的安全与治理挑战。

政策焦点：在能力部署前设置约束

辛顿要求政府和国际组织紧急关注AI风险。 考克森同样认为，监管是降低危险的关键。

围绕前沿模型的政策讨论，因而更聚焦于可识别的能力与部署场景：对高能力模型进行严格评测，强化网络安全与生物安全保护，建立严重事件报告和监督机制，并在系统获得更大自主权、接入敏感工具或关键资源前，引入独立审查。

关于“10%灭绝风险”的争论不会很快结束。辛顿的要点并不是任何人都能自信算出风险几何，而是：当潜在代价极高、未知又如此之大时，等待绝对确定性才采取预防措施，可能是错误的标准。14