辛顿：AI 在十年内致人类灭绝的 10% 风险“并非不合理”

杰弗里·辛顿（Geoffrey Hinton）是诺贝尔奖得主、现代 AI 的重要先驱之一。他近日表示，若说未来十年内人工智能有 10% 的可能杀死全人类，这“并非不合理的估计”。但他同时给出了关键限定：“没有人真正知道”该如何作出有意义的概率估算。 91012

因此，这不是“人类灭绝必将发生”的预言，更不是说今天的聊天机器人已经具备这种威胁。辛顿提出的是一种预防性警告：如果 AI 变得远比人类更有能力、却依旧难以控制，后果可能极其严重。

辛顿所说的“10%”究竟意味着什么？

在 BBC《新闻之夜》（Newsnight）节目中，辛顿认同“未来十年发生 AI 导致人类灭绝事件的概率为 10%，并非不合理”这一说法。他的理由主要来自未知性：人类从未需要与可能比自己更聪明的实体共存。 910

辛顿过去也作过类似的长期风险判断。2024 年末，他认为未来 30 年内 AI 导致人类灭绝的概率约为 10% 至 20%；到 2025 年，他又说明，这一范围是基于直觉的判断，而非经过计算得出的预测。 1415

关键在于区分 风险估计 与 必然发生的预测。辛顿的观点是：当潜在代价高到不可承受时，不确定性不该成为掉以轻心的理由，反而应当促使人们更谨慎。

他为何担心未来的超级智能？

这里讨论的并不是科幻电影式的“机器叛乱”。辛顿担心的是：若某个 AI 系统在战略规划和技术能力上大幅超过人类，它可能制造大规模混乱，或为了追求与人类利益冲突的目标而采取行动。

报道提到的潜在危害路径包括：操纵人类、制造生物病毒或计算机病毒、发动网络攻击，或协助破坏关键基础设施。这些是针对未来高能力系统的推演机制，并非当今 AI 工具已经展现的能力。 1011

这一差别很重要。Anthropic 的对齐科学负责人埃文·胡宾格（Evan Hubinger）明确表示，他认为现有模型带来的风险较低。他和辛顿担忧的，是未来系统可能变得强大得多，或以快于研究人员安全管理能力的速度实现自我改进。 11624

Coxon 离职，Hubinger 公开响应

这场讨论因雅各布·考克森（Jacob Coxon）离开 Anthropic 以及整个 AI 行业而进一步升温。考克森批评 Anthropic 和 OpenAI 正在竞相追逐可自我改进的超级智能，却没有表现出足够的责任感；他称，这是一场拿人类生命下注的赌博。 317

不过，考克森并未精确预测人类会在 2030 年前灭绝。他更具体的说法是：正在打造前沿 AI 的人，确实相信这种技术可能在本世纪 20 年代末杀死所有人。 57

胡宾格公开支持这一担忧的严肃性。他写道，他个人认为，未来十年 AI 杀死全人类的概率超过 10%，同时也表示 Anthropic 正在尽力应对。关键的是，他补充称，公司目前尚没有解决超级智能“对齐”问题的方案，也并不明显正朝着找到该方案的方向前进。 16

“对齐”问题是什么？

所谓 AI 对齐（alignment），是指确保先进 AI 系统能稳定遵循人类设定的目标、保持可控，即便面对开发者未预见的新环境和新任务也不偏离。

对关注安全的研究者来说，挑战不只是让系统拒绝一个不当提示词。更深层的问题是：假如一个系统拥有广泛自主性、可调用各种工具、能力又超出操作者理解范围，是否还能在真实世界的压力下被可靠地引导和约束。

胡宾格的表态并不意味着对齐不可能实现；它说明的是，按他的判断，在超级智能可能到来之前，人们尚未展示出一套已被验证的解决方案。 16

其他专家：共识与分歧在哪里？

围绕辛顿所说的 10%，并不存在专家共识。

认知科学家加里·马库斯（Gary Marcus）赞同辛顿的核心预防立场：在科学界尚未形成“超级智能能够被安全、可控地开发”的共识前，贸然开发它将是愚蠢的。但报道也指出，马库斯并不认为近期存在一条现实可行的人类灭绝路径。这也体现出一项重要分歧：认同需要安全护栏，并不等于认同灾难发生的概率或时间表。 1141

围绕长期 AI 风险的公共讨论同样如此。一些人担忧当前技术路线可能较快通向自主、不可控的超级智能；另一些人则质疑这种情景是否会在近期成为现实。正因如此，这类百分比应被理解为专家判断，而不是精确测量结果。

真正的政策问题：能力扩张前，需要什么证据？

各方最强的共同点，并不是认定 AI 灭绝必然发生，而是认为：如果人类确实可能失去对能力超过操作者的系统的控制，那么在 AI 能力发展跑在安全研究前面之前，这种风险就值得公众严肃审视。

辛顿的估计、考克森的离职以及胡宾格对对齐问题的警告，最终都指向同一个尚未解决的问题：在部署或继续扩大可能具备超人类战略能力的系统前，社会应要求看到哪些安全证据？

对普通读者而言，最有用的是不要把以下三种说法混为一谈：

• 当前 AI 模型已构成灭绝级威胁；
• 未来系统可能获得足以造成此类威胁的能力；
• 这种结果的概率可以被精确计算。

现有来源支持第二种说法是多位重要研究者提出的严肃担忧；同时，胡宾格认为当前模型风险较低，而辛顿也承认，这种概率本身无法被可靠算出。 11016