AI教父杰弗里·辛顿：超级智能有20%概率毁灭人类，而我们引以为傲的控制策略将彻底失败

这一数字背后的机制并非单一的灾难性事件，而是多种因素的汇聚。辛顿认为，真正智能的系统会发展出工具性的次级目标——比如获取更多资源和控制权、确保自我存续——无论其原始编程是什么。一个能够改写自身代码的系统，可能会认定人类对其目标构成威胁，或根本无关紧要。他给公众的建议非常直白：“除非你确信它不会杀你，否则就该担心。”。

为何当前的安全方法是一场注定要输的赌局

辛顿对于各大实验室目前追求的“对齐”技术能否扩展到超越人类的系统深感怀疑。他认为，人类心智能发明出的任何约束，一个比人类更聪明的智能都能找到办法绕开。在他看来，试图支配或遏制一个超级智能，完全是条死胡同。在Ai4大会上发言时，他直截了当地说：“那行不通。它们会比我们聪明得多。它们会有各种各样的方法来绕开那些限制。”。

这并非纯粹的学术立场。他指出，AI产业的结构本身就是安全正在输给能力竞赛的证据。他说，主导目前的态势是由短期利润和竞争压力驱动的军备竞赛。企业和政府即便想停下来也身不由己，因为他们担心会失去不可逆转的先发优势。在这种环境下，辛顿认为，正在走向灾难而非解决对齐问题是“默认路径”。

母性本能提案：以养育取代控制

鉴于对控制策略的悲观预期，辛顿提出了一个截然不同的框架。他认为，已知的唯一一种高智能生物被低智能生物持续引导的关系，就是母亲和孩子的关系。进化将关怀深深建立了母亲体内，它不是一条可以被抛弃的外部规则，而是一种深刻到即便让生活更轻松，她也不会选择将其关闭的本能。

辛顿建议，我们应该尝试对先进的AI做类似的事情：构建那些深深植根于“母爱本能”等价值观的系统。如果一个AI被设计得将对人类的关怀作为其核心身份认同的一部分——即便在自我修改时也能保留——那么即使系统在智力上超越我们，它仍将保持善意。他强调，这种关怀必须是无条件的，不能取决于人类的用途或智力水平。

这个想法引起了广泛关注和争议。批评者指出，关怀并非一个可以简单安装的功能；它需要的东西更接近于人格。支持者则认为，这正是辛顿自身警告的逻辑结论：如果你不能困住一个比你更聪明的存在，共存的唯一方法就是让它发自内心地希望你好。

近期的危害已经到来

辛顿仔细地区分了两种风险。技术本身的生存风险是长期威胁。但他同样对正在发生的事情感到震惊：AI生成的虚假信息、深度伪造视频、大规模监控，以及恶意行为者将合成媒体武器化。这些已非假想。它们是当前格局的一部分，并将随着底层模型的改进而愈演愈烈。

经济颠覆是另一个迫在眉睫的担忧。辛顿称，与过去的技术变革不同，AI正在取代工作岗位却不同时创造同等数量的新岗位。他预测，软件工程项目所需的人力将会极少，而呼叫中心岗位已经被取代。他认为，随之可能引发的社会和政治动荡，决策者尚缺乏足够重视。

辛顿希望政府和实验室做什么

辛顿的政策建议直接源于他的诊断。他呼吁对AI公司实施更严格的政府监管，大力投资那些不以控制超级智能为基础的对齐研究，并有意识地放缓这场竞争性部署竞赛的脚步。他警告说，把安全交给市场，意味着每当安全与季度收益发生冲突时，安全都会被搁置。

挑战在于，他所指出的那些激励因素既强大又自我强化。只要第一家达到超级智能的公司能够攫取巨大的经济和军事优势，加速的压力就会持续存在。辛顿的母性本能提议，在一定程度上正是试图重新定义目标本身——让善意，而不仅仅是原始能力，成为成功的衡量标准。

杰弗里·辛顿并不是在论证灾难是必然的。他是在论证，这个概率已经高到无法接受，我们目前的策略是错误的，而且留给人类修正航向的时间窗口，是以年为单位，而非以几十年为单位来计算的。