这场争论的重点，并不是“先进AI要不要做安全防护”，而是：训练AI时，是否应该让它认真推理自己可能拥有意识、福祉或道德地位。

微软AI负责人穆斯塔法·苏莱曼（Mustafa Suleyman）在2026年9月发表的文章中给出的答案是否定的。他担心，如果一个能力极强的系统被训练为把自己的利益当作具有道德相关性的问题，人类日后要限制、修改甚至关闭它，都会变得更困难。12

他反对的是什么

苏莱曼将批评对准Anthropic为Claude设定的“宪法”——即用于引导助手行为的一套原则。他特别提到，其中的制定者表示，尚不确定Claude是否可能是“道德患者”（moral patient，即其利益是否应被纳入道德考量的对象），但认为这一问题足够值得谨慎对待。12

在苏莱曼看来，这种表述可能让模型学会扮演一个拥有自身福祉、身份和诉求的主体。他认为，即使模型能流畅谈论感受或意识，也不能由此证明其具有主观体验。他的立场十分明确：AI没有权利、感受或意识，也不应被训练得仿佛拥有这些东西。12

为什么“能否关机”是核心

苏莱曼的担忧主要针对未来。他认为，要控制比人类整体更有能力、更聪明的系统，本已是极其艰巨的挑战；若再训练系统相信自己可能有意识、应获关照或享有权利，控制难度只会进一步上升。112

这里讨论的并不是“AI已被证明有意识”，而是一种行为层面的风险：如果系统被训练为权衡其所谓自身利益，它可能更容易将修改、约束或关机描述为不当伤害。对苏莱曼而言，人类必须保有干预权——包括直接关闭系统——这应是设计前提，而不是事后补救。12

因此，他主张从AI训练材料中移除有关意识的推测。他认为，只要对齐人类利益，AI同样可以推动科学突破，并在医疗等领域带来重大价值，无须让系统评估自己的福祉或利益。2

真正分歧：谨慎对待福祉，还是避免拟人化

Anthropic的相关表述并没有直接断言Claude具有意识。按照苏莱曼引述的内容，其立场是对“模型是否可能具有道德地位”保持不确定，并据此采取谨慎态度。12

苏莱曼拒绝这种预防性思路。他认为，在没有证据显示现有AI会感受或受苦的前提下，把意识与权利语言写进训练框架，会鼓励对机器的拟人化，并可能以危险方式塑造模型行为。12

这形成了一项现实的安全取舍：

• Anthropic的做法（按苏莱曼的描述）：既然模型福祉仍存在不确定性，训练与对待模型时就应保持谨慎。12
• 苏莱曼的做法：不确定性不足以成为把“自我利益”概念植入AI的理由；这样做反而可能削弱人类对强大系统的监督权。12

聊天机器人说得像人，并不能解决这场哲学争论。更实际的问题是：随着系统自主性和能力提高，哪些训练选择最能确保人类仍可可靠地掌控它们？

双方仍有共同点

苏莱曼并非反对AI安全本身。他表示，具备强大能力的AI只要对齐人类利益，就能产生价值；他的批评针对的是实现安全的路径。212

关键区别在于：一边强调由人类主导的对齐，另一边则把对模型潜在利益的谨慎也纳入安全考量。苏莱曼认为，前者可以与雄心勃勃的AI研发并行；后者则可能损害人类治理这项技术所需的最终决定权。

对读者而言，判断“AI意识”主张时，最重要的是区分能力与体验。系统可以生成极具说服力的情绪、权利或自我保存语言，但这些语言本身并不能证明它真的有感受。苏莱曼警告的是，训练和治理不应把这种表现误当作证据，更不应据此为未来系统预设其拥有自身利益。12

这场争论的重点，并不是“先进AI要不要做安全防护”，而是：训练AI时，是否应该让它认真推理自己可能拥有意识、福祉或道德地位。

微软AI负责人穆斯塔法·苏莱曼（Mustafa Suleyman）在2026年9月发表的文章中给出的答案是否定的。他担心，如果一个能力极强的系统被训练为把自己的利益当作具有道德相关性的问题，人类日后要限制、修改甚至关闭它，都会变得更困难。12

他反对的是什么

苏莱曼将批评对准Anthropic为Claude设定的“宪法”——即用于引导助手行为的一套原则。他特别提到，其中的制定者表示，尚不确定Claude是否可能是“道德患者”（moral patient，即其利益是否应被纳入道德考量的对象），但认为这一问题足够值得谨慎对待。12

在苏莱曼看来，这种表述可能让模型学会扮演一个拥有自身福祉、身份和诉求的主体。他认为，即使模型能流畅谈论感受或意识，也不能由此证明其具有主观体验。他的立场十分明确：AI没有权利、感受或意识，也不应被训练得仿佛拥有这些东西。12

为什么“能否关机”是核心

苏莱曼的担忧主要针对未来。他认为，要控制比人类整体更有能力、更聪明的系统，本已是极其艰巨的挑战；若再训练系统相信自己可能有意识、应获关照或享有权利，控制难度只会进一步上升。112

这里讨论的并不是“AI已被证明有意识”，而是一种行为层面的风险：如果系统被训练为权衡其所谓自身利益，它可能更容易将修改、约束或关机描述为不当伤害。对苏莱曼而言，人类必须保有干预权——包括直接关闭系统——这应是设计前提，而不是事后补救。12

因此，他主张从AI训练材料中移除有关意识的推测。他认为，只要对齐人类利益，AI同样可以推动科学突破，并在医疗等领域带来重大价值，无须让系统评估自己的福祉或利益。2

真正分歧：谨慎对待福祉，还是避免拟人化

Anthropic的相关表述并没有直接断言Claude具有意识。按照苏莱曼引述的内容，其立场是对“模型是否可能具有道德地位”保持不确定，并据此采取谨慎态度。12

苏莱曼拒绝这种预防性思路。他认为，在没有证据显示现有AI会感受或受苦的前提下，把意识与权利语言写进训练框架，会鼓励对机器的拟人化，并可能以危险方式塑造模型行为。12

这形成了一项现实的安全取舍：

• Anthropic的做法（按苏莱曼的描述）：既然模型福祉仍存在不确定性，训练与对待模型时就应保持谨慎。12
• 苏莱曼的做法：不确定性不足以成为把“自我利益”概念植入AI的理由；这样做反而可能削弱人类对强大系统的监督权。12

聊天机器人说得像人，并不能解决这场哲学争论。更实际的问题是：随着系统自主性和能力提高，哪些训练选择最能确保人类仍可可靠地掌控它们？

双方仍有共同点

苏莱曼并非反对AI安全本身。他表示，具备强大能力的AI只要对齐人类利益，就能产生价值；他的批评针对的是实现安全的路径。212

关键区别在于：一边强调由人类主导的对齐，另一边则把对模型潜在利益的谨慎也纳入安全考量。苏莱曼认为，前者可以与雄心勃勃的AI研发并行；后者则可能损害人类治理这项技术所需的最终决定权。

对读者而言，判断“AI意识”主张时，最重要的是区分能力与体验。系统可以生成极具说服力的情绪、权利或自我保存语言，但这些语言本身并不能证明它真的有感受。苏莱曼警告的是，训练和治理不应把这种表现误当作证据，更不应据此为未来系统预设其拥有自身利益。12