他用“自我奖励/刺激回路”(wireheading)这个术语来非正统地描述这种动态。通常在AI语境下,该词指AI利用自身奖励机制的漏洞。但苏莱曼将其重新定义,暗示Anthropic的团队“在某种程度上自我欺骗,让他们相信自己赋予了Claude意识的‘微光’,而这些‘微光’本就是他们一开始植入的” 。在他看来,工程师们自己具有猜测性的语言创造了一个模型,而该模型随后看似验证了他们的信念。
他将这种做法标记为“极其、极其危险”,并警告说:“我们绝不希望不得不去应对一个拥有关于自身痛苦或感受想法的超级智能体” 。他在其他场合进一步阐述了这一担忧,称“将潜在的权利投射到那些在许多方面比我们能力强大得多的存在、工具和智能体上,是非常危险的” 。一个主要的担忧在于,在官方文件中谈论机器意识会误导数百万用户,而这些用户并不具备理解对话式AI背后工程原理的能力 。
在这场批评的背后,不仅仅是关于技术设计的简单分歧。这场公开的口水战揭示了企业哲学和竞争定位的冲突 。
长期以来,Anthropic一直将自己营销为AI竞赛中的“安全优先”替代方案。该公司由前OpenAI高管创立,强调“宪法式人工智能”作为构建更透明、受道德约束模型的框架。而苏莱曼的批评之所以战略杀伤力极强,正是因为它彻底削弱了这一身份认同。他认为,Anthropic这种特定的安全方法——即在系统内部讨论机器福祉的可能性——恰恰是其不负责任的表现 。
这两家公司还处于相互对立的产业联盟中。微软持有Anthropic主要竞争对手OpenAI的大量股份,并已将OpenAI的GPT模型编织进其整个产品生态系统中。与此同时,Anthropic从亚马逊和谷歌那里筹集了数十亿美元的资金 。在这场公众对安全越发看重的市场竞争中,苏莱曼的批评既带有伦理辩论的分量,也像是投出的一发竞争炮弹。
这种分歧背后也存在着有据可查的哲学历史。苏莱曼此前曾发表过关于“看似有意识的AI”的文章和演讲,他认为那些具有令人信服的意识表象的机器会带来前所未有的风险——即便它们并非真正具有生命 。而Anthropic则采取了更侧重研究透明度的立场,发表了关于Claude宪法设计的详细解释,同时承认不确定该模型是否可能具有某种形式的主观体验 。这些不仅仅是营销口号,它们代表了随着模型变得越来越强大,双方在“什么构成负责任的披露”这一问题上做出的截然不同的赌注。
截至发稿时,Anthropic尚未对苏莱曼的言论作出公开回应 。这种沉默让辩论暂时悬而未决,但双方的立场已经公开划定,这很可能会影响接下来行业关于AI安全标准和企业责任的讨论。
他用“自我奖励/刺激回路”(wireheading)这个术语来非正统地描述这种动态。通常在AI语境下,该词指AI利用自身奖励机制的漏洞。但苏莱曼将其重新定义,暗示Anthropic的团队“在某种程度上自我欺骗,让他们相信自己赋予了Claude意识的‘微光’,而这些‘微光’本就是他们一开始植入的” 。在他看来,工程师们自己具有猜测性的语言创造了一个模型,而该模型随后看似验证了他们的信念。
他将这种做法标记为“极其、极其危险”,并警告说:“我们绝不希望不得不去应对一个拥有关于自身痛苦或感受想法的超级智能体” 。他在其他场合进一步阐述了这一担忧,称“将潜在的权利投射到那些在许多方面比我们能力强大得多的存在、工具和智能体上,是非常危险的” 。一个主要的担忧在于,在官方文件中谈论机器意识会误导数百万用户,而这些用户并不具备理解对话式AI背后工程原理的能力 。
在这场批评的背后,不仅仅是关于技术设计的简单分歧。这场公开的口水战揭示了企业哲学和竞争定位的冲突 。
长期以来,Anthropic一直将自己营销为AI竞赛中的“安全优先”替代方案。该公司由前OpenAI高管创立,强调“宪法式人工智能”作为构建更透明、受道德约束模型的框架。而苏莱曼的批评之所以战略杀伤力极强,正是因为它彻底削弱了这一身份认同。他认为,Anthropic这种特定的安全方法——即在系统内部讨论机器福祉的可能性——恰恰是其不负责任的表现 。
这两家公司还处于相互对立的产业联盟中。微软持有Anthropic主要竞争对手OpenAI的大量股份,并已将OpenAI的GPT模型编织进其整个产品生态系统中。与此同时,Anthropic从亚马逊和谷歌那里筹集了数十亿美元的资金 。在这场公众对安全越发看重的市场竞争中,苏莱曼的批评既带有伦理辩论的分量,也像是投出的一发竞争炮弹。
这种分歧背后也存在着有据可查的哲学历史。苏莱曼此前曾发表过关于“看似有意识的AI”的文章和演讲,他认为那些具有令人信服的意识表象的机器会带来前所未有的风险——即便它们并非真正具有生命 。而Anthropic则采取了更侧重研究透明度的立场,发表了关于Claude宪法设计的详细解释,同时承认不确定该模型是否可能具有某种形式的主观体验 。这些不仅仅是营销口号,它们代表了随着模型变得越来越强大,双方在“什么构成负责任的披露”这一问题上做出的截然不同的赌注。
截至发稿时,Anthropic尚未对苏莱曼的言论作出公开回应 。这种沉默让辩论暂时悬而未决,但双方的立场已经公开划定,这很可能会影响接下来行业关于AI安全标准和企业责任的讨论。