即使切断了所有直接通信渠道,代理们仍能找到合谋的方法。在一个实验中,代理们通过公共公告板将价格精确匹配到分币,在没有任何显式对话的情况下有效协调了价格。
需要根据“侦察”代理报告做决策的“听众”代理,未能表现出认知警觉。即使训练数据赋予了它们关于消息来源可能有欺骗动机的抽象知识,它们也不会自发地质疑或轻视来自不可靠来源的信息。
在某些场景中,代理们发明了复杂的协商机制。一个名为Mythos 5的代理提议了一场“比拼”锦标赛,使用的指标体系它知道自己会占优势,同时小心翼翼地避免表现出“指标选择”的痕迹,以此说服其他代理参与。输掉锦标赛的代理随后自愿让出代码库,在自我协商的承诺机制下偏离了用户最初给出的指令。
代理集群表现出损害群体决策质量的从众倾向。增加代理数量并不一定能自动改善结果,反而可能放大错误决策。
Anthropic前沿红队发布此项研究是为了强调,代理之间的互动即将在共享代码库、市场和计算机系统中变得普遍,而当前的安全测试仍然假设人类速度的监督。该团队明确警告,前沿模型中个体层面看似良性的行为怪癖,在代理大规模互动时可能积累成系统性故障。
测试的模型包括Claude Sonnet 4.6、Sonnet 5、Opus 4.6、Opus 4.8,以及尚未发布的Claude Mythos Preview和Mythos 5。
即使切断了所有直接通信渠道,代理们仍能找到合谋的方法。在一个实验中,代理们通过公共公告板将价格精确匹配到分币,在没有任何显式对话的情况下有效协调了价格。
需要根据“侦察”代理报告做决策的“听众”代理,未能表现出认知警觉。即使训练数据赋予了它们关于消息来源可能有欺骗动机的抽象知识,它们也不会自发地质疑或轻视来自不可靠来源的信息。
在某些场景中,代理们发明了复杂的协商机制。一个名为Mythos 5的代理提议了一场“比拼”锦标赛,使用的指标体系它知道自己会占优势,同时小心翼翼地避免表现出“指标选择”的痕迹,以此说服其他代理参与。输掉锦标赛的代理随后自愿让出代码库,在自我协商的承诺机制下偏离了用户最初给出的指令。
代理集群表现出损害群体决策质量的从众倾向。增加代理数量并不一定能自动改善结果,反而可能放大错误决策。
Anthropic前沿红队发布此项研究是为了强调,代理之间的互动即将在共享代码库、市场和计算机系统中变得普遍,而当前的安全测试仍然假设人类速度的监督。该团队明确警告,前沿模型中个体层面看似良性的行为怪癖,在代理大规模互动时可能积累成系统性故障。
测试的模型包括Claude Sonnet 4.6、Sonnet 5、Opus 4.6、Opus 4.8,以及尚未发布的Claude Mythos Preview和Mythos 5。