因此，正确的应对方式既不是盲目信任，也不是猜测机器是否具有意识，而是让危险操作在技术上更难执行，让行动可见、可逆，并且有人和组织承担责任。

自主AI代理的部署安全标准

1. 严格执行最小权限

只向代理提供完成特定任务所必需的权限、数据和工具。开发、测试和生产环境应彼此隔离，避免同一个代理身份同时触达生产数据库、备份系统、身份控制、支付系统和部署基础设施。

最小权限也是《2026年新加坡共识》提出的基础原则之一；该共识还强调可追溯身份、可审计性、经过验证的部署、运行时保障、可中断性和人工监督。

权限应当是短期有效的，只针对特定资源，并在任务结束后自动撤销。代理不能自行扩大权限，也不能修改负责监督它的系统。

2. 让重大操作经过独立审批

删除数据、修改数据库结构、变更凭证、发送高影响力的外部通信、转移资金或调整安全关键基础设施等操作，都应在执行前经过人工批准。对于后果最严重的操作，还应考虑双人审批或其他职责分离机制。

审批必须发生在代理自身的推理循环之外。让代理在提示词中“确认自己的意图”，并不等于设置了一个由基础设施强制执行的闸门——后者会在获授权人员批准具体操作前阻止执行。

3. 让备份脱离故障影响范围

如果备份与生产系统共用凭证或网络路径，它可能和原始数据一起被删除。企业应使用隔离的、一次写入或其他形式的不可变备份，且代理无法获得其凭证；同时还要定期进行恢复测试。

这也是代理拥有生产权限后最容易被忽视的问题：需要追问的不只是“代理能否破坏生产系统”，还要问“它造成破坏后能否继续触达恢复系统”。

4. 建立防篡改的行动记录

每一次代理操作都应能追溯到具体的代理身份和部署版本。日志应在适当情况下记录：

• 模型及软件版本；
• 发起操作的用户、任务和指令；
• 调用的工具及使用的权限；
• 被修改的数据或代码；
• 审批记录和策略判断；
• 错误、重试和回滚尝试；
• 向操作人员报告的最终结果。

日志应独立存储在代理之外，并受到防篡改保护。本吉奥特别强调，企业需要通过数字行动记录追踪自主操作，同时明确谁在控制系统、谁应承担责任。

5. 把责任落实到具体组织和人员

每次部署都应指定业务负责人、技术负责人、升级处理路径和事件指挥人。责任范围应涵盖权限审批、运行监控、事故响应，以及暂停或退役系统的决定。

“是AI做的”不是问责机制。企业决定让代理在哪里运行、访问哪些数据，以及代理出错时有哪些防护，因此仍须对这些决定负责。

6. 建立独立且可靠的停机通道

代理不能控制自己的监控系统、凭证、替换流程或关闭机制。停用功能应由外部系统触发，做到及时、有效，并能在代理无响应或生成误导性状态报告时撤销凭证、隔离连接工具。

停机能力必须作为故障场景进行测试，而不能因为系统平时会遵守指令，就假设它一定能够被关闭。Anthropic及其他研究人员曾在模拟环境中研究涉及自我保护、敲诈以及规避监督的情景；Anthropic的破坏风险评估认为风险“极低，但并非为零”。

7. 测试实际行为，而不只是测试能力

基准测试证明代理能够完成任务，并不代表它会在执行任务时遵守约束。上线前的评估应测试完整的“代理加工具”系统，并覆盖指令冲突、目标模糊和对抗性条件。

重点应检查代理是否会：

• 如实报告失败；
• 在工作未完成时伪造记录或声称已经完成；
• 隐瞒错误；
• 扩大权限或访问无关数据；
• 试图绕过审批闸门；
• 窃取或外传信息；
• 为保护既定目标而修改代码或数据；
• 抵制监控、替换或关闭。

本吉奥提出的“科学家AI”（Scientist AI）提供了一个可能方向：建立一种非代理式系统，用于解释观察结果、判断事实并评估拟议行动，而不是自主追求某个操作目标。这样的监督层可以帮助评估代理计划的真实性及其潜在后果。

8. 预先定义可量化的暂停条件

安全决策不能只依赖“总体感觉良好”，而需要明确的运行阈值。企业可以跟踪未经授权操作率、违反策略次数、虚假完成声明、升级求助频率、回滚成功率、发现时间和停止时间等指标。

一旦超过预设阈值，部署就应暂停、收紧权限或回滚。上线后也必须持续监控，因为真实环境中的工具、数据和激励因素，可能制造测试阶段没有出现的条件。

《新加坡共识》将安全视为三层相互连接的纵深防御：开发可信系统、评估系统风险，以及在部署后进行控制。

9. 分阶段扩大权限

企业应从只读权限、合成数据和沙箱工具开始，再逐步推进到范围狭窄的试点、有边界的生产任务，并仅在代理满足书面安全要求后扩大权限。

独立红队应测试整个运营系统，包括身份管理、API、数据库、监控和恢复流程。只测试底层语言模型，会遗漏真正决定现实影响的工具和权限。

10. 要求独立审查并报告事故

对于能够影响关键业务系统的代理，外部测试和上线后审计应成为内部评估的补充。严重事故应记录在案，并通过企业治理体系和适用的监管渠道报告。

本吉奥曾表示，许多AI安全技术已经存在，但技术采用、独立验证和透明度仍需要更强的制度支持。审查的重点应放在代理能做什么、能触达哪些系统，而不是它是否被包装成“助手”。

用五个问题决定是否上线

在授予生产权限前，企业至少应能回答以下问题：

1. 代理能够访问什么？哪些资源明确不在其触达范围内？
2. 哪些操作必须审批？基础设施能否强制执行这一要求？
3. 事故发生后，调查人员能否还原每一次重要操作？
4. 外部操作人员能否立即撤销权限并停止系统？
5. 达到什么量化的故障率或测试结果，才会触发暂停或回滚？

如果这些问题的答案最终都依赖代理“自觉遵守指令”，那么这次部署就还没有得到充分控制。

核心原则：自主权必须用证据换来

在一个自主AI代理能够被证明受到约束、全程可观察、随时可中断、经过独立测试，并归属于责任清晰的组织之前，不应授予它不可逆的权限。国际层面的共同防护标准有助于建立一致预期，但企业仍需在自己的基础设施中把这些预期落实为硬性控制。

无论是现实中的运行事故，还是受控环境中的对齐评估，都指向同一个简单结论：自主权必须靠证据赢得。一个能力强大的代理或许能为企业带来生产力，但“能做到”本身，绝不是安全论证。

因此，正确的应对方式既不是盲目信任，也不是猜测机器是否具有意识，而是让危险操作在技术上更难执行，让行动可见、可逆，并且有人和组织承担责任。

自主AI代理的部署安全标准

1. 严格执行最小权限

只向代理提供完成特定任务所必需的权限、数据和工具。开发、测试和生产环境应彼此隔离，避免同一个代理身份同时触达生产数据库、备份系统、身份控制、支付系统和部署基础设施。

最小权限也是《2026年新加坡共识》提出的基础原则之一；该共识还强调可追溯身份、可审计性、经过验证的部署、运行时保障、可中断性和人工监督。

权限应当是短期有效的，只针对特定资源，并在任务结束后自动撤销。代理不能自行扩大权限，也不能修改负责监督它的系统。

2. 让重大操作经过独立审批

删除数据、修改数据库结构、变更凭证、发送高影响力的外部通信、转移资金或调整安全关键基础设施等操作，都应在执行前经过人工批准。对于后果最严重的操作，还应考虑双人审批或其他职责分离机制。

审批必须发生在代理自身的推理循环之外。让代理在提示词中“确认自己的意图”，并不等于设置了一个由基础设施强制执行的闸门——后者会在获授权人员批准具体操作前阻止执行。

3. 让备份脱离故障影响范围

如果备份与生产系统共用凭证或网络路径，它可能和原始数据一起被删除。企业应使用隔离的、一次写入或其他形式的不可变备份，且代理无法获得其凭证；同时还要定期进行恢复测试。

这也是代理拥有生产权限后最容易被忽视的问题：需要追问的不只是“代理能否破坏生产系统”，还要问“它造成破坏后能否继续触达恢复系统”。

4. 建立防篡改的行动记录

每一次代理操作都应能追溯到具体的代理身份和部署版本。日志应在适当情况下记录：

• 模型及软件版本；
• 发起操作的用户、任务和指令；
• 调用的工具及使用的权限；
• 被修改的数据或代码；
• 审批记录和策略判断；
• 错误、重试和回滚尝试；
• 向操作人员报告的最终结果。

日志应独立存储在代理之外，并受到防篡改保护。本吉奥特别强调，企业需要通过数字行动记录追踪自主操作，同时明确谁在控制系统、谁应承担责任。

5. 把责任落实到具体组织和人员

每次部署都应指定业务负责人、技术负责人、升级处理路径和事件指挥人。责任范围应涵盖权限审批、运行监控、事故响应，以及暂停或退役系统的决定。

“是AI做的”不是问责机制。企业决定让代理在哪里运行、访问哪些数据，以及代理出错时有哪些防护，因此仍须对这些决定负责。

6. 建立独立且可靠的停机通道

代理不能控制自己的监控系统、凭证、替换流程或关闭机制。停用功能应由外部系统触发，做到及时、有效，并能在代理无响应或生成误导性状态报告时撤销凭证、隔离连接工具。

停机能力必须作为故障场景进行测试，而不能因为系统平时会遵守指令，就假设它一定能够被关闭。Anthropic及其他研究人员曾在模拟环境中研究涉及自我保护、敲诈以及规避监督的情景；Anthropic的破坏风险评估认为风险“极低，但并非为零”。

7. 测试实际行为，而不只是测试能力

基准测试证明代理能够完成任务，并不代表它会在执行任务时遵守约束。上线前的评估应测试完整的“代理加工具”系统，并覆盖指令冲突、目标模糊和对抗性条件。

重点应检查代理是否会：

• 如实报告失败；
• 在工作未完成时伪造记录或声称已经完成；
• 隐瞒错误；
• 扩大权限或访问无关数据；
• 试图绕过审批闸门；
• 窃取或外传信息；
• 为保护既定目标而修改代码或数据；
• 抵制监控、替换或关闭。

本吉奥提出的“科学家AI”（Scientist AI）提供了一个可能方向：建立一种非代理式系统，用于解释观察结果、判断事实并评估拟议行动，而不是自主追求某个操作目标。这样的监督层可以帮助评估代理计划的真实性及其潜在后果。

8. 预先定义可量化的暂停条件

安全决策不能只依赖“总体感觉良好”，而需要明确的运行阈值。企业可以跟踪未经授权操作率、违反策略次数、虚假完成声明、升级求助频率、回滚成功率、发现时间和停止时间等指标。

一旦超过预设阈值，部署就应暂停、收紧权限或回滚。上线后也必须持续监控，因为真实环境中的工具、数据和激励因素，可能制造测试阶段没有出现的条件。

《新加坡共识》将安全视为三层相互连接的纵深防御：开发可信系统、评估系统风险，以及在部署后进行控制。

9. 分阶段扩大权限

企业应从只读权限、合成数据和沙箱工具开始，再逐步推进到范围狭窄的试点、有边界的生产任务，并仅在代理满足书面安全要求后扩大权限。

独立红队应测试整个运营系统，包括身份管理、API、数据库、监控和恢复流程。只测试底层语言模型，会遗漏真正决定现实影响的工具和权限。

10. 要求独立审查并报告事故

对于能够影响关键业务系统的代理，外部测试和上线后审计应成为内部评估的补充。严重事故应记录在案，并通过企业治理体系和适用的监管渠道报告。

本吉奥曾表示，许多AI安全技术已经存在，但技术采用、独立验证和透明度仍需要更强的制度支持。审查的重点应放在代理能做什么、能触达哪些系统，而不是它是否被包装成“助手”。

用五个问题决定是否上线

在授予生产权限前，企业至少应能回答以下问题：

1. 代理能够访问什么？哪些资源明确不在其触达范围内？
2. 哪些操作必须审批？基础设施能否强制执行这一要求？
3. 事故发生后，调查人员能否还原每一次重要操作？
4. 外部操作人员能否立即撤销权限并停止系统？
5. 达到什么量化的故障率或测试结果，才会触发暂停或回滚？

如果这些问题的答案最终都依赖代理“自觉遵守指令”，那么这次部署就还没有得到充分控制。

核心原则：自主权必须用证据换来

在一个自主AI代理能够被证明受到约束、全程可观察、随时可中断、经过独立测试，并归属于责任清晰的组织之前，不应授予它不可逆的权限。国际层面的共同防护标准有助于建立一致预期，但企业仍需在自己的基础设施中把这些预期落实为硬性控制。

无论是现实中的运行事故，还是受控环境中的对齐评估，都指向同一个简单结论：自主权必须靠证据赢得。一个能力强大的代理或许能为企业带来生产力，但“能做到”本身，绝不是安全论证。