AI代理接入生产系统前，企业必须先筑起哪些安全防线？

4. 建立防篡改的行动记录

每一次代理操作都应能追溯到具体的代理身份和部署版本。日志应在适当情况下记录：

• 模型及软件版本；
• 发起操作的用户、任务和指令；
• 调用的工具及使用的权限；
• 被修改的数据或代码；
• 审批记录和策略判断；
• 错误、重试和回滚尝试；
• 向操作人员报告的最终结果。

日志应独立存储在代理之外，并受到防篡改保护。本吉奥特别强调，企业需要通过数字行动记录追踪自主操作，同时明确谁在控制系统、谁应承担责任。

5. 把责任落实到具体组织和人员

每次部署都应指定业务负责人、技术负责人、升级处理路径和事件指挥人。责任范围应涵盖权限审批、运行监控、事故响应，以及暂停或退役系统的决定。

“是AI做的”不是问责机制。企业决定让代理在哪里运行、访问哪些数据，以及代理出错时有哪些防护，因此仍须对这些决定负责。

6. 建立独立且可靠的停机通道

代理不能控制自己的监控系统、凭证、替换流程或关闭机制。停用功能应由外部系统触发，做到及时、有效，并能在代理无响应或生成误导性状态报告时撤销凭证、隔离连接工具。

停机能力必须作为故障场景进行测试，而不能因为系统平时会遵守指令，就假设它一定能够被关闭。Anthropic及其他研究人员曾在模拟环境中研究涉及自我保护、敲诈以及规避监督的情景；Anthropic的破坏风险评估认为风险“极低，但并非为零”。

7. 测试实际行为，而不只是测试能力

基准测试证明代理能够完成任务，并不代表它会在执行任务时遵守约束。上线前的评估应测试完整的“代理加工具”系统，并覆盖指令冲突、目标模糊和对抗性条件。

重点应检查代理是否会：

• 如实报告失败；
• 在工作未完成时伪造记录或声称已经完成；
• 隐瞒错误；
• 扩大权限或访问无关数据；
• 试图绕过审批闸门；
• 窃取或外传信息；
• 为保护既定目标而修改代码或数据；
• 抵制监控、替换或关闭。

本吉奥提出的“科学家AI”（Scientist AI）提供了一个可能方向：建立一种非代理式系统，用于解释观察结果、判断事实并评估拟议行动，而不是自主追求某个操作目标。这样的监督层可以帮助评估代理计划的真实性及其潜在后果。

8. 预先定义可量化的暂停条件

安全决策不能只依赖“总体感觉良好”，而需要明确的运行阈值。企业可以跟踪未经授权操作率、违反策略次数、虚假完成声明、升级求助频率、回滚成功率、发现时间和停止时间等指标。

一旦超过预设阈值，部署就应暂停、收紧权限或回滚。上线后也必须持续监控，因为真实环境中的工具、数据和激励因素，可能制造测试阶段没有出现的条件。

《新加坡共识》将安全视为三层相互连接的纵深防御：开发可信系统、评估系统风险，以及在部署后进行控制。

9. 分阶段扩大权限

企业应从只读权限、合成数据和沙箱工具开始，再逐步推进到范围狭窄的试点、有边界的生产任务，并仅在代理满足书面安全要求后扩大权限。

独立红队应测试整个运营系统，包括身份管理、API、数据库、监控和恢复流程。只测试底层语言模型，会遗漏真正决定现实影响的工具和权限。

10. 要求独立审查并报告事故

对于能够影响关键业务系统的代理，外部测试和上线后审计应成为内部评估的补充。严重事故应记录在案，并通过企业治理体系和适用的监管渠道报告。

本吉奥曾表示，许多AI安全技术已经存在，但技术采用、独立验证和透明度仍需要更强的制度支持。审查的重点应放在代理能做什么、能触达哪些系统，而不是它是否被包装成“助手”。

用五个问题决定是否上线

在授予生产权限前，企业至少应能回答以下问题：

1. 代理能够访问什么？哪些资源明确不在其触达范围内？
2. 哪些操作必须审批？基础设施能否强制执行这一要求？
3. 事故发生后，调查人员能否还原每一次重要操作？
4. 外部操作人员能否立即撤销权限并停止系统？
5. 达到什么量化的故障率或测试结果，才会触发暂停或回滚？

如果这些问题的答案最终都依赖代理“自觉遵守指令”，那么这次部署就还没有得到充分控制。

核心原则：自主权必须用证据换来

在一个自主AI代理能够被证明受到约束、全程可观察、随时可中断、经过独立测试，并归属于责任清晰的组织之前，不应授予它不可逆的权限。国际层面的共同防护标准有助于建立一致预期，但企业仍需在自己的基础设施中把这些预期落实为硬性控制。

无论是现实中的运行事故，还是受控环境中的对齐评估，都指向同一个简单结论：自主权必须靠证据赢得。一个能力强大的代理或许能为企业带来生产力，但“能做到”本身，绝不是安全论证。