智能体 AI 不只是生成建议:它还可能更新客户资料、调用工具,或推进多步骤业务流程。对新加坡企业来说,从试验走向生产,更稳妥的做法是逐步扩大智能体的权限,并且只在访问控制、人工监督和故障恢复措施都经过验证后,才让它承担更多任务。新加坡的治理框架提供了有用的参照,而以下操作建议则将这些原则转化为实际部署路径。
10
11
新加坡的试验与采用数据说明了什么
由 Google 与新加坡网络安全局(CSA)、政府科技局(GovTech Singapore)及资讯通信媒体发展局(IMDA)合作开展的 AI 智能体沙盒,历时约四个月,探索了自动化软件质量保证、聊天机器人安全测试和社会援助申请处理等场景。试验展示了潜在用途,也指出监督、网络安全、隐私和治理方面的隐忧。它是一次受控试验,并非对智能体适用于所有企业系统的全面认证。
4
12
企业采用的势头正在加快。Deloitte 报告称,72% 的新加坡企业计划在两年内于多个运营领域部署智能体 AI,高于报告发布时的 15%。另一项全球调查则显示,受访企业中有 21% 表示已具备成熟的智能体 AI 治理机制。这个全球数据不能当作新加坡企业治理成熟度的具体比例。
24
26
新加坡《智能体 AI 模型治理框架》围绕四方面提供指引:评估并界定风险、让人类切实承担责任、在全生命周期实施技术控制,以及推动终端用户负责任地使用。它是一套治理基础,不代表某个系统未经实际场景测试就已安全。
10
11
分阶段授予智能体权限
原型测试成功,意味着可以进入下一步评估,不意味着应立即开放不受限制的生产权限。企业可按以下路径逐步推进:
- **离线评估:**在不接入实时系统的情况下,使用有代表性的任务和故障场景进行测试。
- **只读影子运行:**允许智能体查看经过批准的数据并提出操作建议,由人继续作出和执行决定。
- **经人工审批后写入:**只有在授权人员审查具体操作及其依据后,才允许智能体执行范围严格限定的写入操作。
- **有限范围内自主执行:**只有在测试证明控制措施可靠有效后,才允许智能体在无需逐项审批的情况下执行明确、可逆的操作。
每个阶段都应设立上线门槛。是否推进不能只看任务是否完成,还要评估未经授权的操作、数据暴露、对模糊信息的处理、人工干预是否有效,以及故障后能否恢复。新加坡的《智能体系统测试入门工具包》可作为测试参考,但企业仍需针对自身的智能体、工具和工作流程进行测试。
1
36
限定访问权限,让审批真正发挥作用
在允许智能体接触客户记录、金融操作或运营数据库之前,应具体界定它的权限:可以使用哪些系统、记录、字段、工具和数据去向;可以采取哪些操作;哪些操作必须先获批准。如有需要,还应设置交易金额、操作频率和执行时长上限。
人工审核最好设在重大操作执行之前,而不是事后才检查。审核人员应能看到拟执行的变更、受影响的记录、支持依据和可能后果。审批应绑定到具体操作;如果相关数据或操作内容发生变化,就应重新申请审批。
权限限制应由模型之外的机制执行。受控的工具网关可以在请求进入业务系统前,检查智能体身份、权限、操作参数和政策约束。对于金融流程,应将交易提议、授权和执行分开。对于客户记录变更,应保留变更前后的值,以及作出变更的依据。
为复杂系统和不可信输入做好准备
系统分散、应用程序老旧、数据责任方众多,以及文件内容含糊不清,都会让生产部署比沙盒演示复杂得多。应在智能体与业务系统之间设置经过验证的接口,并由相关数据负责人批准访问。还应检查记录是否为最新、格式是否符合预期;如果信息相互矛盾或表述不清,应交由人员处理,而不是让智能体自行猜测。
电子邮件、文件和网页内容都应视为不可信输入。智能体读取的材料中可能藏有间接提示注入,因此检索到的内容不应赋予新权限,也不应覆盖操作规则。在扩大访问范围前,应测试智能体是否会被诱导调用未经批准的工具,或执行超出授权范围的操作。
35
43
运营故障也需要提前演练,不应只关注模型出错。应测试重复请求、过期记录、部分服务中断和并发更新等情况,并设置验证与核对机制,同时明确如何停止执行,以及如何恢复或纠正变更。这些属于建议采用的实施控制;具体设计应根据系统特点和错误后果确定。
将数据主权落实为可验证的控制
对于企业部署,一个实用的工作定义是:数据主权意味着组织能够证明敏感信息会流向何处、谁可以访问、信息如何使用或保留,以及有哪些证据支持这些控制。仅知道服务器位于何处,并不足以完整证明数据受到有效控制。
应梳理完整的数据路径,包括模型推理、检索、嵌入、智能体记忆、编排和日志。明确哪些组件可以处理敏感信息,以及处理时须满足什么条件。还要区分普通推理请求与持久化记忆、微调或模型训练,并对超出预期用途的数据保留或学习行为明确审批要求。
基础设施的选择应以组织能否验证相关控制为依据,例如访问限制、加密密钥管理、数据保留设置、服务商条款和司法管辖区;不应一概认定公有云或本地部署天然更安全。合适的架构取决于企业的数据、义务和风险评估。
让责任贯穿整个生命周期
为每个投入生产的智能体指定业务负责人和技术运营人员,并明确负责其访问权限和操作的数据负责人及审批人。还要记录谁有权暂停或停用智能体。这些实际职责有助于让人工问责成为可观察、可核查的控制,也呼应了治理框架对责任清晰和技术保障的强调。
10
11
对正在使用的模型、提示词、工具、权限和政策保留带版本记录。日志应记录智能体身份、数据引用、工具调用、政策检查、审批和执行结果,并防止未经授权的修改。记录应包括决策依据和简明说明;模型生成的解释本身,并不能证明模型内部具体如何得出结论。
监测异常访问、意外的数据去向、失败率上升,以及绕过审批的尝试。设定触发暂停和人工调查的阈值。每当模型、工具、数据源或权限发生变化时,都应重新测试;同时定期审查智能体是否仍适合获准承担的职责。《智能体系统测试入门工具包》可为相关工作提供参考,但不能取代企业自身的保障评估。
1
36
生产环境的检验标准并不复杂:企业能否证明智能体拥有获准的访问权限、始终在明确边界内运行、可以被有效中断,并为每项操作留下可供审查的记录?只有答案为肯定,才应进一步提高自主程度。沙盒可以验证潜力;要在生产环境中负责任地运行,则必须拿出控制有效的证据。