一次令人印象深刻的 AI 演示，并不能证明系统已经适合承担真实工作。新加坡的数字基础有助于部署 AI，但能否放心使用，还要看系统表现是否稳定、答案来源能否核实，以及它是否始终遵守明确的边界。尤其当 AI 从提供建议转向直接执行工作流程时，这些差别就更加重要。

不可靠的 AI，为什么会累积“信任债务”

“信任债务”是一个用来描述额外工作负担的分析性说法，并非正式指标：当员工无法放心采用 AI 输出，就得自己核对来源、发现错误、处理前后不一致的问题，并在工作继续之前补救。

常见的负担主要来自三方面：

• **输出不稳定：**相似个案得到差异明显的答案，或同一政策被前后不一地处理，团队就难以建立可靠的工作标准。可预测性指的是质量和行为稳定，而不是每次都用一模一样的措辞。
• **来源难以核实：**答案附上引文，不等于证据充分。审核者仍要确认来源是否权威、是否最新，以及它是否真的支持相关说法。
• **错误却说得笃定：**美国国家标准与技术研究院（NIST）将生成式 AI 生成并自信呈现的错误内容称为“虚构”（confabulation），并将其列为一项风险。22 语言流畅，不代表内容准确。

如果每份输出都需要专业人员重新查证和梳理，AI 可能只是加快了起草速度，并没有省掉工作中成本最高的部分。组织因此可能选择先将这类系统限制在影响较小的任务中，直到核查负担有所降低。

从建议到执行，风险为何随之上升

错误建议可以被拒绝。但如果 AI 智能体能够修改记录、发送信息或发起交易，错误就可能直接变成实际的运营事件。它能接触的系统和可执行的操作越多，就越需要明确规定：它可以做什么、何时必须停下，以及由谁负责。

人工审核也有两难：每个动作都要审批，可能拖慢工作；在系统可靠性尚未得到验证时取消审批，则可能扩大风险。解决办法不是一概审批或完全放权，而是根据出错后果设置相称的控制措施。

新加坡的《智能体人工智能治理框架》指出，人类必须继续承担责任，并强调在智能体的整个生命周期中落实有实质意义的人类控制和监督。3 实际监督不应只是一个“批准”按钮：审核者需要看到相关证据、有足够时间和权限进行干预，也要有切实可行的方法叫停操作。

什么样的 AI，才值得依赖

NIST 将可靠、安全、具备安全防护能力、可问责、透明、可解释、保护隐私，以及管理有害偏见等列为可信 AI 的特征。18 对组织来说，这些原则需要转化成日常运营中的具体要求：

• **明确性能标准和适用范围：**界定系统要处理的任务，测试困难情境；证据不足时，系统应能暂缓回答或将任务交由人工处理。
• **数据有治理：**明确可信数据来源、数据负责人，以及数据质量、更新时效和留存规则。把模型连接到数据，并不会自动让数据变得可靠。
• **权限边界清楚：**只开放完成任务所需的访问权限。对影响重大的操作设置限制和审批，并尽可能通过外围软件强制执行，而不是只依赖模型自觉遵守。
• **解释能够查证：**说明建议或操作依据的证据和适用规则。若解释也是由同一个系统生成，就不能把它当成答案正确的证明。
• **来源可追溯、过程可审计：**妥善保留数据来源版本、系统设置、工具调用、审批和操作记录，以便调查问题。
• **预先准备应对故障：**持续监测表现，规划事件处置，并准备备用流程和恢复机制。

目标不是假设模型永远不会出错，而是建立一套能发现、限制并从错误中恢复的系统。

从辅助工作到自主执行：分阶段推进

组织应根据已经验证的表现和错误后果，逐步扩大 AI 的职责，而不是因为某个模型看起来特别惊艳，就让它承担更多工作。

1. **先从有证据支持的输出开始。**可先用于范围明确的检索、信息提取和摘要。测试有代表性的常规案例和困难案例，并记录缺乏依据的说法、遗漏和违反政策的情况。
2. **再加入人工监督的建议和草稿。**让 AI 起草决策建议、信息内容或记录变更方案，但对影响重大的结果保留由明确负责人审批。衡量人工修改的比例，以及审核所需的工作量。
3. **尝试范围有限、能够恢复的操作。**可为后果较轻的任务设置有限权限、验证机制、异常处理流程和停止控制。优先选择确实可以撤销的操作；无法撤销的操作则应加强事前检查。
4. **仅在有充分理由时扩大自主权。**只有当系统长期表现稳定、出错后果可控、监督机制有效时，才考虑扩展其任务范围。技术上做得到，并不等于高风险决策就应该交给 AI 自动处理。

无论处于哪个阶段，都应指定负责人员，监测从头到尾的实际结果，并在模型、数据、工具或政策变更后重新验证。除了质量、事件和业务结果，也要衡量审核及补救成本，并事先设定扩大使用、暂停或撤除系统的标准。

真正值得关注的，不是 AI 最好的演示有多精彩，而是把核查和监督纳入考量后，它能否持续创造价值。只有当人们可以依赖它的日常表现、看清它的边界，并在必要时有效介入，AI 才能成为可靠的基础设施。

一次令人印象深刻的 AI 演示，并不能证明系统已经适合承担真实工作。新加坡的数字基础有助于部署 AI，但能否放心使用，还要看系统表现是否稳定、答案来源能否核实，以及它是否始终遵守明确的边界。尤其当 AI 从提供建议转向直接执行工作流程时，这些差别就更加重要。

不可靠的 AI，为什么会累积“信任债务”

“信任债务”是一个用来描述额外工作负担的分析性说法，并非正式指标：当员工无法放心采用 AI 输出，就得自己核对来源、发现错误、处理前后不一致的问题，并在工作继续之前补救。

常见的负担主要来自三方面：

• **输出不稳定：**相似个案得到差异明显的答案，或同一政策被前后不一地处理，团队就难以建立可靠的工作标准。可预测性指的是质量和行为稳定，而不是每次都用一模一样的措辞。
• **来源难以核实：**答案附上引文，不等于证据充分。审核者仍要确认来源是否权威、是否最新，以及它是否真的支持相关说法。
• **错误却说得笃定：**美国国家标准与技术研究院（NIST）将生成式 AI 生成并自信呈现的错误内容称为“虚构”（confabulation），并将其列为一项风险。22 语言流畅，不代表内容准确。

如果每份输出都需要专业人员重新查证和梳理，AI 可能只是加快了起草速度，并没有省掉工作中成本最高的部分。组织因此可能选择先将这类系统限制在影响较小的任务中，直到核查负担有所降低。

从建议到执行，风险为何随之上升

错误建议可以被拒绝。但如果 AI 智能体能够修改记录、发送信息或发起交易，错误就可能直接变成实际的运营事件。它能接触的系统和可执行的操作越多，就越需要明确规定：它可以做什么、何时必须停下，以及由谁负责。

人工审核也有两难：每个动作都要审批，可能拖慢工作；在系统可靠性尚未得到验证时取消审批，则可能扩大风险。解决办法不是一概审批或完全放权，而是根据出错后果设置相称的控制措施。

新加坡的《智能体人工智能治理框架》指出，人类必须继续承担责任，并强调在智能体的整个生命周期中落实有实质意义的人类控制和监督。3 实际监督不应只是一个“批准”按钮：审核者需要看到相关证据、有足够时间和权限进行干预，也要有切实可行的方法叫停操作。

什么样的 AI，才值得依赖

NIST 将可靠、安全、具备安全防护能力、可问责、透明、可解释、保护隐私，以及管理有害偏见等列为可信 AI 的特征。18 对组织来说，这些原则需要转化成日常运营中的具体要求：

• **明确性能标准和适用范围：**界定系统要处理的任务，测试困难情境；证据不足时，系统应能暂缓回答或将任务交由人工处理。
• **数据有治理：**明确可信数据来源、数据负责人，以及数据质量、更新时效和留存规则。把模型连接到数据，并不会自动让数据变得可靠。
• **权限边界清楚：**只开放完成任务所需的访问权限。对影响重大的操作设置限制和审批，并尽可能通过外围软件强制执行，而不是只依赖模型自觉遵守。
• **解释能够查证：**说明建议或操作依据的证据和适用规则。若解释也是由同一个系统生成，就不能把它当成答案正确的证明。
• **来源可追溯、过程可审计：**妥善保留数据来源版本、系统设置、工具调用、审批和操作记录，以便调查问题。
• **预先准备应对故障：**持续监测表现，规划事件处置，并准备备用流程和恢复机制。

目标不是假设模型永远不会出错，而是建立一套能发现、限制并从错误中恢复的系统。

从辅助工作到自主执行：分阶段推进

组织应根据已经验证的表现和错误后果，逐步扩大 AI 的职责，而不是因为某个模型看起来特别惊艳，就让它承担更多工作。

1. **先从有证据支持的输出开始。**可先用于范围明确的检索、信息提取和摘要。测试有代表性的常规案例和困难案例，并记录缺乏依据的说法、遗漏和违反政策的情况。
2. **再加入人工监督的建议和草稿。**让 AI 起草决策建议、信息内容或记录变更方案，但对影响重大的结果保留由明确负责人审批。衡量人工修改的比例，以及审核所需的工作量。
3. **尝试范围有限、能够恢复的操作。**可为后果较轻的任务设置有限权限、验证机制、异常处理流程和停止控制。优先选择确实可以撤销的操作；无法撤销的操作则应加强事前检查。
4. **仅在有充分理由时扩大自主权。**只有当系统长期表现稳定、出错后果可控、监督机制有效时，才考虑扩展其任务范围。技术上做得到，并不等于高风险决策就应该交给 AI 自动处理。

无论处于哪个阶段，都应指定负责人员，监测从头到尾的实际结果，并在模型、数据、工具或政策变更后重新验证。除了质量、事件和业务结果，也要衡量审核及补救成本，并事先设定扩大使用、暂停或撤除系统的标准。

真正值得关注的，不是 AI 最好的演示有多精彩，而是把核查和监督纳入考量后，它能否持续创造价值。只有当人们可以依赖它的日常表现、看清它的边界，并在必要时有效介入，AI 才能成为可靠的基础设施。