Giskard Guards：为企业AI智能体加上一层实时安全与治理防护

企业AI智能体正迅速从实验项目走向真实业务流程。它们能够检索文档、调用API、执行多步骤任务，并直接与企业系统互动。但这种能力扩展也带来了新的安全问题——例如提示注入（prompt injection）、幻觉导致的错误操作、敏感数据泄露，以及对外部工具的不安全调用。

法国AI安全初创公司 Giskard 推出了 Giskard Guards 平台，试图填补这一安全空白。与传统AI内容过滤不同，该平台被设计为一层运行时安全与治理基础设施，专门保护企业级AI智能体在真实工作流程中的行为。

企业AI智能体的安全缺口

早期AI安全机制主要关注过滤用户输入和模型输出。当语言模型主要用于聊天或生成文本时，这种方法基本可行。

但如今的企业AI智能体已经发生了变化，它们可以：

• 检索内部数据库或外部文档
• 调用API和自动化工具
• 执行多步骤推理与任务流程
• 与企业运营系统进行交互

因此，风险的重点已经从“生成不良内容”转变为 “执行不良行为”。

智能体可能会幻觉出错误信息、遵循被嵌入在检索文档中的恶意指令、泄露敏感数据，或通过连接的工具执行未经授权的操作。如果这些问题发生在真实业务流程中，就可能影响企业运营或导致数据泄露。

传统的AI安全措施——例如关键词过滤或简单分类器——在这种环境下往往表现不足。这些系统通常缺乏业务上下文，可能会误拦截正常请求，同时又无法识别跨多个步骤的攻击，例如复杂的提示注入或工具链利用。

Giskard Guards：AI智能体的运行时安全层

Giskard 将 Guards 定位为位于AI智能体与企业系统之间的一层安全控制层。

与只检查提示或最终输出不同，该平台会分析智能体执行过程中的完整上下文，包括提示、推理步骤、工具调用以及最终输出。目标是在风险行为真正影响生产系统之前识别并阻止它们。

其核心机制包括：

上下文感知的安全护栏
系统会根据任务上下文、工具权限和数据来源判断请求意图，而不是只依赖关键词匹配。

多重检测机制
平台同时运行多个检测器，例如识别越狱尝试、提示注入、敏感数据暴露或策略违规。当检测到风险时，可以选择允许、监控或阻止操作。

执行链监控
平台会检查智能体执行任务的完整链路，而不仅是输入输出。这一点很重要，因为攻击往往出现在中间步骤，例如恶意文档中的指令或危险的工具调用。

“政策即代码”：AI治理的新方式

Giskard Guards 的核心设计理念之一是 Policy‑as‑Code（政策即代码）。

企业通常拥有大量治理规则，例如隐私保护、合规要求或内部安全策略。传统方法往往依赖人工审核或提示工程来执行这些规则，但这种方式难以在自动化系统中稳定运行。

“政策即代码”则将这些规则转换为机器可执行的控制策略。例如研究表明，可以将自然语言政策与技术文档转换为运行时安全规则，并在AI智能体执行任务时实时监控其行为。

在这种模式下，企业可以设置规则，例如：

• 禁止披露医疗或金融敏感数据
• 高风险决策必须经过人工审核
• 限制智能体可以调用的工具
• 自动记录操作日志用于审计

由于这些规则以代码形式管理，它们可以版本化并随着AI系统的变化持续更新。

与欧盟《AI法案》的合规对齐

推动这种治理框架的另一个重要原因是监管。

欧盟《人工智能法案》（EU AI Act）建立了基于风险等级的监管体系。对于可能影响健康、安全或基本权利的 高风险AI系统，法律要求企业满足一系列义务，例如风险管理、数据治理、透明度、日志记录、技术稳健性以及人类监督。

像 Giskard Guards 这样的治理平台试图通过以下方式帮助企业满足这些要求：

• 持续监控AI系统行为并记录日志
• 在运行时执行合规策略
• 为自动化决策提供可审计的监督机制

这些功能可以支持高风险AI系统在法规中的关键要求，例如人类监督和技术稳健性。

为什么金融与医疗行业最关注

对AI智能体治理需求最强烈的通常是监管严格的行业。

银行和保险行业
AI智能体可能用于风险评估、欺诈检测、理赔处理或客户服务。这些流程涉及大量敏感金融数据，因此必须确保系统不会执行未经授权的操作或泄露信息。

医疗行业
风险更高。AI智能体可能用于总结病历、检索患者信息或辅助分诊。安全护栏必须确保患者隐私受到保护，并防止系统在没有人工监督的情况下给出不安全的建议。

在这些场景中，企业通常需要在基础设施层面实施安全控制，而不是仅依赖提示或模型规则。

欧洲“主权AI”战略的一部分

Giskard 还将 Guards 定位为欧洲 “主权AI（Sovereign AI）” 生态的一部分。

该平台支持本地部署或受控环境部署，使企业可以将敏感数据、监控日志和策略执行保留在自身基础设施中，而不是完全依赖外部云端审核服务。

对于受到 GDPR 和欧盟AI法案监管的组织来说，安全系统部署在何处、数据如何流动，都是关键决策因素。

AI安全的新方向：监控行为而非内容

随着AI智能体能力的提升，传统只检查提示或文本输出的安全系统已经难以应对复杂场景。

Giskard Guards 代表了一种正在兴起的思路：在整个智能体工作流程中持续监控其行为，并在运行时执行治理策略。

这种方法能否在大规模企业环境中有效防止复杂失误仍有待观察。但越来越多企业和研究人员认为，当AI系统开始执行真实任务时，单纯的内容过滤已经不够，行为级安全控制将成为新的关键基础设施。