Giskard 将 Guards 定位为位于AI智能体与企业系统之间的一层安全控制层。
与只检查提示或最终输出不同,该平台会分析智能体执行过程中的完整上下文,包括提示、推理步骤、工具调用以及最终输出。目标是在风险行为真正影响生产系统之前识别并阻止它们。
其核心机制包括:
上下文感知的安全护栏
系统会根据任务上下文、工具权限和数据来源判断请求意图,而不是只依赖关键词匹配。
多重检测机制
平台同时运行多个检测器,例如识别越狱尝试、提示注入、敏感数据暴露或策略违规。当检测到风险时,可以选择允许、监控或阻止操作。
执行链监控
平台会检查智能体执行任务的完整链路,而不仅是输入输出。这一点很重要,因为攻击往往出现在中间步骤,例如恶意文档中的指令或危险的工具调用。
Giskard Guards 的核心设计理念之一是 Policy‑as‑Code(政策即代码)。
企业通常拥有大量治理规则,例如隐私保护、合规要求或内部安全策略。传统方法往往依赖人工审核或提示工程来执行这些规则,但这种方式难以在自动化系统中稳定运行。
“政策即代码”则将这些规则转换为机器可执行的控制策略。例如研究表明,可以将自然语言政策与技术文档转换为运行时安全规则,并在AI智能体执行任务时实时监控其行为。
在这种模式下,企业可以设置规则,例如:
由于这些规则以代码形式管理,它们可以版本化并随着AI系统的变化持续更新。
推动这种治理框架的另一个重要原因是监管。
欧盟《人工智能法案》(EU AI Act)建立了基于风险等级的监管体系。对于可能影响健康、安全或基本权利的 高风险AI系统,法律要求企业满足一系列义务,例如风险管理、数据治理、透明度、日志记录、技术稳健性以及人类监督。
像 Giskard Guards 这样的治理平台试图通过以下方式帮助企业满足这些要求:
这些功能可以支持高风险AI系统在法规中的关键要求,例如人类监督和技术稳健性。
对AI智能体治理需求最强烈的通常是监管严格的行业。
银行和保险行业
AI智能体可能用于风险评估、欺诈检测、理赔处理或客户服务。这些流程涉及大量敏感金融数据,因此必须确保系统不会执行未经授权的操作或泄露信息。
医疗行业
风险更高。AI智能体可能用于总结病历、检索患者信息或辅助分诊。安全护栏必须确保患者隐私受到保护,并防止系统在没有人工监督的情况下给出不安全的建议。
在这些场景中,企业通常需要在基础设施层面实施安全控制,而不是仅依赖提示或模型规则。
Giskard 还将 Guards 定位为欧洲 “主权AI(Sovereign AI)” 生态的一部分。
该平台支持本地部署或受控环境部署,使企业可以将敏感数据、监控日志和策略执行保留在自身基础设施中,而不是完全依赖外部云端审核服务。
对于受到 GDPR 和欧盟AI法案监管的组织来说,安全系统部署在何处、数据如何流动,都是关键决策因素。
随着AI智能体能力的提升,传统只检查提示或文本输出的安全系统已经难以应对复杂场景。
Giskard Guards 代表了一种正在兴起的思路:在整个智能体工作流程中持续监控其行为,并在运行时执行治理策略。
这种方法能否在大规模企业环境中有效防止复杂失误仍有待观察。但越来越多企业和研究人员认为,当AI系统开始执行真实任务时,单纯的内容过滤已经不够,行为级安全控制将成为新的关键基础设施。
Giskard 将 Guards 定位为位于AI智能体与企业系统之间的一层安全控制层。
与只检查提示或最终输出不同,该平台会分析智能体执行过程中的完整上下文,包括提示、推理步骤、工具调用以及最终输出。目标是在风险行为真正影响生产系统之前识别并阻止它们。
其核心机制包括:
上下文感知的安全护栏
系统会根据任务上下文、工具权限和数据来源判断请求意图,而不是只依赖关键词匹配。
多重检测机制
平台同时运行多个检测器,例如识别越狱尝试、提示注入、敏感数据暴露或策略违规。当检测到风险时,可以选择允许、监控或阻止操作。
执行链监控
平台会检查智能体执行任务的完整链路,而不仅是输入输出。这一点很重要,因为攻击往往出现在中间步骤,例如恶意文档中的指令或危险的工具调用。
Giskard Guards 的核心设计理念之一是 Policy‑as‑Code(政策即代码)。
企业通常拥有大量治理规则,例如隐私保护、合规要求或内部安全策略。传统方法往往依赖人工审核或提示工程来执行这些规则,但这种方式难以在自动化系统中稳定运行。
“政策即代码”则将这些规则转换为机器可执行的控制策略。例如研究表明,可以将自然语言政策与技术文档转换为运行时安全规则,并在AI智能体执行任务时实时监控其行为。
在这种模式下,企业可以设置规则,例如:
由于这些规则以代码形式管理,它们可以版本化并随着AI系统的变化持续更新。
推动这种治理框架的另一个重要原因是监管。
欧盟《人工智能法案》(EU AI Act)建立了基于风险等级的监管体系。对于可能影响健康、安全或基本权利的 高风险AI系统,法律要求企业满足一系列义务,例如风险管理、数据治理、透明度、日志记录、技术稳健性以及人类监督。
像 Giskard Guards 这样的治理平台试图通过以下方式帮助企业满足这些要求:
这些功能可以支持高风险AI系统在法规中的关键要求,例如人类监督和技术稳健性。
对AI智能体治理需求最强烈的通常是监管严格的行业。
银行和保险行业
AI智能体可能用于风险评估、欺诈检测、理赔处理或客户服务。这些流程涉及大量敏感金融数据,因此必须确保系统不会执行未经授权的操作或泄露信息。
医疗行业
风险更高。AI智能体可能用于总结病历、检索患者信息或辅助分诊。安全护栏必须确保患者隐私受到保护,并防止系统在没有人工监督的情况下给出不安全的建议。
在这些场景中,企业通常需要在基础设施层面实施安全控制,而不是仅依赖提示或模型规则。
Giskard 还将 Guards 定位为欧洲 “主权AI(Sovereign AI)” 生态的一部分。
该平台支持本地部署或受控环境部署,使企业可以将敏感数据、监控日志和策略执行保留在自身基础设施中,而不是完全依赖外部云端审核服务。
对于受到 GDPR 和欧盟AI法案监管的组织来说,安全系统部署在何处、数据如何流动,都是关键决策因素。
随着AI智能体能力的提升,传统只检查提示或文本输出的安全系统已经难以应对复杂场景。
Giskard Guards 代表了一种正在兴起的思路:在整个智能体工作流程中持续监控其行为,并在运行时执行治理策略。
这种方法能否在大规模企业环境中有效防止复杂失误仍有待观察。但越来越多企业和研究人员认为,当AI系统开始执行真实任务时,单纯的内容过滤已经不够,行为级安全控制将成为新的关键基础设施。