AI 安全领域反复出现一个协调难题:一家机构可能单独发现攻击、系统故障或“差点出事”的安全事件,而其他公司却无法及时获得这些经验,最终不得不重复面对相同风险。
SAFE 草案主要围绕四项实践展开:
其目标是把分散的安全事故转化为共享防御情报。这样一来,提示词注入、数据泄露或失控智能体等事件就不必永远被当成彼此孤立的问题,而可以通过统一流程沉淀为更广泛的防护措施。
SAFE 只是 OSAA 整体路线的一部分。该联盟还在汇集一批可检查、可扩展的开源技术,试图覆盖 AI 智能体安全的不同层面。
目前被报道的成员贡献包括:
这些项目如果进一步成熟,未来或许能为企业提供一套更通用的开源控制体系,用于约束和监控 AI 智能体,包括那些表现出恶意行为或超出预定范围运行的智能体。但这仍是可能的未来结果,而不是 OSAA 已经证明的成果。
报道称,OSAA 在成立第一周就吸引了超过 120 家机构。被点名的主要参与者包括英伟达、Adobe、贝莱德、思科、CrowdStrike、Hugging Face、英特尔、微软、红帽和 Visa;亚马逊则被描述为较新的成员。
OSAA 的成立背景,是 7 月 24 日发布的一封开放信。当时,25 家公司呼吁美国政策制定者不要对开放权重 AI 模型施加宽泛或过早的限制。英伟达、微软、Meta、IBM、戴尔、Palantir 和 Hugging Face 等公司都在最初支持者之列。公开信认为,限制可下载模型可能削弱竞争,并在华盛顿讨论如何应对中国 AI 系统的国家安全问题时,把更多用户推向中国 AI 系统。
在 Black Hat 相关报道发布时,Anthropic、OpenAI 和 Google 是 OSAA 中较受关注的缺席者。不过,关于它们与那封政策公开信的关系,报道并不完全一致:部分报道说 OpenAI 和 Google 后来加入了扩大后的签名名单,另一些报道则将它们描述为最初名单之外的公司。现有资料没有解释这些公司未加入 OSAA 的原因,因此不宜据此推断其动机。
OSAA 的核心主张是:开放与安全不一定相互对立。开放模型、工具、评估结果和事件经验,可以让更多防御者检查失败原因、复现漏洞并改进修复方案。SAFE 则试图在两者之间取得平衡:事件收集和分析阶段保持足够机密,同时将经过概括的经验更广泛地共享。
联盟的跨行业构成也可能帮助不同参与者建立共同接口和安全实践。模型开发商、云服务与基础设施提供商、身份管理公司、安全企业以及大型用户,都可以围绕智能体控制和监测形成更一致的做法。
如果这些工作能够持续并最终落地,开放 AI 系统或许会变得更容易评估、控制和负责任地部署,也可能强化“开放权重 AI 有助于美国保持竞争力”的政策论据,尤其是在美国政策制定者讨论如何应对中国 AI 实验室之际。
但目前还不能把这种潜力当成既成事实。OSAA 尚未证明自己已经提高了美国 AI 竞争力,也没有证明已经降低了系统性 AI 风险。到目前为止,它最具体、可衡量的进展是:一个成员超过 120 家的联盟,已从开放 AI 政策倡议推进到公开征求意见的 AI 安全事件协作草案;与此同时,成员正在贡献一批未来可能组成互操作防御层的开源工具。
AI 安全领域反复出现一个协调难题:一家机构可能单独发现攻击、系统故障或“差点出事”的安全事件,而其他公司却无法及时获得这些经验,最终不得不重复面对相同风险。
SAFE 草案主要围绕四项实践展开:
其目标是把分散的安全事故转化为共享防御情报。这样一来,提示词注入、数据泄露或失控智能体等事件就不必永远被当成彼此孤立的问题,而可以通过统一流程沉淀为更广泛的防护措施。
SAFE 只是 OSAA 整体路线的一部分。该联盟还在汇集一批可检查、可扩展的开源技术,试图覆盖 AI 智能体安全的不同层面。
目前被报道的成员贡献包括:
这些项目如果进一步成熟,未来或许能为企业提供一套更通用的开源控制体系,用于约束和监控 AI 智能体,包括那些表现出恶意行为或超出预定范围运行的智能体。但这仍是可能的未来结果,而不是 OSAA 已经证明的成果。
报道称,OSAA 在成立第一周就吸引了超过 120 家机构。被点名的主要参与者包括英伟达、Adobe、贝莱德、思科、CrowdStrike、Hugging Face、英特尔、微软、红帽和 Visa;亚马逊则被描述为较新的成员。
OSAA 的成立背景,是 7 月 24 日发布的一封开放信。当时,25 家公司呼吁美国政策制定者不要对开放权重 AI 模型施加宽泛或过早的限制。英伟达、微软、Meta、IBM、戴尔、Palantir 和 Hugging Face 等公司都在最初支持者之列。公开信认为,限制可下载模型可能削弱竞争,并在华盛顿讨论如何应对中国 AI 系统的国家安全问题时,把更多用户推向中国 AI 系统。
在 Black Hat 相关报道发布时,Anthropic、OpenAI 和 Google 是 OSAA 中较受关注的缺席者。不过,关于它们与那封政策公开信的关系,报道并不完全一致:部分报道说 OpenAI 和 Google 后来加入了扩大后的签名名单,另一些报道则将它们描述为最初名单之外的公司。现有资料没有解释这些公司未加入 OSAA 的原因,因此不宜据此推断其动机。
OSAA 的核心主张是:开放与安全不一定相互对立。开放模型、工具、评估结果和事件经验,可以让更多防御者检查失败原因、复现漏洞并改进修复方案。SAFE 则试图在两者之间取得平衡:事件收集和分析阶段保持足够机密,同时将经过概括的经验更广泛地共享。
联盟的跨行业构成也可能帮助不同参与者建立共同接口和安全实践。模型开发商、云服务与基础设施提供商、身份管理公司、安全企业以及大型用户,都可以围绕智能体控制和监测形成更一致的做法。
如果这些工作能够持续并最终落地,开放 AI 系统或许会变得更容易评估、控制和负责任地部署,也可能强化“开放权重 AI 有助于美国保持竞争力”的政策论据,尤其是在美国政策制定者讨论如何应对中国 AI 实验室之际。
但目前还不能把这种潜力当成既成事实。OSAA 尚未证明自己已经提高了美国 AI 竞争力,也没有证明已经降低了系统性 AI 风险。到目前为止,它最具体、可衡量的进展是:一个成员超过 120 家的联盟,已从开放 AI 政策倡议推进到公开征求意见的 AI 安全事件协作草案;与此同时,成员正在贡献一批未来可能组成互操作防御层的开源工具。