OpenAI如何在不读取客户内容的情况下检测AI滥用

OpenAI正在预览一套名为 Private Safety Processing（私密安全处理） 的安全架构，服务对象是使用 零数据保留（Zero Data Retention，ZDR） 的符合条件的API客户。它要解决的是一个越来越棘手的问题：当AI被用于更长、更分散的工作流时，单独查看某一次请求，可能无法识别真正的恶意目标；但如果把多个交互串联起来分析，又容易触及企业对数据隐私的担忧。

OpenAI给出的方案是：让自动化系统在不向OpenAI员工开放底层内容的情况下，分析相关交互之间的风险模式，并仅向OpenAI返回有限的安全信号。

它具体如何识别跨会话滥用？

传统的ZDR安全机制主要逐条评估请求和响应。Private Safety Processing则试图把相关交互放在更长的时间和任务链条中观察，寻找可能代表协同滥用的关联模式，例如：

• 将规避安全限制的尝试拆分到多个账户或会话中；
• 把恶意软件开发等高风险任务拆成一系列看似独立的请求；
• 识别由人类攻击者或行为失控的AI代理发起的连续性攻击行为。

这里的关键区别是分析不等于保留。按照OpenAI对预览版的描述，系统可以处理多个相关交互以判断风险，但OpenAI人员不会因此获得底层提示词、模型响应或完整会话记录的默认访问权。

客户内容由谁控制？

OpenAI描述了两种适用于ZDR部署的数据控制方式：

• 客户内容保留在客户控制的基础设施上；
• 如果内容存储在OpenAI托管的基础设施中，则使用由客户控制的加密密钥，而不是由OpenAI员工掌握的密钥。

在这两种安排下，自动化系统都可以识别潜在滥用，并返回有限的安全信号，而不必把底层提示词或模型输出暴露给OpenAI。

检测到威胁后，OpenAI究竟会收到什么？

根据OpenAI对预览版的说明，公司收到的不是完整对话，而是关于活动类型的范围受限告警。OpenAI的系统示意图进一步将这一输出描述为告警类别和严重程度。

实际流程可以概括为：

1. 自动化系统检查多个相关交互，寻找潜在有害模式；
2. 当风险达到设定阈值时，系统生成有限的安全分类；
3. OpenAI获得该分类或告警，而不是提示词、模型输出或会话全文；
4. 客户仍可在自己的环境中调查相关活动。

这意味着，安全信号可以支持风险处置或执行决定，但不等于OpenAI收到了完整的会话历史。由于目前仍处于预览阶段，具体实现方式、风险阈值、误报处理和申诉流程，都会是企业客户需要重点核实的内容。OpenAI表示，计划在2026年9月开始更广泛推广，并发布技术白皮书。

为什么被标记的对话通常不会被OpenAI员工看到？

单独的安全告警不会自动赋予OpenAI员工查看原始对话的权限。OpenAI表示，在所描述的ZDR安排下，公司不会保留客户内容；在由OpenAI托管存储的设计中，OpenAI员工也不掌握客户控制的解密密钥。

如果客户认为告警有误、需要说明合法用途，或希望协助调查已确认的滥用行为，可以自愿分享相关材料。除非客户主动披露，否则发送给OpenAI的主要是机器生成的安全信息，而不是被标记对话本身。

这种设计把两类信息分开：一类是由客户掌控的原始证据，另一类是提供商收到的风险信号。对处理敏感数据的企业而言，这可能减少服务商必须接触和管理的内容，同时保留跨请求发现风险的能力。

哪些客户正在测试？何时扩大开放？

OpenAI列出的早期客户包括 Glean、Databricks、Abridge和Microsoft，这些公司正在参与塑造或测试预览版。其他报道也将Microsoft和Databricks列为早期测试客户。

目前，这项功能并不是面向普通消费者的设置，而是针对希望使用先进模型、同时严格控制提示词和输出的合格API企业部署。

与Anthropic的30天保留政策有何不同？

OpenAI和Anthropic在这里采取了两种不同的安全与隐私权衡。

• OpenAI Private Safety Processing： 自动分析多个相关交互，向OpenAI返回有限的安全信号；按照预览说明，底层提示词和模型响应不会因此暴露给OpenAI人员。
• Anthropic覆盖模型政策： 对覆盖模型提交的提示词和生成的输出保留30天，用于安全工作，并允许受控人工审查。

Anthropic的官方文档称，这一要求适用于包括Mythos系列在内的覆盖模型；这些模型不支持ZDR。Anthropic同时表示，保留的数据未经客户明确许可，不会用于模型训练。

因此，两者的核心差别不只是“保存多久”，而是调查机制不同：OpenAI强调在不让提供商接触原始内容的情况下输出机器生成的风险分类；Anthropic则保留一段时间的会话内容，以便安全团队进行更直接的调查和受控审查。

为什么金融、医疗和法律企业格外关注？

金融机构、医疗组织和律师事务所经常处理受合同保密义务、隐私规则、职业伦理或行业监管约束的信息。提示词和模型输出可能包含财务记录、健康信息、受保护的客户资料或法律特权通信。提供商是否保留这些内容、谁可以审查，以及数据存放在哪里，都会影响企业的数据最小化分析、内部审批、审计设计和供应商风险评估。

这并不意味着Anthropic的30天政策必然不合规，也不意味着采用ZDR就自动满足所有合规要求。真正的区别在于，企业需要面对的审查问题不同：Anthropic的覆盖模型要求客户把提供商保留和审查数据纳入治理范围；OpenAI则试图围绕ZDR和Private Safety Processing，限制提供商直接接触原始内容。

企业在评估时至少应确认以下事项：

• 所使用的模型和部署方式是否符合ZDR资格；
• 内容在哪里处理；如果需要存储，谁控制加密密钥；
• 安全告警中究竟包含哪些字段；
• 客户能否在不披露完整对话的情况下审计或申诉告警；
• 提供商怀疑存在严重滥用时会采取什么措施；
• 数据保留、人工审查和区域存储条款是否符合企业的合同及监管义务。

隐私正在成为AI安全产品的一部分

Private Safety Processing体现了一个更大的产品趋势：AI安全不再只是“模型能否拒绝危险请求”，还包括提供商能否在不读取每一段客户对话的前提下，发现跨越多个会话和较长工作流的协同滥用。

OpenAI的预览方案给出的答案是：让内容留在客户控制的基础设施上，或使用客户持有密钥加密；由自动化系统识别跨交互风险模式；再向提供商发送范围有限的风险分类。

Anthropic的方案则是保留相关提示词和输出30天，以支持安全团队调查和受控审查，同时声明不会在未经许可的情况下将其用于模型训练。

对于企业客户而言，最终选择取决于工作负载的敏感程度、对数据留存的容忍度，以及企业认为前沿模型提供商需要多少调查可见性。OpenAI计划发布的技术白皮书和更大范围的上线，将成为判断这套隐私承诺能否在真实部署中兑现的重要依据。