ChatGPT“安全摘要”如何在长对话中发现逐渐升级的风险

过去，大多数AI安全系统都是逐条消息评估风险：系统读取用户当前输入，然后判断是否包含危险或违规内容。

这种方法在用户直接表达有害意图时效果不错，但现实中的许多风险——尤其是心理健康危机——往往是在多轮对话中逐渐显现的。

为了解决这一问题，OpenAI在ChatGPT中引入了临时“安全摘要”（Safety Summaries）。这些摘要允许系统在对话过程中保留有限的安全相关信息，从而识别逐渐升级的风险模式。

为什么需要升级ChatGPT的安全系统

传统内容审核流程通常是针对**单条提示（prompt）**进行评估。当用户明确表达危险意图时，这种机制通常能有效识别。

但研究和内部安全分析显示，很多问题并不是一次性出现的，而是在较长的对话中逐渐发展：用户的情绪、压力或潜在风险信号可能分散在多条消息中。

例如，一个用户可能先谈到压力、失眠或疲惫，随后才逐渐透露更深层的情绪困扰。如果系统不了解前文背景，就可能误判后续信息，或者忽略危险信号。

因此，OpenAI开始将安全检测从“逐条消息判断”升级为基于整段对话的风险识别。

什么是“安全摘要”

“安全摘要”是系统在特定对话中生成的简短记录。它不会保存完整聊天记录，而是只提取与安全相关的重要信号。

这些摘要帮助模型在理解新消息时参考之前的风险迹象。

其主要特点包括：

• 范围有限：只记录与安全相关的信息，而不是整段对话内容。
• 临时上下文：设计为短期使用，并非长期记忆或用户画像。
• 识别模式：帮助模型发现跨多条消息出现的风险升级趋势。

目标是在保证安全判断所需上下文的同时，避免为了安全评估而保存完整对话历史。

什么时候会生成安全摘要

当系统在对话中检测到可能存在风险的信号时，就可能生成安全摘要。

公开报道提到的触发场景包括：

• 自杀或自残相关迹象
• 情绪困扰或心理危机
• 逐渐升级的伤害意图
• 潜在暴力风险

在这些情况下，ChatGPT可以参考安全摘要来理解对话的发展，并选择更安全的回应策略。

这一系统主要针对哪些风险

此次更新的核心重点是心理健康与危机相关安全。

OpenAI在这一领域的整体安全工作目标包括：

• 更早识别情绪困扰或心理危机
• 在敏感对话中进行降温处理
• 在适当情况下引导用户寻求现实世界的帮助

这些改进是在170多名心理健康专家参与下制定的，他们帮助定义在用户处于脆弱或困境状态时更合适的AI回应方式。

此外，安全机制还针对长期AI互动中可能出现的其他风险，例如：

• 自残或自杀相关讨论
• 用户对AI形成情感依赖
• 对话逐渐升级为潜在伤害行为的情况

这些问题在长时间对话中更容易出现。

关于安全表现的改进证据

OpenAI表示，对ChatGPT默认模型的更新提升了其在识别和回应情绪困扰对话方面的能力。

一些介绍该项目的报告称，与临床专家合作开发的模型更新，在测试环境中显著减少了不符合安全预期的回答，相关报告提到不安全回复减少约65%至80%。

不过，公开资料中通常没有完整披露详细评估方法、基准数据集或全部测试指标，因此外界仍难以完全量化改进规模。

为什么这对学校和教育机构很重要

对学校、大学以及教育科技平台来说，这项更新解决了一个现实问题：学生风险往往不会在一条消息里出现。

年轻用户在与AI聊天时通常会进行较长时间的互动，情绪问题或危险信号可能逐渐浮现。如果系统只单独评估每条消息，就可能错过这些趋势。

具备对话级安全能力的系统更容易识别：

• 情绪压力不断升级
• 潜在自残风险
• 逐渐形成的伤害意图

这有望减少长时间聊天中出现不安全回复的概率，而这正是聊天机器人安全机制过去较容易失效的领域之一。

当然，AI安全机制仍然只是保护体系中的一层。真正有效的学生保护仍然需要：

• 清晰的校园安全政策
• 经过培训的教师与辅导人员
• 明确的危机干预流程
• 现实世界的支持渠道

AI安全体系正在发生的变化

“安全摘要”的推出反映出AI安全设计的一种更广泛转变。

过去的系统更多关注单条提示内容，而新的方法开始分析整段对话中的行为模式。这更接近真实的人类交流方式，也更符合风险在现实中形成的过程。

OpenAI将其安全体系描述为一个持续运作的流程，包括模型训练、安全评估、部署监测以及上线后的持续改进。

随着对话式AI越来越多地进入教育、工作和日常生活，能够在长时间互动中识别风险模式的安全机制，可能会成为负责任AI部署的基础能力之一。