AI的七十年进化：从“做判断”到“能行动”

生成式AI的常见应用

• 客服：起草回复、总结对话、翻译材料，以及从知识库中检索信息。
• 法律工作：总结文件、提取条款、比较法律依据和准备初稿。但法律专业人员仍需核查原始资料与法律主张。
• 教育：解释概念、生成练习题并提供反馈。
• 创意工作：头脑风暴、撰写文案，以及生成图像、音乐、视频创意和软件代码。
• 编程：解释代码、编写测试、提出修复建议，加快日常开发工作。

它的主要价值在于提高起草、总结、翻译和编码的速度，降低相关成本，并通过自然语言提供个性化、多轮迭代的交互。不过，“答案听起来合理”并不等于系统具备可靠的专业判断能力。

生成式AI面临的主要风险

幻觉与过度自信。 大型语言模型可能以肯定的语气生成虚构、不准确、带有偏见或过度简化的信息。相关研究指出，幻觉、有害内容、操纵、版权侵权、隐私和安全问题，都需要通过测试与持续监测来应对。

学习能力与学术诚信。 一项大规模学校实地实验发现，AI辅导工具可在使用期间提升学生表现；但如果学生在缺乏保护措施的情况下过度依赖AI，工具被撤走后表现可能反而更差，这意味着实际技能的掌握可能受到影响。由教师设计的提示，比直接提供答案更能减轻这一问题。生成式工具也可能降低抄袭门槛，或让教师难以判断学生是否真正掌握了相关知识。

版权与内容来源。 训练数据的来源、模仿特定风格，以及输出是否重现受保护内容，仍存在争议。教育领域的指导文件也将知识产权侵权列为重要风险，同时提醒注意不准确、有偏见或不安全的内容。

有害与操纵性内容。 生成式系统可能产出虚假信息、骚扰、色情或暴力内容，以及危险指令。安全实践通常建议进行系统测试、设置防护措施、记录活动并持续监测，而不是假定模型始终会按照设计意图行事。

未成年人安全与身心健康。 关于生成式AI对年轻人影响的研究，指出了心理健康、行为和社会发展、毒性内容、隐私，以及滥用或剥削等方面的风险。当用户把聊天机器人当作专业支持的替代品时，这些风险尤其值得警惕。

隐私与保密。 用户输入可能包含个人信息、商业秘密、客户资料或受法律保护的特权信息。组织应明确规定哪些数据可以输入哪些服务；对于未经批准的系统，用户不应将其视为适合处理敏感信息的工具。

生成式AI需要哪些防护

一个合理的底线是：把模型输出当作草稿，而不是证据。重要事实应与权威来源交叉核验；涉及医疗、法律、金融、招聘和安全的重大决定，应保留人工审核。

实用措施包括：使用经批准资料支撑的检索系统、提供引用、开展红队测试、设置内容安全机制、采用适合年龄的设计、保留审计日志、向用户披露AI参与情况，并制定数据处理、学术使用、内容来源和知识产权审核政策。政府相关指导也将不准确或带有偏见的内容、隐私泄露、知识产权侵权和学术诚信列为重点问题。

第三阶段：智能体AI——能够采取行动的系统

智能体AI增加了一个“行动层”。它可以理解目标、拆解步骤、调用浏览器、代码仓库、数据库或消息工具，检查中间结果，并在获得的权限范围内继续执行。

因此，即使底层都使用大型语言模型，智能体也不同于普通聊天机器人：聊天机器人可以帮用户起草一封邮件；智能体则可能搜索资料、准备邮件、发送邮件，并更新另一个业务系统。编程助手可以解释一个漏洞；智能体则可能调查代码库、修改文件、运行测试，并准备待审核的代码变更。

当前市场中已有一些相关例子，例如软件开发智能体Google Jules、招聘工作流工具LinkedIn Hiring Assistant，以及个人智能体框架OpenClaw。OpenClaw项目资料将其描述为一种运行在用户设备上的个人开源助手，可通过不同渠道连接工具；它实际能做什么，取决于用户启用的集成和授予的权限。

智能体为什么有用

智能体系统可以：

• 完成完整工作流，而不只是生成一份孤立的文档；
• 减少日常协调和行政工作；
• 打通分散在不同业务系统中的信息；
• 在预设边界内持续运行。

这可能让规模较小的组织和个人用户也能使用更复杂的工作流程。但问题的核心也随之改变：不再只是“答案准不准”，而是“系统被允许做什么，以及这些行动如何被检查”。

自主性为何扩大风险面

生成式模型可能在回答中出错；智能体则可能把错误推断、恶意指令或被入侵的工具转化为现实行动。

例如，拥有金融权限的智能体可能未经授权发起付款、购买、转账或取消交易。拥有电子邮件、浏览器或云服务权限的智能体，可能被恶意网页或文档操纵，泄露凭据或发送机密文件。权限过大、身份控制薄弱，以及职责分离不足，都可能把一个小模型错误放大为严重事件。

当结果来自模型、指令、数据、工具和其他智能体之间的复杂互动时，责任归属也会更加困难。因此，运营方不仅要看到最终结果，还应了解系统提出了什么行动、依据是什么，以及使用了哪些权限。

能力越强，治理必须同步升级

三个阶段都适用一些基本原则：明确责任人，限定系统用途，保护数据，部署前测试，持续监测性能，准备事故响应机制，并对可能造成重大影响的决定提供有意义的人工审核或干预。

对于智能体系统，还需要增加以下控制：

• 遵循最小权限原则，并使用有时限的凭据；
• 为每个智能体设置独立账户和清晰身份；
• 明确规定智能体可以读取、写入、发送、购买、删除或部署什么；
• 对不可逆或高影响操作设置确认节点；
• 使用经过批准的工具清单、沙箱，并防范提示注入；
• 设置交易限额和异常检测；
• 保留详细且难以篡改的行动日志；
• 实施职责分离，并根据风险设置相称的人工审批；
• 准备能够快速暂停系统的“停止开关”。

新加坡于2026年1月22日推出《智能体AI模型治理框架》。这是一份面向部署组织的指导文件，而不是一部独立的AI法律。框架把个人和组织责任放在核心位置，并建议根据智能体的自主程度采取相称的风险管理和控制措施。

在金融服务领域，新加坡金融管理局发布的SAFR论文提出了一种运行时治理思路：通过结构化记录，说明智能体准备做什么、为什么这样做，以及支持该行动的证据。

关键结论：从“做判断”到“能改变现实”

AI的演进并不是从“旧AI”简单走向“新AI”。对于许多边界清晰的决策，规则和预测系统仍然是合适选择；生成式AI带来了灵活的内容生产和自然语言交互；智能体AI则进一步具备借助工具追踪目标、执行外部行动的能力。

治理挑战也随能力一同升级：预测系统需要关注准确性、偏差和数据漂移；生成式系统需要核查真实性、安全性、隐私和内容来源；能够采取行动的智能体，则在此基础上还必须具备权限控制、审批节点、明确责任以及事故恢复方案。

因此，最可靠的AI产品不会只依赖更强的模型，而会把模型能力与严谨的系统设计、清晰的权限边界和持续的人类监督结合起来。