教育领域也面临类似挑战。如果学生经常把写作、推理和解决问题的过程外包给 AI,可能得到更 polished 的结果,却减少对基础能力的实际练习。相关教育指导将不准确、有偏见或有害的内容,数据泄露,知识产权侵权以及学术诚信问题列为需要管理的风险。
在敏感对话中,安全失误可能造成更严重的后果。生成式系统可能生成仇恨、暴力、色情或操纵性内容,也可能无法妥善回应表达自残意图的人。NIST 将危险或暴力建议、隐私风险和有害偏见列为需要处理的风险。 在高风险场景中,AI 不应取代专业照护或人工安全干预。系统需要具备明确的拒答和升级处理机制、隐私控制,以及能够迅速转接人工支持的渠道。
AI 代理在模型外部增加了一个“行动循环”。它不再只是针对提示词回复一次,而是可以理解目标、拆分步骤,调用浏览器、代码运行器、电子邮件服务或 API 等工具,查看执行结果,调整计划并继续推进任务。
三者的实际区别可以概括为:
谷歌的 Jules 展示了软件开发领域的应用。谷歌称,Jules 是一个异步编码代理,可以接入代码仓库,将代码库复制到云端虚拟机中,并处理编码任务,之后交由开发者审核。 其他开源的工具调用型代理则代表了另一种发展路线;LinkedIn 的 Hiring Assistant 也显示出代理式工作流向人才搜寻和招聘领域延伸的可能性。
AI 代理之所以受到关注,是因为它们能够完成多阶段工作,而不是只提出下一步建议。例如,编码代理可以调查程序漏洞、修改多个文件、运行测试,并准备拉取请求;工作流代理则可以收集资料、整理信息,并准备待审批的沟通内容。
能规划,并不等于真正理解可靠。代理可能误读网页、制定糟糕的计划、遵循恶意指令,或让一个小错误在多轮执行中不断累积。斯坦福《2026 年 AI 指数报告》显示,在测试真实计算机任务的 OSWorld 基准中,AI 代理的任务成功率从 12% 提升到约 66%,但在结构化测试中仍大约每三次失败一次。
聊天机器人的“幻觉”可能只是沟通质量问题;但拥有账户凭证、浏览器访问权或付款权限的代理,却可能把同样的错误转化为对外行动。因此,AI 代理治理关注的不应只有输出质量,还必须覆盖权限、行动是否可逆,以及出了问题由谁负责。
当代理能够影响系统、资金、数据或其他人时,风险尤其突出:
控制措施应与系统的能力,以及出错后可能造成的后果相匹配。
对于预测型 AI,机构应明确使用目的,衡量准确性与公平性,保护个人数据,并为高影响结果提供解释和申诉渠道。
对于生成式 AI,机构应核验重要事实,测试幻觉和有害输出,控制敏感数据,处理内容来源与知识产权问题,并由具备资质的人对法律、医疗、金融和安全干预等决定承担最终责任。
对于 AI 代理,技术和组织控制则需要更进一步:
新加坡资讯通信媒体发展局(IMDA)的《AI 代理模型治理框架》采用了这种基于风险的思路,面向自行开发代理或部署第三方代理解决方案的机构。 该框架的核心经验是逐级提高自主性:先从只读辅助开始,再逐步开放低风险行动,而不可逆或高影响的行动必须获得明确批准。
AI 的演进更适合被理解为一层层叠加的能力,而不是三个彼此割裂的时代:传统系统负责预测和分类,生成式系统负责创作和转换,AI 代理则进一步加入规划、工具调用与行动能力。
治理也必须同步扩展。准确性和公平性控制仍然重要,但已经不够。生成式系统需要更严格的事实核验、内容来源管理和内容安全机制;AI 代理还需要权限边界、行动审批节点、安全监控和清晰的责任体系。
AI 越能自行完成事情,组织就越需要谨慎决定:它究竟被允许完成哪些事情。