AI开始参与研发AI，监管如何跟上变化的速度？

这场监管讨论的焦点，不只是AI模型会不会变得更强，而是AI能否帮助开发下一代AI，从而让研发过程加速。来自OpenAI、Anthropic、Meta和微软等机构的研究人士希望政策制定者了解这种自动化已经发展到什么程度，以免技术变化太快，监督难以跟上。23

这种可能性有时被称为“智能爆炸”（intelligence explosion）。它描述的是一种风险情景，并不意味着AI已经脱离人类指导、自行改进。政策讨论的关键，是如何衡量并管理AI在AI研发中的作用。114

AI参与研发，可能如何形成加速循环？

AI可以参与开发未来模型所需的工作。如果这些帮助让研究人员造出更强的系统，而更强的系统又能承担更多研发任务，下一轮进展便可能进一步加快。这种循环式自我改进，指的就是AI系统协助改进开发AI系统的过程。15

研究人员担心的重点之一是研发“节奏”。有关论文的报道提到一种可能情景：原本需要一年取得的进展，可能在数周内出现。这是对未来的推演，不是已经测得的结果；现有资料并不能证明研发已经达到这样的速度。314

一项较早的研究访问了来自前沿AI实验室和学术界的25名研究人员。许多人预计AI会自动化部分AI研究，并形成正向反馈循环。这有助于解释业内为何认真看待这种可能性，但并不能证明智能爆炸必然发生。1

研究人员希望监管机构查清什么？

眼下最直接的诉求，是让外界更清楚地了解企业在研发中使用AI的程度。超过20名AI领域领袖和研究人员呼吁政策制定者审视这一进展，并考虑为相关技术建立保障措施。2

这并不等于AI实验室已经把研究控制权交给了AI。更充分的信息——例如AI具体用于哪些研发环节、承担了多少工作——可以帮助政策制定者判断：随着AI参与研发的程度加深，现有监督是否仍然足够。23

减缓研发，能争取多少时间？

协调放慢研发步伐，可能为安全测试、独立评估和完善监督争取时间，让这些工作赶在系统能力再次变化之前展开。OpenAI和Anthropic的研究人员曾公开呼吁放慢发展；也有行业领袖主张更多依靠市场机制。业内对要不要减速、减速到什么程度，并没有统一看法。818

实际执行也并不简单：哪些系统或研发活动需要纳入减速安排？由谁监督？不同企业之间如何协调？相关报道指出，暂停或减速究竟意味着什么、又该如何落实，目前仍不明确。

“紧急刹车”能解决问题吗？

微软总裁布拉德·史密斯认为，AI模型开发者、云基础设施提供商，以及负责管理AI代理的人员，都应当有能力关闭相关系统。这种机制可以被视为紧急情况下的“刹车”，但不能取代事前预防和持续监督。

而且，关停机制本身也有局限。AI系统可能运行在分布式基础设施上，因此并不存在一个能保证所有组件同时停止的万能开关；专家也指出，持续监测和人工介入仍然重要。

商业角色重叠，让治理问题更复杂

让开发者和云服务商承担监督职责，也带来一个治理问题：企业可能一边开发或托管系统，一边参与管理这些系统。微软既参与AI模型开发，也提供云服务。角色重叠使独立核查和清晰规则更为重要，但这本身并不能证明任何公司的安全立场不真诚。2

更大的难题是如何协调。行业领袖对研发速度看法不一，而要求放慢步伐的呼声，也与企业竞相开发和部署AI的现实并存。如果一家企业自愿克制，其他企业却继续快速推进，这种克制可能难以持久。现有资料显示行业存在分歧和竞争压力，但不能据此断言投资利益决定了任何一位研究人员的个人立场。1218

对政策制定者而言，眼前有两个相连的问题：如何追踪AI在开发AI过程中的作用，以及如何让安全措施能够被验证，而不是只依赖企业自己的承诺。研究人员的警告说明这些问题值得现在就审视，但尚未回答智能爆炸发生的可能性有多大，也没有确定哪种政策最有效。123