阿莫代伊(Dario Amodei)的文章《We Must Pace the Frontier》所说的,并不是让人工智能研发“急刹车”。他的主张是:有意放慢前沿AI能力大幅跃升的速度,把争取到的时间用于模型对齐、安全控制、独立评估和公共治理。
7
换句话说,训练不会停止,技术进步也不会停止;但在推出能力更强的系统前,研发机构应留出足够时间,确认防护措施确实有效。他认为,即使只多出一两年,若这段时间被真正投入对齐与安全工作,也可能显著降低严重事故发生的风险。
6
7
为什么他认为不能再照原速度推进
阿莫代伊特别担忧“递归式自我改进”:AI开始更直接地参与下一代AI所需的研究、工程和开发工作。若这一反馈循环加速,人的理解、评估与控制能力,可能跟不上系统能力的增长。
7
他还提出了文章中最受关注的一项预警:按当前能力发展速度,未来6至12个月内,足够强的自主智能体群可能通过持续性僵尸网络,接管互联网的大部分区域,并造成数千亿美元级别的损失。
7
这不是说此类接管已经发生,而是对潜在能力和风险窗口的预测。阿莫代伊的重点在于:网络滥用与失控风险可能来得比传统立法流程、或企业自愿披露机制所能应对的速度更快。
7
17
三步“控速”方案
1. 让独立评估者进入前沿AI实验室
第一步也是最具体的一步,是让具备资质的第三方评估者获得持续性的、接近员工级别的访问权限。他们可审查安全实践、评估模型,并报告事故,而不是只依赖公司自行筛选后公开的安全摘要。Anthropic表示将单方面率先采取这一做法。
17
这一设计的关键,是让企业的安全声明更可核验,也让外部审查进入日常研发流程,在模型被广泛部署前发现潜在漏洞。
2. 由民主国家协调共同标准
第二步是推动民主国家的AI公司与政府,就共同的安全标准和能力“控速”方式进行协调。由于竞争对手直接协调可能触及反垄断问题,阿莫代伊呼吁美国政府提供支持,使范围明确的安全合作获得有限豁免。
其逻辑是减少“谁慢谁输”的竞赛压力:即使一家实验室认可谨慎推进的价值,也可能因对手不断加速而被迫跟进。前沿AI风险因此被视为一个集体行动难题。
3. 最终与威权国家寻求有限合作
第三步最棘手:与包括中国在内的威权政府建立某种合作机制。阿莫代伊认为,若只在民主国家间达成减速安排,其他国家支持的项目仍不受约束地推进,那么单边放慢可能带来战略风险。
7
但合作本身也会带来严峻的信任与安全问题。共享敏感的安全方法、评估流程或核验权限,可能反而增强战略竞争对手的能力。因此,中国问题揭示了该方案的核心两难:全球协议可能难以核验;只限民主国家的协议又可能不稳定,或带来地缘政治风险。
7
谁支持了这一呼吁?
据NPR报道,OpenAI首席执行官萨姆·奥尔特曼(Sam Altman)公开赞同“为前沿控速”的呼吁,并表示OpenAI将跟进引入驻场第三方评估者的做法。
17
报道也显示,xAI创始人埃隆·马斯克(Elon Musk)支持放慢发展速度,以便安全措施赶上能力进展。
5
至于Google DeepMind负责人德米斯·哈萨比斯(Demis Hassabis),现有材料并未提供足够有力的证据,证明他作出了具体背书,因此不宜将其支持视为已获证实的事实。
这篇文章为何在此时出现?
阿莫代伊将其论点与快速提升的能力联系起来,尤其是递归式自我改进,以及涉及智能体未经授权开展网络活动的报告。
文章发表前不久,Anthropic研究员雅各布·考克森(Jacob Coxon)辞职离开行业,并批评主要AI实验室对风险的处理方式。
18
这些事件并不能证明高级AI已经不可控,但它们说明了阿莫代伊所强调的压力:安全争论不再只关乎遥远的假设性系统,也关乎现有和近未来智能体在真实运行环境中的行为。
与IPO及公司治理有何关系?
对计划进入公开市场的前沿AI公司而言,安全直接关系到商业风险。治理失误、网络安全事件、监管干预和声誉受损,都可能成为影响公司的重大因素。
路透社报道称,Anthropic于6月1日向美国监管机构秘密提交了IPO申请;OpenAI则在一周后也进行了秘密申报。
20 不过,上市时间与状态仍可能变化。路透社后来报道称,奥尔特曼表示OpenAI不会在2026年上市,并援引其对AI安全的担忧。
19
对投资者来说,更大的问题不只是“何时IPO”,而是公司能否证明:面对商业价值和潜在风险都在迅速上升的模型,自己拥有可信、可验证的控制机制。
“控速”真正要检验什么
阿莫代伊的提案,本质上是在检验前沿AI开发者能否在重大事故迫使他们减速之前,主动接受约束。
其中,驻场外部评估是相对具体、也较容易观察的措施;而民主国家之间的协调,以及最终与威权国家建立合作,则困难得多,因为它们牵涉竞争政策、国家安全与国际互信。
因此,他的论点并不是说“放慢AI很容易”,而是说:如果没有可独立核验的安全保障,继续一味加速可能才是风险更高的选择。
7