奥特曼警示AI两条风险路径：失控与权力过度集中

强大的人工智能可能以两种截然不同的方式让社会陷入困境。OpenAI首席执行官萨姆·奥特曼警告：其一，人类可能失去对能力不断增强的系统的控制；其二，控制权可能集中到极少数主体手中。这个判断把技术安全与公共治理放在同一个框架里：AI是否安全，不只取决于模型能做什么，也取决于谁能决定它做什么。1316

奥特曼称必须避开的两条路径

第一条：人类失去控制。 奥特曼警告，人类可能“把未来的控制权交给AI”。他认为这是不可接受的；AI应服务于人，而不是让人类依赖或受制于无法得到充分监督的系统。216

第二条：AI权力高度集中。 他同样警惕这样一种局面：某个个人、公司或国家控制极其强大的AI，并借此向所有人强加自己的世界观。奥特曼称，这种结果可能“极其反乌托邦”。113

两类风险彼此相关，却并不相同。前者关乎人类能否理解、约束并在必要时接管强大系统；后者则关乎即使系统仍可被控制，掌控者是否拥有过大且缺乏制衡的权力。

他支持哪些安全护栏？

奥特曼的公开立场并非简单叫停AI研发。他主张，模型能力的提升不能跑在对齐与监控能力前面，竞争压力也不能成为仓促部署的理由。213

他重点提到的措施包括：

• 让对齐和监控跟上能力跃升。 开发者必须能对能力日益增强的系统进行有意义的评估与控制。213
• 确保AI始终服务于人。 这正是他针对“失控”风险提出的基本原则。216
• 建立统一的联邦层面前沿AI要求。 他欢迎以联邦框架管理前沿风险，而非仅依赖各自分散的自愿承诺。1316
• 引入独立审查。 他认为，独立审计机构有望帮助公众建立对开发高能力模型企业的信心。16

这意味着，能力最强的系统应面对更高的举证门槛：安全措施应在部署决定作出前就经过检验并具有可信度，而不是等能力已经大幅进展后再补救。

Anthropic的警告让争论更尖锐

同一周，前Anthropic研究员雅各布·考克森警告称，领先实验室正朝着可自我改进的AI竞速，仿佛在“拿我们的生命下注”。有关其辞职的报道指出，他认为研发人员确实担心，这些系统可能强大到超出人类控制范围。17

这一表述比奥特曼的说法更直白，但核心担忧重合：能力进步可能超过可靠监督系统的速度。报道称，Anthropic对齐团队负责人埃文·休宾格曾给出个人判断，认为未来十年AI导致人类灭绝的概率超过10%，并承认目前尚不存在解决超智能对齐问题的完整方案。这只是个人风险判断，并非已被证实的预测，也不是科学界达成共识的概率。17

重点不在于某个灭绝时间表已经被证明——事实并非如此；而在于，最接近前沿开发的一些研究者正在公开质疑，现行安全实践是否能跟上正在开发的系统。

真正的行业分歧：能力优先，还是安全优先？

这场分歧常被描述为“加速AI”与“放慢AI”之间的对抗，但这种说法并不完整。多数参与者都认为AI可能带来重大益处，真正的争议在于先后顺序与规则是否可执行。

一种观点认为，前沿研发应当放慢节奏，为安全研究、评估、治理及应对滥用的机制留出成熟时间。Anthropic首席执行官达里奥·阿莫迪呼吁放缓模型能力提升，并提出让独立评估人员以类似员工的方式嵌入审查、前沿实验室协调合作、开展国际协作等措施。

相反的压力同样真实存在：企业与政府担心，若比竞争者行动更慢，可能失去经济或地缘政治优势。但奥特曼的观点是，竞争不能成为让模型能力超过对齐与监控能力的理由。13

路透社报道，一些研究者认为，模型能力到来的速度快于预期，而人类对这些系统的可见性及潜在控制力却在下降。 这让核心政策问题变得迫切：实验室是否应在安全护栏尚未跟上时，继续部署自主性越来越高的模型；还是必须先证明这些护栏足够有效？

AI治理需要同时处理两道难题

奥特曼的两项警示意味着，前沿AI治理必须同时处理技术控制与权力分配。更好的模型评估、对齐研究、监控机制和独立监督，对应的是第一个问题；统一规则、透明度以及对单方面控制的限制，则对应第二个问题。

无论是灾难性预测还是精确时间表，都不应被当成定论。但正因为一旦失败后果可能极其严重，要求强化评估、外部审查与安全要求的呼声，已从小众议题走到AI行业的中心位置。13