高风险版本的关键,不只是“AI 让软件更好用”,而是改进 AI 的系统本身在一代代变强。围绕 Clark 预警的报道把这种可能性同“智能爆炸”联系起来:一旦 AI 能改进后续 AI,能力增长速度可能进一步加快 。
具体来说,风险主要有三类:
一篇批评文章认为,到 2028 年前出现完全无人工、端到端的递归自我改进并不太可能,其估计概率低于 10%;不过该文也承认,在更长的时间范围内,比如到 2036 年前后,类似情形仍可能逐步变得可行 。
这些差别很重要。“AI 能辅助 AI 研究”“AI 能自动化大部分 AI 研发”以及“AI 能快速递归改进并触发智能爆炸”,是相互关联但并不相同的主张 。Clark 的预警,针对的是其中最具后果的一种可能性
。
如果他判断正确,真正的危险不只是创新速度变快,而是更强 AI 的制造过程可能快过人类监督、安全测试和治理机制的适应速度 。但最重要的保留意见是:这仍是一项有争议的预测,尤其是 2028 年这个时间点是否过于激进,仍未有定论
。