高風險版本的問題,不只是「AI 讓軟體變好」。真正讓人擔心的是一種複利式循環:負責改進 AI 的系統本身,也在每一代變得更有能力。討論 Clark 警告的報導也把這和「智慧爆炸」風險相連,也就是一旦 AI 能改善後續 AI 系統,能力成長速度可能進一步加快 。
這帶來三個直接問題:
技術層面也有分歧。報導引述電腦科學家 Pedro Domingos 的觀點指出,關鍵不只是 AI 能否生成或修改軟體,而是這是否會帶來可靠的遞增回報;Domingos 認為,目前這一點尚未被清楚證明 。
這些差異很重要,因為「AI 能協助 AI 研究」、「AI 能自動化大部分 AI 研發」與「AI 能快速遞迴改進自己並引發智慧爆炸」,是彼此相關但並不相同的主張 。Clark 的警告,指向的是其中影響最深遠的版本
。