呢度講嘅「繼任者」,唔係一部機械人喺工廠砌另一部機械人,而係模型發展序列入面下一個、更有能力嘅 AI 系統。Clark 關注嘅係:一個足夠強嘅 AI,可能參與甚至自動化創造下一代模型所需嘅核心工作 。
呢件事同今日大家熟悉嘅「AI coding assistant」有距離。寫程式只係 AI 研發流程入面其中一環;Clark 講嘅係整條研發管線——模型點設計、點訓練、點評估、點修正同點再提升——都可能被大幅自動化 。
所以,問題唔係「AI 寫 code 寫得更快」;問題係「造 AI 嘅方法」本身會唔會由 AI 接手。
最令人擔心嘅版本,唔係普通軟件迭代,而係能力增長可能一代疊一代加速。討論 Clark 預警嘅報道,亦將呢種可能性連到「intelligence explosion」(智能爆炸)風險:當 AI 可以改進後來嘅 AI,整體能力提升速度可能突然加快 。
可以拆成三個問題:
技術上亦有人質疑,遞迴自我改進是否一定帶來加速回報。有報道引述電腦科學家 Pedro Domingos 指出,關鍵唔只係 AI 能否生成或修改軟件,而係呢件事會否帶來可靠嘅遞增回報;佢認為目前未有清楚證據證明呢點 。
呢啲分歧好重要,因為「AI 幫手做 AI 研究」、「AI 自動化大部分 AI 研發」同「AI 快速自我改進到觸發智能爆炸」,係相關但唔完全相同嘅三個講法 。Clark 警告嘅,是當中最有後果、亦最需要預先準備嗰個版本
。
如果佢估中,最大問題唔只係創新更快,而係更強 AI 嘅誕生速度,可能快過人類監督、安全測試同治理制度可以適應 。但最重要嘅保留係:呢仍然係一個有爭議嘅預測,亦有批評者認為 2028 呢個時間表太進取
。
Comments
0 comments