ここでいう「後継」とは、あるAIモデルの次に開発される、より高性能なシステムを指します。クラーク氏が懸念しているのは、十分に強力なAIが、その次世代システムを作るための重要な研究開発作業に深く関与し、場合によっては自動化してしまうことです 。
これは、今日よく語られる「AIがコードを書く」「AIがエンジニアを補助する」という話とは段階が違います。コード生成は研究開発の一部にすぎません。クラーク氏のシナリオは、モデルの設計、訓練、評価、改善といったフロンティアAI開発のパイプライン全体が自動化に近づく可能性を問題にしています 。
リスクが大きいとされるのは、単に「AIがソフトウェアを改善する」からではありません。AIを改善するシステム自体が、世代を追うごとに強くなり得るからです。クラーク氏の警告を扱った報道では、この可能性は、AIが次のAIを改善できるようになった時点で能力向上が急加速する「知能爆発」のリスクと結びつけて論じられています 。
核心にあるのは、AI開発プロセスに対する人間の監督が薄くなるリスクです。研究から訓練、評価、改善までが自動化されれば、より強力な後継システムが存在する前に人間が介入できるチェックポイントは減りかねません 。
主な懸念は次の3つです。
つまり、ここで問題になっているのは「ロボットが別のロボットを作る」というSF的な絵ではありません。より強力なAIを作る産業的・研究的なループが高速化し、安全評価、規制、社会的理解の通常のペースを超えるかもしれない、というリスクです 。
ある批判的な見方は、2028年までに人間抜きのエンドツーエンドな再帰的自己改善が起きる可能性は低く、10%未満だとしています。ただし、2036年までのより長い期間であれば、類似のことが可能になる余地はあるとも述べています 。
また、再帰的自己改善が本当に加速的な成果をもたらすのかについても技術的な議論があります。ワシントン大学のコンピューター科学者ペドロ・ドミンゴス氏の見解を紹介した報道では、問題はAIがソフトウェアを生成・改変できるかどうかだけではなく、それが継続的な収穫逓増につながるかどうかであり、その点は明確に示されていないとされています 。
この違いは重要です。「AIがAI研究を手伝う」「AIがAI研究開発の大部分を自動化する」「AIが高速に自己改善して知能爆発を起こす」は、関連していても同じ主張ではありません 。クラーク氏が警告しているのは、その中でも最も影響が大きい展開です
。
Comments
0 comments