ヒントン氏、AIによる人類絶滅リスク「10％は不合理ではない」と警告

ジェフリー・ヒントン氏は、AIが今後10年以内に「全人類を殺す」確率が10％という見方について、「不合理な推定とは思わない」と語った。ただし同時に、**その確率を妥当に算出する方法は「誰にも分からない」**とも明言している。91012

これは人類絶滅が起きるという予言でも、現在の対話型AIがすでにその脅威だという主張でもない。ヒントン氏の問題提起は、人間を大きく上回る能力を持つAIが現れ、それを人間が十分に制御できなかった場合に何が起こり得るか、という予防的な議論だ。

「10％」は予言ではなく、不確実性への警告

BBCの番組「Newsnight」でヒントン氏は、10年以内のAI起因の人類絶滅について10％という数字を「不合理ではない」と認めた。理由は、人類が自分たちより賢くなるかもしれない存在と共存した経験がこれまでないためだ。910

同氏は以前からより長い時間軸でも深刻な見方を示してきた。2024年末には、AIが30年以内に人類絶滅につながる確率を10〜20％と述べ、2025年にはこの数値は計算による予測ではなく直感的な判断だと説明している。1415

重要なのは、これはリスクの見積もりであって、破局が必ず起こるという断定ではないことだ。ヒントン氏の立場では、影響が極端に大きい以上、分からないこと自体を安心材料ではなく慎重さの理由として扱うべきだという。

なぜ「将来の超人的AI」を懸念するのか

想定されているのは、映画のようなロボット反乱ではない。ヒントン氏が懸念するのは、人間を大幅に上回る戦略的・技術的能力を持つAIが、混乱を引き起こしたり、人間の利益と相反する目標を追求したりする可能性だ。

報じられている害の経路には、人の操作、生物学的・コンピューター上のウイルスの作成、サイバー攻撃、重要インフラへの妨害などが挙げられる。ただし、これは高能力の将来AIがもたらし得る危害の仮説的な経路であり、現在のAIツールが実証済みの能力ではない。1011

この区別は大切だ。Anthropicでアラインメント科学を率いるエヴァン・ハビンジャー氏は、現在のモデルによるリスクは低いと明言している。彼が懸念するのは、AIが研究者の安全管理能力を超える速度で、はるかに高性能化、あるいは自己改善していく可能性である。11624

Anthropic内部から出たコクソン氏とハビンジャー氏の警告

議論が大きく注目されたきっかけの一つは、ジェイコブ・コクソン氏がAnthropicとAI業界を離れたことだった。コクソン氏は、AnthropicやOpenAIが自己改善する超知能の開発競争に十分な責任を持たずに突き進み、人々の命を賭けていると批判した。317

ただしコクソン氏は、人類が2030年までに終わると具体的に予測したわけではない。より限定した主張は、最先端AIの開発者たちが、この技術が10年の終わりまでに全人類を殺し得ると本気で考えている、というものだった。57

ハビンジャー氏はこの懸念の重大さを公に支持した。自身では、AIが今後10年で全人類を殺す確率を10％超と見積もる一方、Anthropicは最善を尽くしているとも述べた。そのうえで、同社には超知能のアラインメントを解く計画がまだなく、解決策を開発できる明確な軌道にも乗っていないと付け加えた。16

「アラインメント」とは何か

アラインメントとは、高度なAIが、人間の意図した目標に沿って確実に行動し、開発者が予測できなかった状況でも制御可能であり続けるようにする課題を指す。

安全性を重視する研究者にとって、これは単にAIが悪い指示を断るかどうかの問題ではない。広い自律性や外部ツールへのアクセスを持ち、運用者の理解を超える能力を得たシステムを、現実の強い圧力がかかる環境でも安全に導けるのかが焦点となる。

ハビンジャー氏の発言は、アラインメントが不可能だと立証したものではない。一方で、超知能が到来する可能性がある時期までに、その安全な整合を実現する実証済みの方法はまだない、という同氏の評価を示している。16

専門家の一致点と相違点

ヒントン氏の「10％」という正確な数字について、専門家の合意があるわけではない。

認知科学者のゲイリー・マーカス氏は、超知能を安全かつ制御可能に構築できるという科学的合意がない段階で開発するのは愚かだ、というヒントン氏の予防的な主張には賛同した。ただし報道によれば、マーカス氏は近い将来に人類絶滅へ至る現実的な経路は見ていない。安全策の必要性に同意することと、破局の確率や時期に同意することは別だという論点が表れている。1141

将来、制御不能な超知能がどの程度早く実現し得るかについては、技術的な見通しも割れている。したがって数値は、測定値ではなく、専門家それぞれの判断として読む必要がある。

本当に問われていることは何か

共通する論点は、AIによる絶滅が確実だということではない。開発者よりも能力の高いシステムを制御できなくなる可能性が無視できないなら、安全研究より能力開発が先行する前に、社会が検証し議論すべきだという点にある。

ヒントン氏の発言、コクソン氏の離職、ハビンジャー氏によるアラインメントへの警告は、同じ未解決の問いを投げかけている。戦略的に人間を上回り得るAIを配備、あるいは能力拡大し続ける前に、社会はどのような安全性の証拠を求めるべきなのか。

読者が整理しておきたいのは、しばしば混同される次の3点だ。

• 現在のAIモデルが絶滅級の脅威である。
• 将来のAIが、そうした脅威を生む能力を獲得する可能性がある。
• その確率を精密に計算できる。

今回の情報源が裏付けているのは、2つ目が著名な研究者から真剣に提起されている懸念だという点である。一方、ハビンジャー氏は現行モデルのリスクを低いとし、ヒントン氏も確率そのものは信頼できる形では計算できないとしている。11016