AIの「人類絶滅」論争、問われるのは恐怖の予言ではなく安全を検証できるかだ

AIが人類絶滅を招くかを巡る現在の論争は、「AIは安全か危険か」という二者択一ではない。争点は主に、能力がどれほど急速に進展し得るのか、取り返しのつかない被害に至るには何が必要なのか、そして強い規制や制約の前に社会はどの程度の証拠を求めるべきかにある。

最前線のAI研究所で働いた研究者たちの警告は、議論の緊張感を高めた。ただし、人類絶滅という表現に懐疑的な人々の中にも、試験や安全対策そのものを否定する者ばかりではない。むしろ政策上の核心は、AI開発企業が、より強力なシステムを投入する前に制御可能性と安全な運用を実証できるかへ移りつつある。

内部からの警告――制御できないシステムへの競争か

Anthropicの元研究者ジェイコブ・コクソン氏は、OpenAIでも勤務したと述べたうえで、2026年9月に辞任した。AnthropicとOpenAIが責任ある開発より競争を優先し、「自己改善する超知能」へ向かって競争していると主張した。 49

この警告に公に同調したのが、Anthropicでアラインメント科学を率いるエバン・フビンガー氏だ。同氏は、AIが今後10年以内に全人類を殺す可能性を個人的には10％超と見積もる一方、超知能を人間の意図や価値観に整合させる「アラインメント」を解く計画は、Anthropicにはまだないと述べた。 16 この数値は科学的合意や実証的に算出された絶滅確率ではなく、あくまで個人の予測として報じられている。 12

Google DeepMindの元研究者ビラル・チュグタイ氏も、AIには全人類を殺し得る潜在力があり、それを回避する時間が尽きかけているかもしれないとの見方を示した。 2

こうした主張は通常、「現在のチャットボットが突然、人類に危害を加える」という話ではない。将来のAIがAI研究そのものを大幅に加速させ、より自律的に動き、人間の監督をすり抜けたり、サイバー・生物・制度的な能力へのアクセスを、安全対策の進展より速く拡大したりする――という条件付きの連鎖が懸念されている。その連鎖がどこまで現実的か、またいつ起き得るのかが、最大の対立点だ。

「10％超」は確定した予測ではない

フビンガー氏の数字は、最前線の安全性研究者による厳しい見通しとして注目を集めた。しかし、歴史的データで検証された確率でも、絶滅リスクを計測できるモデルの結論でもない。深い不確実性の下での個人の判断として読む必要がある。 12

この見通しが成り立つには、少なくとも次の前提が重なる必要がある。

• AIが現在のモデルを大きく上回る能力に達すること
• その能力が、持続的な戦略的自律性や有害な現実世界への影響力に転化すること
• 技術的な制御、運用者、制度、対抗策が、システムや悪用者を封じ込められないこと
• 安全性・アラインメント研究が能力向上に追いつけないこと

これらの各段階には、それぞれ独立して議論の余地がある。だからといって懸念が無意味になるわけではないが、見出しになる確率を「実証済みの予言」と取り違えるべきでもない。

懐疑論――デジタル上の知能は、物理世界での支配力ではない

懐疑派は、ソフトウェアや言語タスクにおける高い性能から、人類絶滅級の物理的被害を起こす能力へ飛躍することに異議を唱える。生物学は代表例だ。エリック・シン氏は、言語モデルで仮想的なウイルスのゲノムを作ることと、実際に生存可能なウイルスを作ることは根本的に別物だと論じた。材料調達、製造、生物学的な成立性、実験室での作業、検証は、いずれも別の障壁になる。 46

AIが情報や設計案を提示できても、それを現実の害に変えるには、専門設備、暗黙知、供給網、反復実験、管理された物質へのアクセスが必要になる場合がある。この制約はバイオセキュリティ上のリスクがゼロという意味ではない。一方で、デジタル能力だけが直ちに決定的な物理能力へ変わる、という前提には疑問を投げかける。

NVIDIAのジェンスン・フアンCEOは、人類を終わらせるAIという考えを「完全なナンセンス」と呼ぶなど、絶滅論に強く反発してきた。 33 実業家のマーク・キューバン氏も、AIエージェント群そのものより、終末的な主張を見た人間がどう反応するかの方が危険になり得ると主張した。 43

したがって懐疑的な立場は、最前線AIに安全策が不要だという意味では必ずしもない。現在のモデルの能力や、将来についての推測的な経路から「差し迫った人類絶滅」を導くには、並外れた主張に見合う、より強い根拠が必要だという考え方である。

浮かび上がる中間案――能力向上のペースを抑え、安全性を検証する

絶滅を確実視も一蹴もしない、より実務的な提案も出ている。Anthropicのダリオ・アモデイCEOは、安全対策に時間を与えるため、AIモデルの能力向上の速度を抑えるよう呼びかけた。提案には、社員に近い水準のアクセス権を持つ独立評価者を組み込むことや、最前線AI企業間の協調が含まれる。 18

ロイターは、OpenAIのサム・アルトマンCEOも協調的な減速を求めるリーダーの一人だと報じた。一方で業界内では、市場主導の安全策にどこまで委ねるべきかを巡る隔たりが残る。 19 また、アルトマン氏はこの構想の一環として、外部評価者を受け入れる考えを支持していると報じられた。 20

この方向性は、抽象的な破滅予測から、検証可能な実践へ議論を移す。

1. 独立した評価：企業の自己申告だけに頼らず、資格ある外部レビュー担当者に意味のあるアクセスを与え、安全性の主張を検証する。 18
2. 能力に応じた基準：サイバー作戦や自律エージェント行動など、危険性の高い領域で能力が大きく進んだ場合には、審査を強化し、必要に応じて公開・展開を制限する。
3. 研究所間の協調：競合に遅れまいとして安全余裕を削る誘因を小さくする。 18
4. 国際協力：政府と主要AI開発企業の間で基準をすり合わせ、安全確認なしの投入を競争圧力が促さない仕組みを整える。 27
5. 能力向上と安全性向上の並走：より強力なシステムには、制御、監視、事故対応の能力が実証されていることを求める。

長期の恐怖は、目の前の被害を見えにくくするのか

もう一つの批判は、優先順位に関わる。破局的リスクに研究や備えが必要だとしても、確実ではない絶滅シナリオに注意が集中しすぎれば、すでに生じている、あるいは裏付けが取りやすい被害を見落とすおそれがある。

当面の課題には、AIを使ったサイバー攻撃や詐欺、監視、偽情報、差別的な自動判断、雇用への影響、権力集中などがある。アモデイ氏自身も、開発ペースを落とす理由として、兵器開発、サイバー攻撃、監視といった悪用リスクを挙げている。 29

これは「現在の被害」か「長期の破局」かの二者択一ではない。アクセス管理の強化、より良い評価、慎重な導入方針、独立した検証、インシデント報告、明確な説明責任といった対策は、現在の悪用を抑えながら、将来さらに能力の高いAIへの備えにもなる。

この論争が実際に変えるもの

ここから導ける最も強い結論は、人類絶滅が証明されたということでも、破局への経路が完全に実演されていないから無視してよいということでもない。重要なのは、能力を増すAIシステムの安全性に関する主張は、検証可能であり、独立した精査を受け、想定される被害の規模に見合うものでなければならないという基準だ。

コクソン氏、フビンガー氏、チュグタイ氏は、不確実性の下での予防的対応を訴えている。フアン氏やシン氏らは、現時点の証拠で近い将来の破滅論を正当化できるのかを問い直す。アモデイ氏とアルトマン氏の提案は、すべての哲学的対立に決着をつけなくても進められる。最前線の開発速度を調整し、危険な能力を測定し、信頼できる外部評価を受け入れ、競争圧力の下で未検証の安全主張が事実上の導入基準にならないよう、先に協調することだ。 49 16 33 18 19