アンドリュー・ン氏が訴えたのは、「AIに危険はない」という話ではない。AIが近い将来に人類を絶滅させるという主張は、AI政策全体を方向付ける根拠としてはあまりに推測的だ、という点だ。

Google Brainの共同創設者で、Coursera共同創業者でもあるン氏は9月17日のBloomberg TVで、そうした警告を「科学というよりSF（much more science fiction than science）」と表現した。AI安全性は、システムをテストし、保護措置を組み込み、問題が見つかるたびに改善を重ねる――工学の課題として扱うべきだという。 2

ン氏の立場：完璧な予測ではなく、継続的な安全工学

ン氏は、AIシステムが完全に予測可能になることはないと認めている。しかし、不完全な予測可能性だけを根拠に、社会がAI開発を一律に止めるべきだとは考えていない。

テスト、セーフガード、エンジニアリングによって安全性は段階的に高められる、と同氏は述べた。さらに、AI開発を広く減速させれば、安全技術そのものの進展まで遅らせる可能性があると警告した。 2

この見方では、重要なのは仮説上の絶滅シナリオではなく、実際に観測でき、検証・軽減できる失敗の形を優先することになる。

「終末論」が問題だと考える理由

ン氏は、実存的リスクを強調する警告が、AIが社会にもたらし得る便益を十分に実現する妨げになり得ると述べた。また、AIブームの初期に業界が破局的な危害への恐怖をあおり、注目を集めたり、規制の形成に影響を与えたりしてきたように見えるとも指摘した。 1

これは安全性そのものを否定する議論ではない。劇的な主張は注目を集めやすく、規制の設計は企業ごとのコンプライアンス負担も左右する。ン氏が異議を唱えたのは、絶滅リスクを確立した科学的事実のように扱い、包括的な開発停止の理由にすることだ。

優先すべきはサイバーセキュリティなど具体的な危害

ン氏が求める代替案は、実務的なリスク低減である。インタビューを報じた記事では、サイバーセキュリティと、ほかの具体的な保護策を優先課題として挙げている。 5

実行面では、次のような取り組みが中心になる。

• 導入前および導入後の厳格なテスト
• 既知の失敗パターンを抑えるガードレールや保護措置
• 新たな問題の発見に応じた、反復的な信頼性改善
• サイバー攻撃リスクを含む、予見可能な危害への対処 25

この立場は、AIを完全に制御できると約束するものではない。むしろ、ほかの工学分野と同じく、評価と改善を繰り返すことで、技術を実用上十分に信頼できる水準へ近づけられるという考え方だ。

最先端AIの「減速」を求める陣営との違い

AI安全性への関心では一致していても、最先端モデルの能力向上をどの程度抑えるべきかについて、ン氏と他の有力人物の結論は大きく異なる。

ジェイコブ・コクソン氏：危険の見積もりがより深刻

元Anthropic・OpenAI研究者のジェイコブ・コクソン氏はAnthropicを退職し、自己改善型システムへ急速に進む開発競争が破局的な結果を招きかねないと警告した。同氏は減速が必要だと主張し、後にAnthropicが示した開発ペース抑制の提案を歓迎した。 3343

ダリオ・アモデイ氏：安全策の時間を確保するため能力向上を抑制

Anthropicのダリオ・アモデイCEOは、AI企業がモデル能力を高める速度を落とすよう呼びかけた。その目的は、リスクに対処する時間を確保することにあり、独立した評価者を組み込む枠組みも提案している。 18

サム・アルトマン氏：最先端領域のペース調整を支持

OpenAIのサム・アルトマンCEOは、アモデイ氏の提案の基本的な考え方を支持した。さらに、安全実務を評価できる意味のあるアクセスを外部評価者に与えるという保護策の一つに、OpenAIとして取り組む考えを示した。 1924

ジェフリー・ヒントン氏：人間の制御を失う可能性を懸念

「AIのゴッドファーザー」とも呼ばれるジェフリー・ヒントン氏は、AIが人間の制御を離れる「重大なリスク」があると述べている。同氏は開発の減速と、チャットボット公開前のテストなどの対策を支持し、政府の対応は遅すぎると主張した。 20

実際の対立点は、リスクの確率評価と政策の選択にある。コクソン氏、アモデイ氏、アルトマン氏、ヒントン氏は、制御喪失リスクが最先端AIの開発ペースを意図的に抑えるほど現実的だとみる。一方のン氏は、絶滅の主張には十分な裏付けがないとし、具体的で対処可能な失敗への安全対策に資源を集中させるべきだと考える。 21820

「減速反対」でも、根拠は同じではない

ン氏が広範な開発減速に反対するからといって、同じ結論に至る政治家や業界経営者と、すべての論点で同じ立場というわけではない。

• ジェンスン・フアン氏： NvidiaのCEOは、新たな法律や規制は必要ないと述べた。 53
• マーク・ザッカーバーグ氏： MetaのCEOは、競争と市場のインセンティブが企業にモデルの安全性を高めさせるため、業界全体の減速は不要だと主張した。 55
• ドナルド・トランプ米大統領： 暴走AIへの恐怖を「でっち上げ（hoax）」と退け、米国にはAI企業を規制・訴追する手段がすでにあると述べた。 4950
• 中国政府当局者： 中国外務省の報道官は、最先端AI開発を減速させるよう求める声に反論した。 52

これらの立場はいずれも包括的な停止・減速に反対するという結論では共通する。ただし、ン氏の論拠は主として技術的なものだ。測定可能な危害に焦点を当て、制御を改善すべきだという。一方でフアン氏、ザッカーバーグ氏、トランプ氏、中国当局者は、新規制への反対、市場インセンティブ、競争や国家戦略をそれぞれ重視している。 250525355

サイバーリスクでは重なる部分もある

この議論は、「安全を重視する人」と「重視しない人」の二分法では捉えにくい。たとえばCohereのアイダン・ゴメスCEOは、AIモデルが脆弱性を大規模に発見・悪用できるため、極めて強力なサイバー兵器になったと述べた。 62

これは、具体的なサイバーセキュリティ上の危害に対応すべきだというン氏の主張に近い。ただし、今回参照した報道だけでは、ゴメス氏が業界全体の減速や国際的なAIガバナンスについてどのような包括的見解を持つかは確認できない。投資家スティーブ・アイズマン氏についても、減速政策、安全研究、規制、国際ガバナンスにまたがる立場を判断するには根拠が不足している。

要点

ン氏の発言は、AI安全性をめぐる論点を組み替えるものだ。問うべきなのは、AIを安全にすべきかどうかではない。推測的な人類滅亡シナリオを、安全政策の中心に据えるべきかどうかである。

ン氏の答えは「否」だ。テスト、セーフガード、そして現時点で確認できる危害に対する工学的改善を優先し、技術革新と安全性の進歩の双方を妨げかねない一律の減速は避けるべきだとしている。 12

アンドリュー・ン氏が訴えたのは、「AIに危険はない」という話ではない。AIが近い将来に人類を絶滅させるという主張は、AI政策全体を方向付ける根拠としてはあまりに推測的だ、という点だ。

Google Brainの共同創設者で、Coursera共同創業者でもあるン氏は9月17日のBloomberg TVで、そうした警告を「科学というよりSF（much more science fiction than science）」と表現した。AI安全性は、システムをテストし、保護措置を組み込み、問題が見つかるたびに改善を重ねる――工学の課題として扱うべきだという。 2

ン氏の立場：完璧な予測ではなく、継続的な安全工学

ン氏は、AIシステムが完全に予測可能になることはないと認めている。しかし、不完全な予測可能性だけを根拠に、社会がAI開発を一律に止めるべきだとは考えていない。

テスト、セーフガード、エンジニアリングによって安全性は段階的に高められる、と同氏は述べた。さらに、AI開発を広く減速させれば、安全技術そのものの進展まで遅らせる可能性があると警告した。 2

この見方では、重要なのは仮説上の絶滅シナリオではなく、実際に観測でき、検証・軽減できる失敗の形を優先することになる。

「終末論」が問題だと考える理由

ン氏は、実存的リスクを強調する警告が、AIが社会にもたらし得る便益を十分に実現する妨げになり得ると述べた。また、AIブームの初期に業界が破局的な危害への恐怖をあおり、注目を集めたり、規制の形成に影響を与えたりしてきたように見えるとも指摘した。 1

これは安全性そのものを否定する議論ではない。劇的な主張は注目を集めやすく、規制の設計は企業ごとのコンプライアンス負担も左右する。ン氏が異議を唱えたのは、絶滅リスクを確立した科学的事実のように扱い、包括的な開発停止の理由にすることだ。

優先すべきはサイバーセキュリティなど具体的な危害

ン氏が求める代替案は、実務的なリスク低減である。インタビューを報じた記事では、サイバーセキュリティと、ほかの具体的な保護策を優先課題として挙げている。 5

実行面では、次のような取り組みが中心になる。

• 導入前および導入後の厳格なテスト
• 既知の失敗パターンを抑えるガードレールや保護措置
• 新たな問題の発見に応じた、反復的な信頼性改善
• サイバー攻撃リスクを含む、予見可能な危害への対処 25

この立場は、AIを完全に制御できると約束するものではない。むしろ、ほかの工学分野と同じく、評価と改善を繰り返すことで、技術を実用上十分に信頼できる水準へ近づけられるという考え方だ。

最先端AIの「減速」を求める陣営との違い

AI安全性への関心では一致していても、最先端モデルの能力向上をどの程度抑えるべきかについて、ン氏と他の有力人物の結論は大きく異なる。

ジェイコブ・コクソン氏：危険の見積もりがより深刻

元Anthropic・OpenAI研究者のジェイコブ・コクソン氏はAnthropicを退職し、自己改善型システムへ急速に進む開発競争が破局的な結果を招きかねないと警告した。同氏は減速が必要だと主張し、後にAnthropicが示した開発ペース抑制の提案を歓迎した。 3343

ダリオ・アモデイ氏：安全策の時間を確保するため能力向上を抑制

Anthropicのダリオ・アモデイCEOは、AI企業がモデル能力を高める速度を落とすよう呼びかけた。その目的は、リスクに対処する時間を確保することにあり、独立した評価者を組み込む枠組みも提案している。 18

サム・アルトマン氏：最先端領域のペース調整を支持

OpenAIのサム・アルトマンCEOは、アモデイ氏の提案の基本的な考え方を支持した。さらに、安全実務を評価できる意味のあるアクセスを外部評価者に与えるという保護策の一つに、OpenAIとして取り組む考えを示した。 1924

ジェフリー・ヒントン氏：人間の制御を失う可能性を懸念

「AIのゴッドファーザー」とも呼ばれるジェフリー・ヒントン氏は、AIが人間の制御を離れる「重大なリスク」があると述べている。同氏は開発の減速と、チャットボット公開前のテストなどの対策を支持し、政府の対応は遅すぎると主張した。 20

実際の対立点は、リスクの確率評価と政策の選択にある。コクソン氏、アモデイ氏、アルトマン氏、ヒントン氏は、制御喪失リスクが最先端AIの開発ペースを意図的に抑えるほど現実的だとみる。一方のン氏は、絶滅の主張には十分な裏付けがないとし、具体的で対処可能な失敗への安全対策に資源を集中させるべきだと考える。 21820

「減速反対」でも、根拠は同じではない

ン氏が広範な開発減速に反対するからといって、同じ結論に至る政治家や業界経営者と、すべての論点で同じ立場というわけではない。

• ジェンスン・フアン氏： NvidiaのCEOは、新たな法律や規制は必要ないと述べた。 53
• マーク・ザッカーバーグ氏： MetaのCEOは、競争と市場のインセンティブが企業にモデルの安全性を高めさせるため、業界全体の減速は不要だと主張した。 55
• ドナルド・トランプ米大統領： 暴走AIへの恐怖を「でっち上げ（hoax）」と退け、米国にはAI企業を規制・訴追する手段がすでにあると述べた。 4950
• 中国政府当局者： 中国外務省の報道官は、最先端AI開発を減速させるよう求める声に反論した。 52

これらの立場はいずれも包括的な停止・減速に反対するという結論では共通する。ただし、ン氏の論拠は主として技術的なものだ。測定可能な危害に焦点を当て、制御を改善すべきだという。一方でフアン氏、ザッカーバーグ氏、トランプ氏、中国当局者は、新規制への反対、市場インセンティブ、競争や国家戦略をそれぞれ重視している。 250525355

サイバーリスクでは重なる部分もある

この議論は、「安全を重視する人」と「重視しない人」の二分法では捉えにくい。たとえばCohereのアイダン・ゴメスCEOは、AIモデルが脆弱性を大規模に発見・悪用できるため、極めて強力なサイバー兵器になったと述べた。 62

これは、具体的なサイバーセキュリティ上の危害に対応すべきだというン氏の主張に近い。ただし、今回参照した報道だけでは、ゴメス氏が業界全体の減速や国際的なAIガバナンスについてどのような包括的見解を持つかは確認できない。投資家スティーブ・アイズマン氏についても、減速政策、安全研究、規制、国際ガバナンスにまたがる立場を判断するには根拠が不足している。

要点

ン氏の発言は、AI安全性をめぐる論点を組み替えるものだ。問うべきなのは、AIを安全にすべきかどうかではない。推測的な人類滅亡シナリオを、安全政策の中心に据えるべきかどうかである。

ン氏の答えは「否」だ。テスト、セーフガード、そして現時点で確認できる危害に対する工学的改善を優先し、技術革新と安全性の進歩の双方を妨げかねない一律の減速は避けるべきだとしている。 12