AIの「キルスイッチ」はなぜ十分ではないのか

AIの「キルスイッチ」をめぐる議論は、単に開発企業がモデルの電源を切れるか、という話ではない。より難しい問いは、強力なAIが大規模で分散したインフラに展開され、自律的に動くようになった時にも、その停止機構が本当に届くのかという点にある。

今は止められても、将来も止められるとは限らない

元Anthropic・OpenAI研究者のジェイコブ・コクソン氏は、NBC Newsの番組「Meet the Press」で、現時点では多くのAIに対してキルスイッチは機能しうると述べた。ただし、それはボタン一つを押せば済む話ではない。大規模なデータセンターや展開済みのシステムには多数の構成要素があり、停止にも複数の作業が伴う。それでも、AIが一つの物理的な場所に制約されている間は実行可能だ、というのが同氏の見方だ。8

懸念はその先にある。AIが分散・自律的な「スウォーム（群れ）」のように活動する段階へ進めば、中央からの停止命令は技術的に効かなくなる可能性があるという。制御機構が有効であるためには、稼働しているAIのすべての実体に到達できなければならないからだ。

コクソン氏はAnthropicを離れる際、主要ラボが自己改善するAIの開発競争を進める中で、こうしたシステムが人間の制御不能になるおそれを警告していた。150

「停止できる」だけでなく、外部が確認できるか

Anthropic共同創業者のジャック・クラーク氏は、危険なAIを停止できる能力は、将来的に企業の任意の約束ではなく、法的な義務になる必要があるかもしれないとBBCに語った。大手ラボの多くはAnthropicを含め、すでにシステムを止める方法を持つとしつつ、そのキルスイッチを第三者が検証できるべきではないかという問題提起をした。33

この差は大きい。企業が「停止手順はある」と説明することと、独立した評価者が、その手順が存在し、適切に設計され、緊急時に実際に使えると確認できることは別の話だ。

アモデイ氏の「フロンティアの速度を調整する」提案

Anthropicのダリオ・アモデイCEOは、最先端AIの能力向上が安全対策を置き去りにしないよう、開発速度を調整する枠組みを提案した。柱は3つある。

1. 常設型の独立評価者：最先端AI企業は外部評価者に、社員に近い継続的なアクセスを提供する。評価者は関連システムと安全対策を確認し、企業の約束を検証するとともに、懸念事項を報告する。
2. 民主主義国間での共通基準：主要開発企業が安全基準を共有し、無制限な能力拡大を抑えるための協調を行う。
3. 国際協調：一企業や一国だけでは確実に封じ込められないリスクについて、政府が国境を越えて連携する。17

これはAI研究を全面的に止める提案ではない。開発企業だけではなく外部からも精査できる安全管理を、進歩の条件にしようという考え方だ。

賛同を示したAI業界のリーダーたち

ロイター通信によると、OpenAIのサム・アルトマンCEOとxAIを率いるイーロン・マスク氏は、アモデイ氏の大枠の方向性を公に支持した。アルトマン氏は、社員に近いアクセス権を持つ独立評価者の仕組みをOpenAIも採用すると表明。マスク氏は「ダリオは正しい」と述べた。17

また、報道ではGoogle DeepMindのデミス・ハサビスCEOも提案の方向性に賛意を示したとされる。30 一方、提供された報道の範囲では、Microsoftのサティア・ナデラCEOについて、この提案への具体的かつ本人に帰属できる反応は確認できない。賛否を断定するのは早計だ。

米国の「AI Kill Switch Act」とは

米議会に提出された法案H.R. 9917「AI Kill Switch Act」は、国土安全保障法を改正し、対象となる事業体に対し、AI技術の推論処理を停止すること、利用者のアクセスを終了すること、技術そのものをシャットダウンすることなどを可能にする技術的能力の維持を求める内容だ。49

ただし、これは成立済みの制度ではなく法案にとどまる。重大な事故が起きた時、開発者が対象システムをなお特定でき、アクセスし、無効化できるかどうかが実効性を左右する。これは、将来の分散型AIについてコクソン氏が指摘した問題そのものでもある。

「人類絶滅リスク10％超」は予測ではなく専門家の判断

Anthropicの研究者エヴァン・ヒュービンガー氏は、今後10年以内にAIが原因で人類が絶滅するリスクを、個人的には10％超と見積もっている。コンピューター科学者のジェフリー・ヒントン氏もBBCに対し、10％という可能性は「不合理ではない」と語った。57

これらは不確実な将来に関する専門家の評価であり、測定された確率でも科学的な合意でもない。それでも、取り返しのつかない破局の確率が比較的低くても、安全策を強化すべきだという主張が出る理由を示している。

なぜ政府は停止義務や減速策に慎重なのか

英国政府は国家的なAIキルスイッチ案を退け、「英国だけでAIの電源を切ることはできない」と説明した。英国でモデルへのアクセスを遮断しても、他国で開発・悪用されることまでは防げない、という実務上の理由だ。51

ここには地政学的な難しさがある。一国は自国の管轄内にある企業やインフラにルールを課せるが、AI開発は国際的に進んでいる。競争力を重視する政府は、一方的な制約によって投資、技術力、戦略的な影響力が規制の緩い競争相手に移ることを懸念しうる。

しかし、より強い統治を求める側は、だからこそ企業の自主的な約束や一国だけの規制では足りないと反論する。リスクが国境を越えるなら、監督と安全へのコミットメントにも国際的な信頼性が必要になる、という考え方だ。

本当の対立は「開発の加速」と「制御可能性」の間にある

この議論は、AI推進派とAI反対派の単純な対立ではない。

• 安全性を重視する側は、外部から検証できる安全策、実効性のある停止能力、評価と制御を能力向上が追い越さないための制限を求める。
• 厳格な規制に慎重な側は、開発停止や一律の制限は世界規模では執行が難しく、海外での開発を止められないまま有益な技術革新を遅らせる可能性があると主張する。
• 条件付きで開発を進める立場は、コクソン氏、クラーク氏、アモデイ氏に代表される。AIの前進自体は続けつつも、単なる企業の約束ではなく、試験・検証できる安全策を必須にすべきだという立場だ。83317

したがって、キルスイッチは安全対策全体の一層として捉えるべきであり、それだけで問題を解決する万能策ではない。高度AIが一つのスイッチでは届かないほど分散する可能性があるなら、導入前の監督、独立評価、国際協調の重要性はむしろ高まる。