アルトマン氏のAI警告：制御を失うリスクと、力が集中するリスク

強力なAIが社会にもたらし得る失敗には、性質の異なる二つの経路がある――OpenAIのサム・アルトマンCEOはそう警告する。第一は、人間が能力を増すAIシステムへの統制を失うこと。第二は、そのAIを動かす力がごく少数の主体に集中することだ。

これは、AI安全性を単なる技術問題にとどめない見方でもある。モデルが何をできるかだけでなく、誰がそのモデルを指揮・利用できるのかも、安全性に直結するという問題提起だ。1316

アルトマン氏が避けるべきだとする二つの道

一つ目は、人間による統制の喪失。

アルトマン氏は、人類が「AIに未来の主導権を奪われる」可能性に言及し、これは受け入れられないと述べた。AIは人に奉仕すべきであり、人が十分に監督できないシステムに依存・従属する状態になってはならない、という立場だ。216

二つ目は、AIパワーの過度な集中。

極めて強力なAIを一人、一社、あるいは一国が掌握し、自らの世界観を他者へ押し付ける――アルトマン氏は、そんな状況は「極めてディストピア的」になり得ると警告した。113

二つは関連しつつも、別のリスクである。前者は、強力なシステムを人間が理解し、制約し、必要なら停止・上書きできるかという技術的統制の問題だ。後者は、システム自体が制御可能だったとしても、それを握る主体にチェックのない権限が集中し過ぎないかという統治と権力分散の問題である。

求める安全策：「能力」より先に整合性と監視を

アルトマン氏の主張は、AI開発を単純に止めるべきだというものではない。モデルの能力向上が、整合性（アラインメント）や監視の仕組みを追い越してはならず、競争圧力を無謀な配備の言い訳にしてはならない、という考え方だ。213

同氏が挙げた主な安全策は次の通りだ。

• 能力向上に見合うアラインメントと監視：能力が高まるAIについて、開発者が行動を意味のある形で評価し、制御できることが必要になる。213
• AIを常に人に仕えさせること：統制喪失への警告を支える基本原則だ。216
• 最先端AIに一貫した連邦レベルの安全要件を設けること：企業任せの自主的な約束だけでなく、米国連邦政府の枠組みでフロンティアAIのリスクを管理する考えを歓迎した。1316
• 独立した外部検証：より高度なモデルを開発する企業への社会的信頼を高める手段として、独立監査人の活用に期待を示した。16

実務上の含意は明確だ。最も能力の高いシステムほど、配備を決める前に安全対策を試験し、信頼できる根拠を示す責任が重くなる。能力が進んだ後で安全を付け足すのでは遅い、という考えである。

Anthropic研究者の警告が浮き彫りにした論点

同じ週、Anthropicの元研究者ジェイコブ・コクソン氏は、主要AI研究所が自己改善するAIへと競争的に進み、「私たちの命を賭けの対象にしている」と警告した。退職を報じた記事では、開発に携わる研究者らが、システムが人間の制御を超えるほど強力になることを本気で恐れている、という同氏の認識が伝えられた。17

表現の直接性ではコクソン氏のほうが強いが、根本の懸念はアルトマン氏と重なる。すなわち、能力の進歩が、システムを確実に監督する力を上回るかもしれないという点だ。

報じられたAnthropicのアラインメント部門リーダー、エバン・ヒュービンガー氏との公開上のやりとりでは、AIが10年以内に人類絶滅を招く確率について「10％超」とする個人的見積もりや、超知能のアラインメントを完全に解く計画はまだないとの認識が示された。ただし、これは一個人のリスク評価であり、確立した予測や科学的合意の確率ではない。17

重要なのは、特定の絶滅時期が証明されたわけではないことだ。そうではなく、最先端の開発に最も近い研究者たちの間で、現在の安全実務が開発中のシステムに追いついているのか、公開の場で争点になっていることである。

本当の対立点は「開発か停止か」ではない

業界の対立は「AI加速派」と「AI減速派」の争いとして描かれがちだが、それだけでは不十分だ。AIが大きな便益をもたらし得る点では、多くの関係者が一致している。争われているのは、どの順序で進めるのか、そして安全策をどこまで実効性あるものにできるのかである。

安全を重視する立場は、評価、ガバナンス、悪用への対応が成熟する時間を確保するため、最先端の能力開発を一定の速度で進めるべきだとする。Anthropicのダリオ・アモデイCEOは能力向上のペースを落とすよう求め、独立評価者の常設的な関与、フロンティアAI研究所間の協調、国際協力などを提示した。

一方で、企業や政府には、競合より遅れれば経済的・地政学的な優位を失うという現実的な圧力がある。だがアルトマン氏は、競争を理由に能力がアラインメントや監視を追い越すことを容認してはならないと主張している。13

ロイターは、一部の研究者が、モデル能力は予想より速く進展する一方、人間がその内部動作を見通し、制御できる可能性は低下していると考えていると報じた。 ここから政策上の核心が生まれる。安全策が追いつくまで、企業はより自律的なモデルを段階的に配備し続けるべきなのか。それとも先に、安全策が十分だと実証すべきなのか。

AIガバナンスに必要な二つの視点

アルトマン氏の二つの警告が示すのは、フロンティアAIのガバナンスが技術的統制と権力の分散の双方を扱う必要がある、ということだ。

モデル評価、アラインメント研究、監視、独立した外部監督は、主に前者への対応になる。一貫したルール、透明性、一主体による一方的な支配への歯止めは、後者に関わる。

破局的な予測や具体的な時期を、確定した事実として扱うべきではない。しかし失敗した場合の影響が極めて大きいからこそ、より強い評価、外部からの検証、安全要件を求める声は、周辺的な議論ではなくAI業界の中心課題になっている。13