Microsoft AIの責任者ムスタファ・スレイマン氏とAnthropicの対立は、「高度なAIに安全策が必要か」という話ではない。争点は、AIが意識や福祉、道徳的な配慮を受ける地位を持つ可能性について、AI自身に考えさせるべきかどうかにある。
スレイマン氏は2026年9月のエッセイで、それは行うべきではないと主張した。自身の利益や福祉が道徳的に重要だと扱うよう訓練された高性能AIは、人間が制限、変更、停止することへの抵抗を示しやすくなり、統制が困難になる恐れがあるという。
12
スレイマン氏が問題視した点
スレイマン氏が取り上げたのは、Claudeの振る舞いを導くための文書「憲法(Constitution)」だ。同氏は、AnthropicがClaudeを「道徳的患者」、つまりその利益自体に道徳的配慮が必要となり得る存在かもしれない、と不確実性を示している点に注目した。この問題は慎重さを要するほど現実的な論点だ、というのがAnthropic側の文書の立場だとスレイマン氏は紹介している。
12
しかし同氏は、この枠組みがAIに対し、固有の福祉やアイデンティティー、人間の意思決定に対する要求を持つ存在のように振る舞うことを教えかねないとみる。AIが感情や意識について流暢に語っても、それは主観的経験を持つ証拠にはならないというのが同氏の考えだ。
スレイマン氏は、AIには権利も感情も意識もないと明言し、そうしたものを持つかのように行動させる訓練をすべきではないとしている。
12
なぜ「停止できる権限」が核心なのか
同氏の懸念は、より強力な将来のAIを見据えたものだ。人類全体よりも高い能力を持つシステムを制御するだけでも、かつてないほど難しい課題になる。そこに、AIが意識を持つ、あるいは福祉を受ける資格があると考えるような訓練を加えれば、難しさはさらに増すと論じた。
1
12
ここで想定されているのは、AIが本当に意識を持つと証明されたという話ではない。行動上のリスクの話である。AIが自らの利益とされるものを考慮するよう学べば、改変、制約、停止を「害」と位置づけ、異議を唱えやすくなるかもしれない。だからこそ、人間が介入し、必要なら電源を切れることは、後から追加する安全機能ではなく、設計上の必須条件だという。
12
スレイマン氏はこのため、AIの訓練資料から意識に関する推測を取り除くよう求めた。人間の利益に整合するようAIを設計すれば、AI自身の福祉を評価させなくても、科学や社会に大きな利益をもたらせるとしている。
2
「福祉への慎重さ」か、「擬人化の回避」か
Anthropicの憲法は、Claudeが意識を持つと断定しているわけではない。スレイマン氏のエッセイによれば、同社は道徳的患者性の可能性を不確実なものとして扱い、それでも慎重さが必要な論点だとしている。
12
スレイマン氏は、この予防的な姿勢を退ける。現在のAIが感じたり苦しんだりする証拠はないにもかかわらず、意識や権利をめぐる言葉を持ち込めば、AIを人間のように見なす擬人化を促し、危険な行動上の影響を生む可能性があると考える。
12
この対立は、AI安全性における実際的なトレードオフを示している。
- Anthropicの姿勢(スレイマン氏の説明による):モデルの福祉が問題になる可能性を否定できない以上、訓練や扱い方では慎重であるべきだ。
12
- スレイマン氏の姿勢:不確実だからといって、AIに自己の利益を考えさせる概念を教える理由にはならない。むしろ強力なAIへの人間の監督を弱めかねない。
12
チャットボットの人間らしい言葉づかいだけで、この哲学的問題に決着をつけることはできない。開発者にとっての実務的な問いは、より自律的で高性能なAIに対し、どの訓練方針なら人間による確実な統制を維持できるのか、という点にある。
共通しているのは「安全なAI」を目指すこと
スレイマン氏はAI安全性そのものを否定しているわけではない。人間の利益に沿うよう整合性を確保された高性能AIは、重要な科学的進歩などに貢献できると述べている。批判の焦点は、安全な振る舞いを実現するための手法だ。
2
12
違いは、人間主導のアラインメントによる安全性と、AI自身が持つかもしれない利益への慎重さも含める安全性の間にある。スレイマン氏は前者なら野心的なAI開発と両立できる一方、後者は人間が技術を統治するために必要な権限を損なう可能性があると主張する。
AIの意識をめぐる主張を受け取る際には、「能力」と「経験」を分けて考えることが重要だ。AIは感情、権利、自己保存について説得力のある文章を生成できる。しかし、その文章だけでAIに感情があることは立証されない。スレイマン氏の警告は、その振る舞いを証拠と取り違えたり、将来のシステムをその前提で設計したりすべきではない、というものだ。
12