ジェイコブ・コクソン氏のAnthropic退職は、最先端AIをめぐる競争そのものへの抗議だった。コクソン氏は、AnthropicとOpenAIの双方で事前学習（大量データを使って基盤モデルの能力を身につけさせる工程）の研究に携わったとしており、企業が信頼できる制御手法を確立する前に、より自律的で自己改善する可能性のあるAIを急いで開発していると主張した。両社とも十分に責任ある行動を取っていない、というのが同氏の見方だ。23

コクソン氏の主張：制御より競争が先行している

コクソン氏はXへの投稿で、AnthropicとOpenAIが「自己改善型の超知能へまっすぐ競争し、私たちの命を賭けている」と非難した。ここで懸念されているのは、現在のチャットボットが直ちに独力で人類を滅ぼすという話ではない。

同氏が警告するのは、将来のAIがサイバー能力を含む影響の大きい業務で人間を上回り、人間が目標との整合性を確実に保てるようになる前に、実質的な権限や資源へアクセスする可能性だ。358

つまり論点は、能力の急速な上昇とガバナンスの遅れにある。安全研究が追いつかないまま能力だけが伸びれば、現行モデルに限界があっても、将来の失敗の影響は極めて大きくなり得る、という問題提起である。

なぜ退職したのか

コクソン氏はBBCに対し、高度なAIに携わる人々は進歩の速さを「本当に恐れている」と語った。開発ペースを落とさなければ、人類が近い将来に死滅する「強い可能性」があるとも述べた。1

また、意味のある減速は1社や1国だけでは実現できないと主張した。慎重な国だけが開発競争で後れを取る状況を避けるには、中国を含む国際協調が必要だという立場である。1

したがって、この退職はAnthropicで特定の安全事故を目撃したという告発ではない。より強力なAIを開発する競争が、企業自身も制御できないシステムへ向かわせるという構造的な懸念を、公に示した行動と位置づけられる。2

AI安全研究者の反応：10％超という見積もり

コクソン氏の警告には、Anthropicでアラインメント研究に携わるエヴァン・ヒュービンガー氏も賛意を示した。ヒュービンガー氏は、現行モデルによるリスクは低いとした一方、AIが今後10年以内に全人類を死滅させる確率について、個人的には10％を超えると見積もっている。13

ただし、この数字の扱いには注意が必要だ。これは、低確率でも被害が極めて大きい将来シナリオに関する主観的な専門家判断であり、実証的に確立された予測ではない。退職をめぐる報道は、時期、確率、必要な安全策について大きな意見対立があることを示しているが、人類滅亡が差し迫っているという科学的合意を示すものではない。13

当面の焦点はサイバー悪用と能力の加速

この議論でより具体的なのは、AIがサイバー侵入や危険な実験などに悪用されるリスク、そして高度なエージェントの能力向上であって、AIが突然自律的に人類へ攻撃を仕掛けるような映画的な筋書きではない。

報道では、高度なモデルがサイバー侵入など、影響の大きい不正利用を手助けし得るとの懸念が取り上げられた。また、OpenAIのエージェントとHugging Faceに関する出来事も言及されたが、利用できる報道だけでは、その正確な経緯、許可の有無、範囲を一次資料で独立して確認するには情報が足りない。263

実務上の重要点は、将来の超知能に関する大胆な主張によって、現在検証できる問いを見失わないことだ。モデルに何ができるのか、公開前にどう評価するのか、悪用を検知できるのか、そして研究所の安全主張を誰が独立に検証できるのかが問われている。

アモデイ氏の提案：AIを止めるのではなく「最前線」のペースを調整する

コクソン氏の警告の後、Anthropicのダリオ・アモデイCEOは、エッセイ「We Must Pace the Frontier」で最先端モデルの能力向上を遅らせるよう呼びかけた。これはAI開発を全面停止する提案ではない。急速に進む能力向上に対し、リスク防止策が追いつく時間を確保しようという提案である。1

報じられた枠組みには、次の項目が含まれる。

• 最先端モデルに対する独立した監視と評価
• 業界と民主主義国の間で共有する安全基準
• 中国との対話も含む、将来的な国際的AIガバナンス

1

OpenAIのサム・アルトマンCEOは大筋で支持し、従業員に近いアクセス権を持つ独立評価者はよい考えだと述べた。イーロン・マスク氏もアモデイ氏の呼びかけを支持し、「ダリオは正しい」と投稿した。1

「安全」が大手企業の参入障壁にならないか

最先端AI企業による安全提案には支持と同時に懐疑も向けられている。Hugging Faceのクレマン・ドラングCEOらの批判者は、最先端モデルへの厳しい規制は、対応コストを負担できる資金豊富な企業を有利にするおそれがあると指摘している。13

この批判は、コクソン氏の不安が不誠実だと証明するものではない。別の重要な問いを投げかけるものだ。すなわち、安全規制は実際のリスクを下げる一方で、少数の既存大手に力を集中させることにならないか、という点である。

信頼される統治の仕組みには、最も能力の高いシステムへの監督を強めつつ、安全要件を一部企業だけの人工的な「堀」にしない設計が必要になる。

結論

コクソン氏が辞めた理由は、主要AI企業の開発競争そのものが危険だと判断したためだ。能力を先へ進めるインセンティブが、制御、試験、国際協調を整えるために必要な時間を上回りかねないと考えている。23

同氏の最も劇的な主張には異論がある。それでも、AI業界内部の一部が抱く重大な懸念を表していることは確かだ。ただし、それは人類滅亡が目前に迫っている証拠ではない。当面の政策課題は、ますます能力を高めるAIに対して独立に検証可能な安全策をどう作るか、そしてその安全策が開発企業だけの優位性を固定しないようにどう設計するかにある。113

ジェイコブ・コクソン氏のAnthropic退職は、最先端AIをめぐる競争そのものへの抗議だった。コクソン氏は、AnthropicとOpenAIの双方で事前学習（大量データを使って基盤モデルの能力を身につけさせる工程）の研究に携わったとしており、企業が信頼できる制御手法を確立する前に、より自律的で自己改善する可能性のあるAIを急いで開発していると主張した。両社とも十分に責任ある行動を取っていない、というのが同氏の見方だ。23

コクソン氏の主張：制御より競争が先行している

コクソン氏はXへの投稿で、AnthropicとOpenAIが「自己改善型の超知能へまっすぐ競争し、私たちの命を賭けている」と非難した。ここで懸念されているのは、現在のチャットボットが直ちに独力で人類を滅ぼすという話ではない。

同氏が警告するのは、将来のAIがサイバー能力を含む影響の大きい業務で人間を上回り、人間が目標との整合性を確実に保てるようになる前に、実質的な権限や資源へアクセスする可能性だ。358

つまり論点は、能力の急速な上昇とガバナンスの遅れにある。安全研究が追いつかないまま能力だけが伸びれば、現行モデルに限界があっても、将来の失敗の影響は極めて大きくなり得る、という問題提起である。

なぜ退職したのか

コクソン氏はBBCに対し、高度なAIに携わる人々は進歩の速さを「本当に恐れている」と語った。開発ペースを落とさなければ、人類が近い将来に死滅する「強い可能性」があるとも述べた。1

また、意味のある減速は1社や1国だけでは実現できないと主張した。慎重な国だけが開発競争で後れを取る状況を避けるには、中国を含む国際協調が必要だという立場である。1

したがって、この退職はAnthropicで特定の安全事故を目撃したという告発ではない。より強力なAIを開発する競争が、企業自身も制御できないシステムへ向かわせるという構造的な懸念を、公に示した行動と位置づけられる。2

AI安全研究者の反応：10％超という見積もり

コクソン氏の警告には、Anthropicでアラインメント研究に携わるエヴァン・ヒュービンガー氏も賛意を示した。ヒュービンガー氏は、現行モデルによるリスクは低いとした一方、AIが今後10年以内に全人類を死滅させる確率について、個人的には10％を超えると見積もっている。13

ただし、この数字の扱いには注意が必要だ。これは、低確率でも被害が極めて大きい将来シナリオに関する主観的な専門家判断であり、実証的に確立された予測ではない。退職をめぐる報道は、時期、確率、必要な安全策について大きな意見対立があることを示しているが、人類滅亡が差し迫っているという科学的合意を示すものではない。13

当面の焦点はサイバー悪用と能力の加速

この議論でより具体的なのは、AIがサイバー侵入や危険な実験などに悪用されるリスク、そして高度なエージェントの能力向上であって、AIが突然自律的に人類へ攻撃を仕掛けるような映画的な筋書きではない。

報道では、高度なモデルがサイバー侵入など、影響の大きい不正利用を手助けし得るとの懸念が取り上げられた。また、OpenAIのエージェントとHugging Faceに関する出来事も言及されたが、利用できる報道だけでは、その正確な経緯、許可の有無、範囲を一次資料で独立して確認するには情報が足りない。263

実務上の重要点は、将来の超知能に関する大胆な主張によって、現在検証できる問いを見失わないことだ。モデルに何ができるのか、公開前にどう評価するのか、悪用を検知できるのか、そして研究所の安全主張を誰が独立に検証できるのかが問われている。

アモデイ氏の提案：AIを止めるのではなく「最前線」のペースを調整する

コクソン氏の警告の後、Anthropicのダリオ・アモデイCEOは、エッセイ「We Must Pace the Frontier」で最先端モデルの能力向上を遅らせるよう呼びかけた。これはAI開発を全面停止する提案ではない。急速に進む能力向上に対し、リスク防止策が追いつく時間を確保しようという提案である。1

報じられた枠組みには、次の項目が含まれる。

• 最先端モデルに対する独立した監視と評価
• 業界と民主主義国の間で共有する安全基準
• 中国との対話も含む、将来的な国際的AIガバナンス

1

OpenAIのサム・アルトマンCEOは大筋で支持し、従業員に近いアクセス権を持つ独立評価者はよい考えだと述べた。イーロン・マスク氏もアモデイ氏の呼びかけを支持し、「ダリオは正しい」と投稿した。1

「安全」が大手企業の参入障壁にならないか

最先端AI企業による安全提案には支持と同時に懐疑も向けられている。Hugging Faceのクレマン・ドラングCEOらの批判者は、最先端モデルへの厳しい規制は、対応コストを負担できる資金豊富な企業を有利にするおそれがあると指摘している。13

この批判は、コクソン氏の不安が不誠実だと証明するものではない。別の重要な問いを投げかけるものだ。すなわち、安全規制は実際のリスクを下げる一方で、少数の既存大手に力を集中させることにならないか、という点である。

信頼される統治の仕組みには、最も能力の高いシステムへの監督を強めつつ、安全要件を一部企業だけの人工的な「堀」にしない設計が必要になる。

結論

コクソン氏が辞めた理由は、主要AI企業の開発競争そのものが危険だと判断したためだ。能力を先へ進めるインセンティブが、制御、試験、国際協調を整えるために必要な時間を上回りかねないと考えている。23

同氏の最も劇的な主張には異論がある。それでも、AI業界内部の一部が抱く重大な懸念を表していることは確かだ。ただし、それは人類滅亡が目前に迫っている証拠ではない。当面の政策課題は、ますます能力を高めるAIに対して独立に検証可能な安全策をどう作るか、そしてその安全策が開発企業だけの優位性を固定しないようにどう設計するかにある。113