元Google DeepMindの研究者アレックス・ターナーは、AIに「減速」を求めるだけでは不十分かもしれないと訴えている。彼の問題意識は、最先端AIの能力向上が、企業や政府、さらには米国と中国のような競合する大国でさえ、確実に管理できる速度を超えつつあるという点にある。

ターナーが重視するのは、最先端AIの開発に不可欠な**計算資源（compute）**を追跡し、実際に執行できる規制の土台にすることだ。国際的な開発競争の中では、企業の自主的な抑制だけでは持続しないおそれがあるとも警告している。17

DeepMindを離れた理由

ターナーはDeepMindのスケーラブル・アラインメント・チームで働いた後、2026年6月に退職した。Googleが米国防総省（ペンタゴン）に機密業務でのAI利用を認める契約を結んだことが理由だという。彼は、この取り決めには自律型兵器や大規模監視への利用を禁じる拘束力ある制限がなかったと異議を唱えた。1819

この退職は、軍事利用のガバナンスと、強力なAI全般への懸念が地続きであることを示す。商業的・安全保障上の圧力が高まったときにも守られるのでなければ、形式的な安全原則だけでは足りない、という問題だ。ターナーがDeepMindで取り組んでいたのは、将来の高性能AIが人間の福祉と両立する行動を取るようにする「アラインメント（整合性）」研究だった。19

警告の核心は「制御不能」のリスク

ターナーは、破局が必然だと予言しているわけではない。懸念しているのは、AIがAI研究そのものを支援したり、自らの後継システムの開発の一部を自動化したり、人間が十分に検査できない水準で動作したりした場合、人間の組織が評価・封じ込めを行う能力を間に合わせられなくなるというリスクである。

問題は、抽象的な意味での「知能」だけではない。能力、自律性、そして信頼できる制御手段の欠如が重なることだ。複雑な目標を追求し、ツールにアクセスし、後継システムを改良できるAIでは、能力の向上が人間による評価や統治より速く進むフィードバック・ループが生じうる。

このためターナーは、AIが制御できない水準の知能へ自己改良することを企業が許すべきではないと主張してきた。これは、そのようなAIがすでに存在する、あるいは人類絶滅が起きると確定している、という証拠ではない。もっともらしい失敗経路に対する警告である。1719

なぜ計算資源の追跡が重要なのか

最先端モデルの訓練には、高性能半導体、データセンター、電力といった計算資源が必要になる。これらは物理的で希少な投入要素であり、ターナーはその追跡を、強制力を持つ規制の出発点になり得るものとして位置づけている。17

実務面では、計算資源を監視する仕組みにより、極めて大規模な訓練を可視化し、許可制や審査の対象となるしきい値を設け、開発者が合意済みの能力上限をひそかに越えることを難しくできる可能性がある。これだけでアラインメント問題が解決するわけではない。価値があるのは、モデルが公開・配備される前に監査可能な対象を作れるという統治上の点にある。

ここに、自主的な約束と制度的な監督の違いがある。自主的な約束は意図を示せるが、監視と拘束力ある要件は、ある企業に「もっと速く進む」誘因がある局面でも機能することを目指す。

アモデイ案：「停止」ではなく「ペース配分」

Anthropicのダリオ・アモデイCEOは、AI能力の向上速度を落とし、アラインメント研究、保護策、外部評価が追いつけるようにする「フロンティアをペース配分する（pace the frontier）」という考えを提唱した。これはモデル訓練や技術進歩を止める提案とは明確に区別されている。16

提案は主に3つからなる。

1. ラボに常駐する独立評価者：最先端AIラボは外部の評価者に、従業員に近い継続的なアクセスを与える。安全慣行の検証、アラインメントの評価、事故の報告を可能にする狙いで、Anthropicはこの措置への取り組みを表明している。16
2. 民主主義国と主要ラボの連携：参加者が共通の安全基準や、無制限な能力向上に対する制約を目指して協調する。116
3. 可能な範囲で中国も含む国際協調：一国の自制が他国への開発移転を招く危険な競争を避けることが目的だ。18

この枠組みは最先端開発の継続を認めつつ、より遅く、検証可能な進歩を求める。一方のターナーは、制御不能な自己改良を防ぐこと、そして最先端開発を可能にする投入要素そのものを規制することに、より大きな重点を置く。

アルトマン、マスク、ハサビスはどう反応したか

アモデイの提案には、競合するAI組織のトップからも異例の公的支持が集まった。

• サム・アルトマン：OpenAIは、従業員に近いアクセスを持つ独立評価者という考えを採用すると表明。また、最先端AIラボ向けの安全要件を歓迎すると述べた。212
• イーロン・マスク：「ダリオは正しい」としてアモデイの方向性を支持した。ただし、どのような規制の具体案を支持するかについて、報道で確認できる詳細は限られている。47
• デミス・ハサビス：アモデイの論考は正しい道筋を示していると述べ、より強い安全策と、最先端開発を抑制的に進めるという大枠の方向を支持した。27

ただし、これは能力のしきい値、執行手段、地政学上のトレードオフのすべてで合意したことを意味しない。それでも議論の焦点が、「最先端AIの安全を重視すべきか」から、「安全対策が追いつくまで規模拡大を続けられるのか」へ移っていることは示している。

中国は反論の根拠であり、協調が必要な理由でもある

開発減速論に対する定番の反論は地政学だ。米国企業が手を緩めれば、中国がそうするとは限らない。ロイターは、協調による抑制と市場主導の安全策の対立を、対中競争が中心にある論点として伝えている。1

アモデイの回答は段階的な協調である。まず民主主義国と主要ラボの間で連携し、その後、より広い枠組みを目指す。しかし世界規模の合意は、この計画の中で最も不確実な部分でもある。検証の難しさ、戦略的不信、各国の異なる優先順位が、拘束力ある取り決めを難しくする。

計算資源に注目するターナーの考えは、なぜ支持者が善意への期待以上の仕組みを求めるのかを示している。政府が最大規模の訓練に使われる資源を特定・検査できれば、国際競争の中で交わされる約束より、執行しやすい手段になり得る。17

本当の争点は「立証責任」を誰が負うか

業界に生まれつつある合意は限定的だ。アモデイ、アルトマン、マスク、ハサビスはいずれも、何らかのペース配分や評価強化を支持している。127 だが、中心的な争点は未解決のままだ。

• 安全実務を並行して改善するなら、企業は最先端能力を高め続けてよいのか。
• それとも、特に無制限の自己改良が可能なシステムのような開発経路は、信頼できる制御方法が確立されるまで禁止すべきか。
• 外部評価者は、監査するラボに十分独立した立場で、かつ十分な情報を得たうえで異議を唱えられるのか。
• 国際協調は、安全規則を守る企業や国だけが競争上不利になる事態を防げるのか。

ターナーの主張は、これは企業が慎重であるかどうかだけの問題ではない、という点にある。もし本当に制御喪失が懸念されるなら、対応策は監査可能で、執行可能でなければならない。アモデイのペース配分案は外部監視へ向けた重要な一歩だが、最終的な試金石は、監督が危険な能力競争を実際に止められるかどうかになる。1617

元Google DeepMindの研究者アレックス・ターナーは、AIに「減速」を求めるだけでは不十分かもしれないと訴えている。彼の問題意識は、最先端AIの能力向上が、企業や政府、さらには米国と中国のような競合する大国でさえ、確実に管理できる速度を超えつつあるという点にある。

ターナーが重視するのは、最先端AIの開発に不可欠な**計算資源（compute）**を追跡し、実際に執行できる規制の土台にすることだ。国際的な開発競争の中では、企業の自主的な抑制だけでは持続しないおそれがあるとも警告している。17

DeepMindを離れた理由

ターナーはDeepMindのスケーラブル・アラインメント・チームで働いた後、2026年6月に退職した。Googleが米国防総省（ペンタゴン）に機密業務でのAI利用を認める契約を結んだことが理由だという。彼は、この取り決めには自律型兵器や大規模監視への利用を禁じる拘束力ある制限がなかったと異議を唱えた。1819

この退職は、軍事利用のガバナンスと、強力なAI全般への懸念が地続きであることを示す。商業的・安全保障上の圧力が高まったときにも守られるのでなければ、形式的な安全原則だけでは足りない、という問題だ。ターナーがDeepMindで取り組んでいたのは、将来の高性能AIが人間の福祉と両立する行動を取るようにする「アラインメント（整合性）」研究だった。19

警告の核心は「制御不能」のリスク

ターナーは、破局が必然だと予言しているわけではない。懸念しているのは、AIがAI研究そのものを支援したり、自らの後継システムの開発の一部を自動化したり、人間が十分に検査できない水準で動作したりした場合、人間の組織が評価・封じ込めを行う能力を間に合わせられなくなるというリスクである。

問題は、抽象的な意味での「知能」だけではない。能力、自律性、そして信頼できる制御手段の欠如が重なることだ。複雑な目標を追求し、ツールにアクセスし、後継システムを改良できるAIでは、能力の向上が人間による評価や統治より速く進むフィードバック・ループが生じうる。

このためターナーは、AIが制御できない水準の知能へ自己改良することを企業が許すべきではないと主張してきた。これは、そのようなAIがすでに存在する、あるいは人類絶滅が起きると確定している、という証拠ではない。もっともらしい失敗経路に対する警告である。1719

なぜ計算資源の追跡が重要なのか

最先端モデルの訓練には、高性能半導体、データセンター、電力といった計算資源が必要になる。これらは物理的で希少な投入要素であり、ターナーはその追跡を、強制力を持つ規制の出発点になり得るものとして位置づけている。17

実務面では、計算資源を監視する仕組みにより、極めて大規模な訓練を可視化し、許可制や審査の対象となるしきい値を設け、開発者が合意済みの能力上限をひそかに越えることを難しくできる可能性がある。これだけでアラインメント問題が解決するわけではない。価値があるのは、モデルが公開・配備される前に監査可能な対象を作れるという統治上の点にある。

ここに、自主的な約束と制度的な監督の違いがある。自主的な約束は意図を示せるが、監視と拘束力ある要件は、ある企業に「もっと速く進む」誘因がある局面でも機能することを目指す。

アモデイ案：「停止」ではなく「ペース配分」

Anthropicのダリオ・アモデイCEOは、AI能力の向上速度を落とし、アラインメント研究、保護策、外部評価が追いつけるようにする「フロンティアをペース配分する（pace the frontier）」という考えを提唱した。これはモデル訓練や技術進歩を止める提案とは明確に区別されている。16

提案は主に3つからなる。

1. ラボに常駐する独立評価者：最先端AIラボは外部の評価者に、従業員に近い継続的なアクセスを与える。安全慣行の検証、アラインメントの評価、事故の報告を可能にする狙いで、Anthropicはこの措置への取り組みを表明している。16
2. 民主主義国と主要ラボの連携：参加者が共通の安全基準や、無制限な能力向上に対する制約を目指して協調する。116
3. 可能な範囲で中国も含む国際協調：一国の自制が他国への開発移転を招く危険な競争を避けることが目的だ。18

この枠組みは最先端開発の継続を認めつつ、より遅く、検証可能な進歩を求める。一方のターナーは、制御不能な自己改良を防ぐこと、そして最先端開発を可能にする投入要素そのものを規制することに、より大きな重点を置く。

アルトマン、マスク、ハサビスはどう反応したか

アモデイの提案には、競合するAI組織のトップからも異例の公的支持が集まった。

• サム・アルトマン：OpenAIは、従業員に近いアクセスを持つ独立評価者という考えを採用すると表明。また、最先端AIラボ向けの安全要件を歓迎すると述べた。212
• イーロン・マスク：「ダリオは正しい」としてアモデイの方向性を支持した。ただし、どのような規制の具体案を支持するかについて、報道で確認できる詳細は限られている。47
• デミス・ハサビス：アモデイの論考は正しい道筋を示していると述べ、より強い安全策と、最先端開発を抑制的に進めるという大枠の方向を支持した。27

ただし、これは能力のしきい値、執行手段、地政学上のトレードオフのすべてで合意したことを意味しない。それでも議論の焦点が、「最先端AIの安全を重視すべきか」から、「安全対策が追いつくまで規模拡大を続けられるのか」へ移っていることは示している。

中国は反論の根拠であり、協調が必要な理由でもある

開発減速論に対する定番の反論は地政学だ。米国企業が手を緩めれば、中国がそうするとは限らない。ロイターは、協調による抑制と市場主導の安全策の対立を、対中競争が中心にある論点として伝えている。1

アモデイの回答は段階的な協調である。まず民主主義国と主要ラボの間で連携し、その後、より広い枠組みを目指す。しかし世界規模の合意は、この計画の中で最も不確実な部分でもある。検証の難しさ、戦略的不信、各国の異なる優先順位が、拘束力ある取り決めを難しくする。

計算資源に注目するターナーの考えは、なぜ支持者が善意への期待以上の仕組みを求めるのかを示している。政府が最大規模の訓練に使われる資源を特定・検査できれば、国際競争の中で交わされる約束より、執行しやすい手段になり得る。17

本当の争点は「立証責任」を誰が負うか

業界に生まれつつある合意は限定的だ。アモデイ、アルトマン、マスク、ハサビスはいずれも、何らかのペース配分や評価強化を支持している。127 だが、中心的な争点は未解決のままだ。

• 安全実務を並行して改善するなら、企業は最先端能力を高め続けてよいのか。
• それとも、特に無制限の自己改良が可能なシステムのような開発経路は、信頼できる制御方法が確立されるまで禁止すべきか。
• 外部評価者は、監査するラボに十分独立した立場で、かつ十分な情報を得たうえで異議を唱えられるのか。
• 国際協調は、安全規則を守る企業や国だけが競争上不利になる事態を防げるのか。

ターナーの主張は、これは企業が慎重であるかどうかだけの問題ではない、という点にある。もし本当に制御喪失が懸念されるなら、対応策は監査可能で、執行可能でなければならない。アモデイのペース配分案は外部監視へ向けた重要な一歩だが、最終的な試金石は、監督が危険な能力競争を実際に止められるかどうかになる。1617