チャグタイ氏の発言は、AIが必ず人類を滅ぼすという予言ではない。問題は、AIの能力が急速に高まる一方で、それを確実に安全・制御可能にする技術や制度が間に合わないかもしれない、という破局的リスクへの警告だ。

同氏はGoogle DeepMindでAGI（汎用人工知能）の安全性とアラインメント（AIの目標や振る舞いを人間の意図・価値観に沿わせる研究）に携わった後、退職したと説明。「AIには私たち全員を殺す可能性がある」と信じており、その結果を避けるための時間が尽きかけている可能性がある、と投稿した。

懸念の中心は「AI開発競争」の速度

チャグタイ氏が危険視するのは、個別のAI製品というより、最先端モデルをより速く、より強力にしようとする開発競争の構図だ。安全性研究、アラインメント、公的な監督の整備よりも能力競争が先行すれば、重大な危険性が見つかった時には対処が難しくなるおそれがある。

同氏が訴えたのは、一社だけが撤退することではない。AI企業が「熱狂的な競争」を続けるのではなく、社会が対応可能な速度に開発を合わせ、新たなリスクを極端な被害が起きる前に対処できるよう協調すべきだというものだ。

Anthropic研究者らの警告と重なる点

この発言は、最先端AIを開発する企業の研究者から相次いだ率直な懸念表明の流れに加わるものとなった。

Anthropicを退職したジェイコブ・コクソン氏は、主要ラボが自己改善する超知能を無責任に目指して競争していると考え、辞任したと説明した。AIを開発している人々自身が、今世紀末ではなく「この10年の終わりまで」に人類を破滅させうると真剣に考えている、と同氏は述べた。

Anthropicでアラインメント研究を率いるエバン・フービンガー氏も、根本的な懸念に同意した上で、今後10年間にAIが人類絶滅を招く確率について、自身の見積もりは10％超だと公言した。ただし、これは個人的な判断であり、現在存在するモデルのリスクは低いとも区別している。

こうした数字や発言は、科学的コンセンサスや実証済みの確率予測ではない。重要なのは、最先端モデルに近い一部の研究者が、起こりうる損失の大きさを理由に、能力がさらに進む前の予防策を求めている点にある。

「最先端AIのペースを落とす」議論とは

チャグタイ氏の考えは、Anthropicのダリオ・アモデイCEOが打ち出した、最先端AIの開発ペースを安全対策と外部監督の整備に合わせるべきだという立場と重なる。報道によれば、OpenAIのサム・アルトマンCEOとイーロン・マスク氏も、業界全体での減速論を支持した。

ただし、ここでいう「減速」は、必ずしもAIの恒久的な禁止を意味しない。Anthropicの「Advanced AI Framework」は、特に能力の高いモデルの開発企業に対し、次のような措置を求めている。

• 破局的なリスクがないかを検査すること
• 独立した外部評価者を関与させること
• 評価結果、リスク、安全上の事故を継続的に開示すること
• 危険な配備を抑止・阻止できる政府の権限を含め、政府に対する説明責任を負うこと 12

またAnthropicの「Responsible Scaling Policy」は、危険な能力が確認された場合には、必要な安全策が整うまで配備や、さらに強力なモデルの訓練を行わないという「if-then」型の考え方を示している。8

規制は安全策か、競争力低下か

この対立は技術論にとどまらず、地政学の問題でもある。減速や厳格な規制に反対する側は、制約を強めれば、競合国や慎重さを欠く企業に優位を譲ることになると主張する。

ドナルド・トランプ米大統領は、AIに一定のガードレールが必要になる可能性は認めつつ、過度に悲観的な見方を抑え、米国が中国に主導権を奪われることへの懸念を示した。

争点は明確だ。AIの最前線を減速させることは、取り返しのつかないリスクを避けるために必要な管理なのか。それとも米国にとって負担の大きい戦略的譲歩なのか――という問いである。

「AI終末論」が示す論点と、示さないこと

高度なAIが絶滅級の危険を生む可能性があるという見方は、しばしば「AI doomerism（AI終末論）」と呼ばれる。しかし、この呼び名だけでは実務的な論点が見えにくくなる。どのような危険な能力が確認されたら、追加検査、配備制限、当局の介入を発動すべきなのか、という問題だ。

チャグタイ氏の主張は、AIによる破局が差し迫っていることを立証するものではない。一方で、安全性を誤れば被害は不可逆的になりうること、そして企業間の競争だけでは必要な慎重さが確保されないかもしれないことを指摘する。提案される対応は、必要に応じた開発ペースの調整、より強い評価、明確な説明責任を含む協調的なガバナンスである。1

チャグタイ氏の発言は、AIが必ず人類を滅ぼすという予言ではない。問題は、AIの能力が急速に高まる一方で、それを確実に安全・制御可能にする技術や制度が間に合わないかもしれない、という破局的リスクへの警告だ。

同氏はGoogle DeepMindでAGI（汎用人工知能）の安全性とアラインメント（AIの目標や振る舞いを人間の意図・価値観に沿わせる研究）に携わった後、退職したと説明。「AIには私たち全員を殺す可能性がある」と信じており、その結果を避けるための時間が尽きかけている可能性がある、と投稿した。

懸念の中心は「AI開発競争」の速度

チャグタイ氏が危険視するのは、個別のAI製品というより、最先端モデルをより速く、より強力にしようとする開発競争の構図だ。安全性研究、アラインメント、公的な監督の整備よりも能力競争が先行すれば、重大な危険性が見つかった時には対処が難しくなるおそれがある。

同氏が訴えたのは、一社だけが撤退することではない。AI企業が「熱狂的な競争」を続けるのではなく、社会が対応可能な速度に開発を合わせ、新たなリスクを極端な被害が起きる前に対処できるよう協調すべきだというものだ。

Anthropic研究者らの警告と重なる点

この発言は、最先端AIを開発する企業の研究者から相次いだ率直な懸念表明の流れに加わるものとなった。

Anthropicを退職したジェイコブ・コクソン氏は、主要ラボが自己改善する超知能を無責任に目指して競争していると考え、辞任したと説明した。AIを開発している人々自身が、今世紀末ではなく「この10年の終わりまで」に人類を破滅させうると真剣に考えている、と同氏は述べた。

Anthropicでアラインメント研究を率いるエバン・フービンガー氏も、根本的な懸念に同意した上で、今後10年間にAIが人類絶滅を招く確率について、自身の見積もりは10％超だと公言した。ただし、これは個人的な判断であり、現在存在するモデルのリスクは低いとも区別している。

こうした数字や発言は、科学的コンセンサスや実証済みの確率予測ではない。重要なのは、最先端モデルに近い一部の研究者が、起こりうる損失の大きさを理由に、能力がさらに進む前の予防策を求めている点にある。

「最先端AIのペースを落とす」議論とは

チャグタイ氏の考えは、Anthropicのダリオ・アモデイCEOが打ち出した、最先端AIの開発ペースを安全対策と外部監督の整備に合わせるべきだという立場と重なる。報道によれば、OpenAIのサム・アルトマンCEOとイーロン・マスク氏も、業界全体での減速論を支持した。

ただし、ここでいう「減速」は、必ずしもAIの恒久的な禁止を意味しない。Anthropicの「Advanced AI Framework」は、特に能力の高いモデルの開発企業に対し、次のような措置を求めている。

• 破局的なリスクがないかを検査すること
• 独立した外部評価者を関与させること
• 評価結果、リスク、安全上の事故を継続的に開示すること
• 危険な配備を抑止・阻止できる政府の権限を含め、政府に対する説明責任を負うこと 12

またAnthropicの「Responsible Scaling Policy」は、危険な能力が確認された場合には、必要な安全策が整うまで配備や、さらに強力なモデルの訓練を行わないという「if-then」型の考え方を示している。8

規制は安全策か、競争力低下か

この対立は技術論にとどまらず、地政学の問題でもある。減速や厳格な規制に反対する側は、制約を強めれば、競合国や慎重さを欠く企業に優位を譲ることになると主張する。

ドナルド・トランプ米大統領は、AIに一定のガードレールが必要になる可能性は認めつつ、過度に悲観的な見方を抑え、米国が中国に主導権を奪われることへの懸念を示した。

争点は明確だ。AIの最前線を減速させることは、取り返しのつかないリスクを避けるために必要な管理なのか。それとも米国にとって負担の大きい戦略的譲歩なのか――という問いである。

「AI終末論」が示す論点と、示さないこと

高度なAIが絶滅級の危険を生む可能性があるという見方は、しばしば「AI doomerism（AI終末論）」と呼ばれる。しかし、この呼び名だけでは実務的な論点が見えにくくなる。どのような危険な能力が確認されたら、追加検査、配備制限、当局の介入を発動すべきなのか、という問題だ。

チャグタイ氏の主張は、AIによる破局が差し迫っていることを立証するものではない。一方で、安全性を誤れば被害は不可逆的になりうること、そして企業間の競争だけでは必要な慎重さが確保されないかもしれないことを指摘する。提案される対応は、必要に応じた開発ペースの調整、より強い評価、明確な説明責任を含む協調的なガバナンスである。1