辛頓：AI 致人類滅絕的 10% 機率「不算不合理」，但沒人能準確估算

Geoffrey Hinton 表示，人工智慧在未來十年內導致人類滅絕的機率若估為 10%，「不算不合理」；不過他隨即加上關鍵但書：「沒人真正知道如何作出合理估計。」 14

這句話不應被解讀成經過科學驗證的預測。Hinton 的意思是：在未來 AI 能力可能大幅躍升、而後果又可能極端嚴重的情況下，不能輕率地把這種可能性直接歸零。

他擔心的不是單一風險，而是能力與失控的交會

Hinton 將 AI 風險大致分成兩類：一是人類惡意利用 AI；二是能力極強的 AI 系統本身，日後可能難以被人類可靠控制。

在較迫切的濫用風險上，他在諾貝爾獎演說中提到，AI 已可助長讓人更加對立的內容推薦、被威權政府用於大規模監控，以及被網路犯罪者用於釣魚攻擊。他並警告，AI 未來可能協助製造危險病毒與能自行決定傷害目標的致命武器，政府與國際組織應緊急且強力地處理這些問題。

AI 安全倡議者所設想的最壞情境，並非一個單點故障，而是多種能力相互疊加：系統可讓假訊息更有說服力、針對個人量身打造；可協助找出軟體弱點；也可能降低生物或網路攻擊的技術門檻。若未來系統具備很強的策略、技術與執行能力，並獲得資源或關鍵基礎設施的存取權，且能抵抗人類的限制，風險就可能急遽放大。 5

核心技術難題：什麼是「對齊」？

這場爭論的技術核心是 對齊（alignment）：若 AI 的能力遠超人類，它能否穩定地遵循人類真正想要的目標、接受修正，並持續受到有效約束？

曾任職 Anthropic 與 OpenAI 的研究員 Jacob Coxon 離開 Anthropic 時表示，頂尖實驗室正「直接競逐可自我改進的超級智慧」，是在「拿我們的生命下注」。 18 他的擔心是，系統自我提升能力的速度，可能快過安全技術成熟的速度。

Anthropic 的對齊科學主管 Evan Hubinger 公開支持這項核心警告。他稱自己相信，AI 在未來十年殺死全人類的機率高於 10%；同時也表示，Anthropic 尚未有解決超級智慧對齊問題的方案，而且看不出明確正走在解決路徑上。 16

不過，這個說法並不是指現有模型已經接近自主毀滅人類。Hubinger 表示，當前模型造成這類風險的機率很低。真正的憂慮在於未來轉折點：模型可能在開發者尚未掌握可靠控制方法前，就獲得自我提升或在現實世界有效行動的能力。 116

質疑者同意有害，卻不接受「短期滅絕」推論

其他研究者並未否認 AI 會令網路犯罪、假訊息與生物濫用更危險；他們反對的是，從嚴重危害直接推到人類滅絕。

AI 研究者 Gary Marcus 認為，AI 的確可能助長網路攻擊、生物威脅、假訊息與衝突升級，但他看不到在短期內能真正「殺死所有人類」的現實途徑。 15 他的立場是，具體可見的風險需要被正視，但不應假定今天的大型語言模型正直線通往無法控制的超級智慧。

Yann LeCun 同樣質疑高信心的「末日機率」（常被稱為 p(doom)）估計。有報導概述其觀點為：AI 導致人類滅絕的風險遠低於核浩劫，而任何這類數字本質上都帶有高度推測性。

因此，真正的分歧並非「在意 AI 風險」與「完全不在意」；而是兩個尚無定論的問題：

1. 能力時間表： AI 何時、甚至是否會成為廣泛超越人類、且可自行提升效能的系統？
2. 控制問題： 即使這類系統出現，開發者能否讓它持續可控，還是安全措施會在更強模型與商業競爭壓力下失效？

10% 能告訴我們什麼，又不能告訴我們什麼？

目前沒有經過驗證的方法，可以算出 AI 導致人類滅絕的精確機率。Hinton 與 Hubinger 提出的數字，是在極端不確定性下的專家判斷，不是根據可重複歷史資料校準出的統計結論。 14

所以，10% 並不等於「滅絕很可能發生」；反過來說，缺乏可靠數字也不能證明風險微不足道。較務實的結論是：專家對可能性與發生路徑有重大歧見，但許多人同意，強大 AI 在任何假設性的滅絕情境之前，就可能帶來嚴峻的資安與治理挑戰。

政策焦點：在部署前建立可檢驗的防線

Hinton 呼籲政府與國際組織緊急關注 AI 風險；Coxon 也主張，監管是降低危險的關鍵。

實務上，政策討論可聚焦於可辨識的能力與部署方式：對前沿模型進行嚴格評估、強化資安與生物安全防護、建立重大事件通報與監督機制，並在系統被賦予更大自主性或敏感工具存取權前，接受獨立審查。

關於「10%」的辯論不會很快有定論。Hinton 的重點不是宣稱誰能精準算出機率，而是提醒：當賭注極高、未知又極大時，等到完全確定才採取預防措施，可能不是合理標準。 14