Hinton：AI 令人類滅絕嘅風險有 10%，「唔算唔合理」——但冇人識得準確估

Geoffrey Hinton——人工智能先驅、2024 年諾貝爾物理學獎得主——表示：未來十年 AI 導致人類滅絕有 10% 機會，唔算唔合理。 不過佢同時加咗一個極重要嘅限定：「冇人真正知道點樣作出合理估算。」 14

換言之，Hinton 唔係話已經有一條精準、可驗證嘅科學公式，計到「滅絕機率係 10%」。佢嘅意思係，當潛在後果可以去到極端嚴重、而未來 AI 能力又充滿未知時，將呢個可能性當作零而置之不理，並唔明智。

Hinton 擔心嘅，係兩類風險

Hinton 一直區分兩個相關、但唔同嘅問題：人類惡意使用 AI，同埋能力極強嘅 AI 日後可能難以被人類控制。

就較近在眼前嘅濫用而言，佢喺諾貝爾演講中提到，AI 已經可以製造令人愈睇愈激氣、立場愈嚟愈極端嘅資訊迴音室；威權政府可用佢作大規模監控，網絡罪犯亦可用作釣魚詐騙。佢警告，AI 日後可能協助製造危險病毒，或者造成可自行決定傷害目標嘅致命武器，政府同國際組織必須緊急而有力咁處理。

所以，問題唔係單一故障情境。更先進嘅系統可能令假資訊更有說服力、更加個人化；幫攻擊者搵軟件漏洞；又或者降低生物及網絡濫用嘅門檻。AI 安全倡議者設想嘅最壞情況係：一個具備強大策略、技術同實際執行能力嘅系統，取得資源或關鍵基礎設施嘅接觸權，同時抗拒人類制約。 5

「對齊」問題，點解會連到滅絕論？

核心技術難題叫做 對齊（alignment）：假如 AI 強大到遠超人類，佢係咪仍然會可靠地追隨人類真正想要嘅目標？人類係咪可以糾正佢，並為佢設下有效界線？

曾任職 Anthropic 同 OpenAI 嘅研究員 Jacob Coxon 辭去 Anthropic 職位時，批評領先實驗室正「直奔可自我改進嘅超級智能」，等同「拎我哋嘅命去賭」。 18 佢關注嘅係，系統日後或許能夠自行提升能力，而提升速度快過安全技術嘅進步。

Anthropic 對齊科學主管 Evan Hubinger 公開支持呢個核心警告。他表示，自己認為未來十年 AI 殺死全人類嘅機率高過 10%；同時承認 Anthropic 暫時未有解決超級智能對齊問題嘅方案，亦未見得正朝住解決方向順利前進。 16

佢哋嘅論點並唔係「現時嘅聊天機械人已經就快自行毀滅世界」。Hubinger 說過，現有模型帶來嘅風險較低。真正擔心嘅係一次未來轉折：模型在開發者學識可靠控制前，已經強大到可以自我改善，或者在現實世界採取有效行動。 116

懷疑派：嚴重傷害唔等於人類滅絕

另一批研究者並無否認 AI 可能令網絡罪案、虛假資訊同生物濫用變得更危險；分歧在於，點樣由「嚴重危害」跳到「全人類滅絕」。

AI 研究員 Gary Marcus 指，AI 的確可能促成網絡攻擊、生物威脅、假資訊傳播甚至衝突升級；但佢認為短期內並冇一條現實可信嘅路徑，令 AI 真係可以「殺死所有人」。 15 佢主張應正視具體風險，但毋須假定而家嘅大型語言模型，已經正直線通往無法控制嘅超級智能。

Yann LeCun 亦質疑對「AI 末日機率」（常被稱為 p(doom)）作出高信心百分比估算。有報道概述佢嘅看法：呢個風險遠低於核戰導致大災難嘅風險，而且任何數字本質上都屬推測。

因此，實際分野唔係簡單嘅「擔心」對「唔擔心」，而係兩條未解嘅問題：

1. 能力時間表： 系統幾時——甚至會唔會——變得廣泛超越人類，並可以自行改善表現？
2. 控制能力： 如果真係發生，開發者可唔可以造出始終受控嘅系統？定係當模型能力同商業競爭壓力上升，保護措施會失效？

「10%」其實講到、又講唔到乜？

目前冇一套經驗證嘅方法，可以精確計出 AI 導致人類滅絕嘅機率。Hinton、Hubinger 等人提出嘅百分比，係面對深度不確定性時嘅判斷，唔係從可重複嘅歷史數據推導出嚟嘅概率。 14

所以，唔應該將 10% 解讀成「滅絕好可能發生」嘅證據；反過來，因為冇可靠數字，亦唔代表風險可以忽略。比較務實嘅結論係：專家對發生機會同途徑分歧極大，但好多人都同意，強大 AI 即使未去到假設性嘅末日場景，已經會帶來嚴肅嘅保安同管治挑戰。

政策焦點：部署前先管好能力與權限

Hinton 呼籲政府同國際組織急切關注 AI 風險。 Coxon 同樣認為，監管係降低危險嘅關鍵。

因此，政策討論較多集中喺可以具體執行嘅措施：對前沿模型做嚴格能力評估、加強網絡安全及生物安全保護、申報與監察嚴重事故，以及喺系統獲授予更大自主權或接觸敏感工具之前，接受獨立審查。

10% 呢個數字短期內仍會有激烈爭論。Hinton 最重要嘅訊息唔係「有人已經精確算到末日機率」，而係當代價極高、未知又極大時，等到百分百肯定先採取預防行動，可能係錯誤標準。 14