AI會否導致人類滅絕，現時並唔係一場「AI安全」對「AI危險」的二元對決。真正爭論在於：能力會加速得幾快、模型要具備甚麼條件先會造成不可逆轉的傷害，以及社會在收緊規管之前，應要求幾多證據。

近期多名曾在頂尖實驗室工作的人士公開示警，令討論升溫；但即使不認同「滅絕論」的人，也未必反對測試和安全措施。政策上的核心問題愈來愈清晰：當系統愈來愈強，開發者能否證明自己仍然控制得到，並且能安全部署？

業內警告：競賽正走向人類未必控制到的系統

曾任職Anthropic、並稱自己亦曾在OpenAI工作的研究員Jacob Coxon，於2026年9月辭職，指兩家公司把競爭置於負責任開發之前，正競相走向「可自我改進的超級智能」。49

Anthropic的對齊科學主管Evan Hubinger公開支持這個警告。他說，自己估計未來10年AI令全人類死亡的機會超過10%；同時承認，Anthropic尚未有解決超級智能「對齊」問題的方案。這裡的「對齊」，是指讓AI的目標和行為持續符合人類意圖與安全界線。16 報道亦強調，這個數字是他的個人預測，不是科學共識，亦不是由實證模型計算出的滅絕機率。12

前Google DeepMind研究員Bilal Chughtai亦作出類似警告，稱他相信AI有潛力殺死所有人，而避免最壞結果的時間可能正在減少。2

這類說法通常帶有條件，並非指今日的聊天機械人會突然自行變得危險。憂慮的路徑是：未來系統可能大幅加快AI研發、本身擁有更高自主性、避開有效的人類監督，或以快過安全技術進步的速度，放大網絡、生物及制度層面的能力。這條路徑是否可信、何時可能出現，正是爭議核心。

「超過10%」不是已被證實的預測

Hubinger的估算因為數字震撼、又出自資深對齊研究員而備受注目，但必須按其性質理解：這是在極度不確定下作出的個人判斷，不是經歷史資料驗證的機率，也不是可以量度滅絕風險的模型結論。12

這項預測成立，至少要經過幾個尚未解決的假設：

• AI系統必須遠比現今模型強大；
• 這些能力必須轉化成持久的策略自主性，或在現實世界造成傷害的實權；
• 現有技術控制、營運人員、制度防線及反制措施都要未能成功遏止系統或其濫用；
• 安全與對齊研究必須追不上能力增長。

每一環都可以獨立辯論。這不代表風險微不足道，而是不能把吸睛的百分比誤當成已獲證實的預言。

質疑的一方：數碼智能不等於掌握現實世界權力

質疑者挑戰的，是由AI在軟件和語言工作表現強勁，直接跳到它有能力造成滅絕級實體傷害的推論。生物風險是常見例子：Eric Xing指出，用語言模型生成一個假設性的病毒基因組，與真正造出可存活病毒是兩回事；取得材料、製造、確認生物可行性、實驗室操作和測試，全都是不同門檻。46

這個分別相當關鍵。模型可以提供資料或設計，但要轉化成真實傷害，往往還需要專門設施、難以文字化的實務經驗、供應鏈、反覆試驗，以及接觸受管制物料的途徑。這些限制不表示生物安全風險是零；但確實挑戰了「數碼能力一提升，便即時等同決定性實體能力」的假設。

Nvidia行政總裁黃仁勳（Jensen Huang）是最直言反對滅絕論的科技業領袖之一，形容AI會終結人類的說法是「完全荒謬」。33 Mark Cuban則認為，人類如何回應聳動說法，可能比AI代理群本身更危險。43

所以，質疑者的立場未必是前沿AI毋須防護；而是認為，對「迫在眉睫的人類滅絕」這類非常主張，所需證據不應只來自今天模型表現的外推，以及對未來路徑的推測。

正在成形的中間路線：放慢能力升級，驗證安全是否跟得上

較具操作性的回應，來自既不把滅絕當成必然、也不將之完全否定的業界領袖。Anthropic行政總裁Dario Amodei主張，AI模型能力的提升速度應放慢，為安全工作爭取時間。他提出的框架包括讓獨立評估員以近似員工的權限嵌入公司，以及由前沿AI公司協調行動。18

路透社報道，OpenAI行政總裁Sam Altman是支持協調放慢發展的領袖之一，但業界對應有多依賴市場主導的保障措施仍有分歧。19 另有報道指，Altman亦支持引入外部評估員作為方案一部分。20

這種做法將討論由抽象預言，轉到可核實的實務：

1. 獨立評估： 讓合資格的外部審查者取得有意義的系統與流程存取權，檢驗安全主張，而非只靠公司自行聲明。18
2. 按能力設門檻： 當模型在網絡行動或自主代理行為等危險範疇有實質躍升時，提升審查強度或限制部署。
3. 實驗室之間協調： 降低公司為免落後對手而壓縮安全空間的誘因。18
4. 國際合作： 政府與主要AI開發商協調標準，包括減低「未有充分保障便搶先推出」競爭壓力的安排。27
5. 安全進步要與能力進步同步： 對更強系統而言，可證明的控制、監察與事故應對能力，應成為必要條件，而非事後補救。

長遠末日憂慮，會否遮蔽眼前傷害？

另一種批評關乎優先次序。即使災難性風險值得研究和預案，若把焦點單一地放在高度推測的滅絕情境，也可能掩蓋先進AI已帶來或較容易證實的傷害。

眼前議程包括AI協助的網絡濫用、詐騙、監控、假資訊、歧視性的自動化決策、勞動市場衝擊，以及權力集中。Amodei自己在主張放慢發展時，也點出武器研發、網絡攻擊和監控等濫用風險。29

這不必然是「處理當前傷害」與「預防長遠災難」之間的二選一。較好的保障往往同時有用：更嚴格的存取控制、更好的評估、審慎部署政策、獨立監察、事故通報和清晰問責，既可減少現時濫用，亦能提升應對更強系統的準備。

這場辯論真正改變了甚麼？

最穩妥的結論，既不是「人類滅絕已被證實」，亦不是「因為尚未展示完整的災難鏈條，所以可以置之不理」。現有討論支持的是一個更實際的標準：能力不斷提升的系統若聲稱安全，這些聲稱必須可測試、可受獨立審視，並與潛在傷害的規模相稱。

Coxon、Hubinger和Chughtai主張在不確定下採取預防原則；黃仁勳與Xing等質疑者則追問，現時證據是否足以支持短期末日結論。Amodei和Altman所指向的政策路線，毋須先解決所有哲學分歧：放慢前沿能力推進、量度危險能力、邀請可信的外部審查，並在競爭壓力令未經驗證的安全主張變成部署常態之前建立協調機制。49 16 33 18 19

AI會否導致人類滅絕，現時並唔係一場「AI安全」對「AI危險」的二元對決。真正爭論在於：能力會加速得幾快、模型要具備甚麼條件先會造成不可逆轉的傷害，以及社會在收緊規管之前，應要求幾多證據。

近期多名曾在頂尖實驗室工作的人士公開示警，令討論升溫；但即使不認同「滅絕論」的人，也未必反對測試和安全措施。政策上的核心問題愈來愈清晰：當系統愈來愈強，開發者能否證明自己仍然控制得到，並且能安全部署？

業內警告：競賽正走向人類未必控制到的系統

曾任職Anthropic、並稱自己亦曾在OpenAI工作的研究員Jacob Coxon，於2026年9月辭職，指兩家公司把競爭置於負責任開發之前，正競相走向「可自我改進的超級智能」。49

Anthropic的對齊科學主管Evan Hubinger公開支持這個警告。他說，自己估計未來10年AI令全人類死亡的機會超過10%；同時承認，Anthropic尚未有解決超級智能「對齊」問題的方案。這裡的「對齊」，是指讓AI的目標和行為持續符合人類意圖與安全界線。16 報道亦強調，這個數字是他的個人預測，不是科學共識，亦不是由實證模型計算出的滅絕機率。12

前Google DeepMind研究員Bilal Chughtai亦作出類似警告，稱他相信AI有潛力殺死所有人，而避免最壞結果的時間可能正在減少。2

這類說法通常帶有條件，並非指今日的聊天機械人會突然自行變得危險。憂慮的路徑是：未來系統可能大幅加快AI研發、本身擁有更高自主性、避開有效的人類監督，或以快過安全技術進步的速度，放大網絡、生物及制度層面的能力。這條路徑是否可信、何時可能出現，正是爭議核心。

「超過10%」不是已被證實的預測

Hubinger的估算因為數字震撼、又出自資深對齊研究員而備受注目，但必須按其性質理解：這是在極度不確定下作出的個人判斷，不是經歷史資料驗證的機率，也不是可以量度滅絕風險的模型結論。12

這項預測成立，至少要經過幾個尚未解決的假設：

• AI系統必須遠比現今模型強大；
• 這些能力必須轉化成持久的策略自主性，或在現實世界造成傷害的實權；
• 現有技術控制、營運人員、制度防線及反制措施都要未能成功遏止系統或其濫用；
• 安全與對齊研究必須追不上能力增長。

每一環都可以獨立辯論。這不代表風險微不足道，而是不能把吸睛的百分比誤當成已獲證實的預言。

質疑的一方：數碼智能不等於掌握現實世界權力

質疑者挑戰的，是由AI在軟件和語言工作表現強勁，直接跳到它有能力造成滅絕級實體傷害的推論。生物風險是常見例子：Eric Xing指出，用語言模型生成一個假設性的病毒基因組，與真正造出可存活病毒是兩回事；取得材料、製造、確認生物可行性、實驗室操作和測試，全都是不同門檻。46

這個分別相當關鍵。模型可以提供資料或設計，但要轉化成真實傷害，往往還需要專門設施、難以文字化的實務經驗、供應鏈、反覆試驗，以及接觸受管制物料的途徑。這些限制不表示生物安全風險是零；但確實挑戰了「數碼能力一提升，便即時等同決定性實體能力」的假設。

Nvidia行政總裁黃仁勳（Jensen Huang）是最直言反對滅絕論的科技業領袖之一，形容AI會終結人類的說法是「完全荒謬」。33 Mark Cuban則認為，人類如何回應聳動說法，可能比AI代理群本身更危險。43

所以，質疑者的立場未必是前沿AI毋須防護；而是認為，對「迫在眉睫的人類滅絕」這類非常主張，所需證據不應只來自今天模型表現的外推，以及對未來路徑的推測。

正在成形的中間路線：放慢能力升級，驗證安全是否跟得上

較具操作性的回應，來自既不把滅絕當成必然、也不將之完全否定的業界領袖。Anthropic行政總裁Dario Amodei主張，AI模型能力的提升速度應放慢，為安全工作爭取時間。他提出的框架包括讓獨立評估員以近似員工的權限嵌入公司，以及由前沿AI公司協調行動。18

路透社報道，OpenAI行政總裁Sam Altman是支持協調放慢發展的領袖之一，但業界對應有多依賴市場主導的保障措施仍有分歧。19 另有報道指，Altman亦支持引入外部評估員作為方案一部分。20

這種做法將討論由抽象預言，轉到可核實的實務：

1. 獨立評估： 讓合資格的外部審查者取得有意義的系統與流程存取權，檢驗安全主張，而非只靠公司自行聲明。18
2. 按能力設門檻： 當模型在網絡行動或自主代理行為等危險範疇有實質躍升時，提升審查強度或限制部署。
3. 實驗室之間協調： 降低公司為免落後對手而壓縮安全空間的誘因。18
4. 國際合作： 政府與主要AI開發商協調標準，包括減低「未有充分保障便搶先推出」競爭壓力的安排。27
5. 安全進步要與能力進步同步： 對更強系統而言，可證明的控制、監察與事故應對能力，應成為必要條件，而非事後補救。

長遠末日憂慮，會否遮蔽眼前傷害？

另一種批評關乎優先次序。即使災難性風險值得研究和預案，若把焦點單一地放在高度推測的滅絕情境，也可能掩蓋先進AI已帶來或較容易證實的傷害。

眼前議程包括AI協助的網絡濫用、詐騙、監控、假資訊、歧視性的自動化決策、勞動市場衝擊，以及權力集中。Amodei自己在主張放慢發展時，也點出武器研發、網絡攻擊和監控等濫用風險。29

這不必然是「處理當前傷害」與「預防長遠災難」之間的二選一。較好的保障往往同時有用：更嚴格的存取控制、更好的評估、審慎部署政策、獨立監察、事故通報和清晰問責，既可減少現時濫用，亦能提升應對更強系統的準備。

這場辯論真正改變了甚麼？

最穩妥的結論，既不是「人類滅絕已被證實」，亦不是「因為尚未展示完整的災難鏈條，所以可以置之不理」。現有討論支持的是一個更實際的標準：能力不斷提升的系統若聲稱安全，這些聲稱必須可測試、可受獨立審視，並與潛在傷害的規模相稱。

Coxon、Hubinger和Chughtai主張在不確定下採取預防原則；黃仁勳與Xing等質疑者則追問，現時證據是否足以支持短期末日結論。Amodei和Altman所指向的政策路線，毋須先解決所有哲學分歧：放慢前沿能力推進、量度危險能力、邀請可信的外部審查，並在競爭壓力令未經驗證的安全主張變成部署常態之前建立協調機制。49 16 33 18 19