這場關於AI是否可能導致人類滅絕的爭論，並不是「AI安全派」對上「AI無害派」的二分法。真正的分歧在於：模型能力可能進展得多快、系統要跨過哪些門檻才會造成不可逆的傷害，以及在施加更嚴格限制前，社會應要求業者提出多少證據。

近期，多名曾任職頂尖AI實驗室的研究人員公開警告，使討論更顯急迫；但即使是質疑「滅絕論」的人，也未必反對測試與安全措施。政策上的關鍵愈來愈清楚：當系統變得更強，開發者能否證明自己仍有能力控制它，並能安全部署？

內部警告：競逐可能無法控制的系統

曾任Anthropic研究員、並表示自己也曾在OpenAI工作的Jacob Coxon，於2026年9月離職後批評，兩家公司把競爭擺在負責任開發之前，正競相走向「可自我改進的超級智慧」。49

Anthropic的對齊科學主管Evan Hubinger公開聲援這項警告。他表示，自己估計未來10年AI殺死全人類的機率超過10%；同時也說，Anthropic尚未有解決超級智慧「對齊」問題的方案。所謂對齊，指的是讓AI的行為持續符合人類目標與限制。16 報導也指出，這個數字是他的個人預測，並非科學界共識，更不是由經驗資料計算出的滅絕機率。12

前Google DeepMind研究員Bilal Chughtai也提出近似警告，稱他相信AI有可能殺死所有人，而避免這種結果的時間可能正在流失。2

這類論點通常不是說現今聊天機器人會突然自行變得危險；它們擔心的是一條有條件的發展路徑：未來系統或許能大幅加速AI研發、以更高自主性行動、規避人類有效監督，或讓網路攻擊、生物風險與對制度的操弄能力成長得比安全方法更快。這條路徑是否合理、可能多快發生，正是爭論核心。

「超過10%」不是已被證實的預報

Hubinger的數字之所以受到注意，在於它來自資深對齊研究人員，且措辭極為強烈；不過必須正確理解：這是在高度不確定下的個人判斷，不是經歷史資料驗證的機率，也不是能量測滅絕風險的模型結果。12

這項預測至少取決於幾個尚無定論的前提：

• AI必須先達到遠高於今日模型的能力水準。
• 這些能力必須轉化為持久的策略自主性，或足以在現實世界造成傷害的力量。
• 技術防護、操作人員、制度與反制措施都必須無法遏止系統或其遭濫用的情況。
• 安全與對齊研究必須跟不上能力提升的速度。

上述每一環都可以分開檢視與辯論。這不代表憂慮無關緊要，而是提醒讀者：不應把醒目的百分比誤當成已經證明的預言。

懷疑者的觀點：數位智慧不等於現實世界的支配力

質疑者反對從軟體、語言任務表現優異，直接跳到「足以造成滅絕級實體傷害」的推論。生物風險是常被提及的例子。Eric Xing指出，讓語言模型產生假設性的病毒基因組藍圖，和真正造出可存活病毒是兩回事；取得材料、製造、生物可行性、實驗室工作與測試，都是另外的關卡。46

這個區別很重要。模型可以提供資訊或設計，但將其變成現實危害，往往還需要專業設施、難以文字化的實務技能、供應鏈、反覆實驗，以及取得受管制材料的途徑。這些限制並不表示生物安全風險為零；但它們確實挑戰了「數位能力一提升，就會立刻帶來決定性實體能力」的假設。

輝達（Nvidia）執行長黃仁勳是最直言批評滅絕論者之一，曾稱AI終結人類的說法是「完全無稽之談」。33 Mark Cuban則認為，人類對聳動說法所作出的反應，可能比AI代理人群本身更危險。43

因此，懷疑立場不必然等於主張前沿AI不需要防護；其重點是，若要宣稱近期將出現人類滅絕這類非凡結果，就應有比從當前模型表現與推測性未來路徑外推而來的更強證據。

逐漸成形的中間路線：放慢能力提升，驗證安全性

較具操作性的回應，來自既不把滅絕當成必然、也不將其一概否定的業界領袖。Anthropic執行長Dario Amodei主張放慢AI模型能力提升的速度，為安全工作爭取時間；他提出的架構包括，讓獨立評估者以近似員工的存取權限進駐，以及由前沿AI公司協調行動。18

路透社報導，OpenAI執行長Sam Altman也在尋求協調式減速，但業界對於應多大程度依賴市場主導的安全措施仍有分歧。19 另有報導指出，Altman支持由外部評估者參與這套做法。20

這種方向把討論從抽象預言，轉為可檢驗的實務：

1. 獨立評估： 讓具資格的外部評估者取得有意義的存取權，檢驗安全宣稱，而非只依賴公司自述。18
2. 以能力為基礎的門檻： 當模型在網路作戰或自主代理行為等危險領域有實質進展時，提高審查強度或限制部署。
3. 實驗室間協調： 降低公司為避免落後競爭者，而犧牲安全餘裕的誘因。18
4. 國際合作： 協調各國政府與主要AI開發者的標準，並建立可減輕「搶先部署」壓力的安排。27
5. 安全進展必須跟上能力進展： 將已證明的控制、監測與應變能力，視為部署更強系統時不可缺少的條件。

長期恐懼會否掩蓋眼前傷害？

另一項批評關乎資源排序。即使災難性風險值得研究與預作準備，若把焦點過度集中在推測性滅絕情境，也可能遮蔽已伴隨先進AI部署而來的問題。

更迫切的議程包括AI協助的網路濫用、詐騙、監控、假訊息、歧視性的自動化決策、勞動市場衝擊，以及權力集中。Amodei本人在主張減速時，也列舉武器開發、網路攻擊與監控等濫用風險。29

這未必是當前傷害與長期災難風險的二選一。較好的防護措施可同時處理兩者：更嚴格的存取控制、更完善的評估、審慎的部署政策、獨立審查、事故通報，以及清楚的責任歸屬，都能減少眼前的濫用，也能提升面對更強系統的準備。

這場爭論真正改變了什麼？

最有力的結論不是「滅絕已被證明」，也不是「因為尚未完整示範災難路徑，所以可以忽略」。目前的討論支持一項更務實的標準：對能力不斷提升的系統，任何安全宣稱都應可測試、可受獨立審視，且必須與潛在傷害的規模相稱。

Coxon、Hubinger與Chughtai主張在不確定下採取預防原則；黃仁勳與Xing等質疑者則追問，現有證據是否足以支持「近期末日」的結論。Amodei與Altman所指向的政策回應，不必先解決所有哲學歧見：放慢前沿競賽、量測危險能力、引入可信的外部審查，並在競爭壓力讓未經驗證的安全宣稱成為預設部署依據前，先完成協調。49 16 33 18 19

這場關於AI是否可能導致人類滅絕的爭論，並不是「AI安全派」對上「AI無害派」的二分法。真正的分歧在於：模型能力可能進展得多快、系統要跨過哪些門檻才會造成不可逆的傷害，以及在施加更嚴格限制前，社會應要求業者提出多少證據。

近期，多名曾任職頂尖AI實驗室的研究人員公開警告，使討論更顯急迫；但即使是質疑「滅絕論」的人，也未必反對測試與安全措施。政策上的關鍵愈來愈清楚：當系統變得更強，開發者能否證明自己仍有能力控制它，並能安全部署？

內部警告：競逐可能無法控制的系統

曾任Anthropic研究員、並表示自己也曾在OpenAI工作的Jacob Coxon，於2026年9月離職後批評，兩家公司把競爭擺在負責任開發之前，正競相走向「可自我改進的超級智慧」。49

Anthropic的對齊科學主管Evan Hubinger公開聲援這項警告。他表示，自己估計未來10年AI殺死全人類的機率超過10%；同時也說，Anthropic尚未有解決超級智慧「對齊」問題的方案。所謂對齊，指的是讓AI的行為持續符合人類目標與限制。16 報導也指出，這個數字是他的個人預測，並非科學界共識，更不是由經驗資料計算出的滅絕機率。12

前Google DeepMind研究員Bilal Chughtai也提出近似警告，稱他相信AI有可能殺死所有人，而避免這種結果的時間可能正在流失。2

這類論點通常不是說現今聊天機器人會突然自行變得危險；它們擔心的是一條有條件的發展路徑：未來系統或許能大幅加速AI研發、以更高自主性行動、規避人類有效監督，或讓網路攻擊、生物風險與對制度的操弄能力成長得比安全方法更快。這條路徑是否合理、可能多快發生，正是爭論核心。

「超過10%」不是已被證實的預報

Hubinger的數字之所以受到注意，在於它來自資深對齊研究人員，且措辭極為強烈；不過必須正確理解：這是在高度不確定下的個人判斷，不是經歷史資料驗證的機率，也不是能量測滅絕風險的模型結果。12

這項預測至少取決於幾個尚無定論的前提：

• AI必須先達到遠高於今日模型的能力水準。
• 這些能力必須轉化為持久的策略自主性，或足以在現實世界造成傷害的力量。
• 技術防護、操作人員、制度與反制措施都必須無法遏止系統或其遭濫用的情況。
• 安全與對齊研究必須跟不上能力提升的速度。

上述每一環都可以分開檢視與辯論。這不代表憂慮無關緊要，而是提醒讀者：不應把醒目的百分比誤當成已經證明的預言。

懷疑者的觀點：數位智慧不等於現實世界的支配力

質疑者反對從軟體、語言任務表現優異，直接跳到「足以造成滅絕級實體傷害」的推論。生物風險是常被提及的例子。Eric Xing指出，讓語言模型產生假設性的病毒基因組藍圖，和真正造出可存活病毒是兩回事；取得材料、製造、生物可行性、實驗室工作與測試，都是另外的關卡。46

這個區別很重要。模型可以提供資訊或設計，但將其變成現實危害，往往還需要專業設施、難以文字化的實務技能、供應鏈、反覆實驗，以及取得受管制材料的途徑。這些限制並不表示生物安全風險為零；但它們確實挑戰了「數位能力一提升，就會立刻帶來決定性實體能力」的假設。

輝達（Nvidia）執行長黃仁勳是最直言批評滅絕論者之一，曾稱AI終結人類的說法是「完全無稽之談」。33 Mark Cuban則認為，人類對聳動說法所作出的反應，可能比AI代理人群本身更危險。43

因此，懷疑立場不必然等於主張前沿AI不需要防護；其重點是，若要宣稱近期將出現人類滅絕這類非凡結果，就應有比從當前模型表現與推測性未來路徑外推而來的更強證據。

逐漸成形的中間路線：放慢能力提升，驗證安全性

較具操作性的回應，來自既不把滅絕當成必然、也不將其一概否定的業界領袖。Anthropic執行長Dario Amodei主張放慢AI模型能力提升的速度，為安全工作爭取時間；他提出的架構包括，讓獨立評估者以近似員工的存取權限進駐，以及由前沿AI公司協調行動。18

路透社報導，OpenAI執行長Sam Altman也在尋求協調式減速，但業界對於應多大程度依賴市場主導的安全措施仍有分歧。19 另有報導指出，Altman支持由外部評估者參與這套做法。20

這種方向把討論從抽象預言，轉為可檢驗的實務：

1. 獨立評估： 讓具資格的外部評估者取得有意義的存取權，檢驗安全宣稱，而非只依賴公司自述。18
2. 以能力為基礎的門檻： 當模型在網路作戰或自主代理行為等危險領域有實質進展時，提高審查強度或限制部署。
3. 實驗室間協調： 降低公司為避免落後競爭者，而犧牲安全餘裕的誘因。18
4. 國際合作： 協調各國政府與主要AI開發者的標準，並建立可減輕「搶先部署」壓力的安排。27
5. 安全進展必須跟上能力進展： 將已證明的控制、監測與應變能力，視為部署更強系統時不可缺少的條件。

長期恐懼會否掩蓋眼前傷害？

另一項批評關乎資源排序。即使災難性風險值得研究與預作準備，若把焦點過度集中在推測性滅絕情境，也可能遮蔽已伴隨先進AI部署而來的問題。

更迫切的議程包括AI協助的網路濫用、詐騙、監控、假訊息、歧視性的自動化決策、勞動市場衝擊，以及權力集中。Amodei本人在主張減速時，也列舉武器開發、網路攻擊與監控等濫用風險。29

這未必是當前傷害與長期災難風險的二選一。較好的防護措施可同時處理兩者：更嚴格的存取控制、更完善的評估、審慎的部署政策、獨立審查、事故通報，以及清楚的責任歸屬，都能減少眼前的濫用，也能提升面對更強系統的準備。

這場爭論真正改變了什麼？

最有力的結論不是「滅絕已被證明」，也不是「因為尚未完整示範災難路徑，所以可以忽略」。目前的討論支持一項更務實的標準：對能力不斷提升的系統，任何安全宣稱都應可測試、可受獨立審視，且必須與潛在傷害的規模相稱。

Coxon、Hubinger與Chughtai主張在不確定下採取預防原則；黃仁勳與Xing等質疑者則追問，現有證據是否足以支持「近期末日」的結論。Amodei與Altman所指向的政策回應，不必先解決所有哲學歧見：放慢前沿競賽、量測危險能力、引入可信的外部審查，並在競爭壓力讓未經驗證的安全宣稱成為預設部署依據前，先完成協調。49 16 33 18 19