Coxon 為何辭職？他反對的是「能力先行」的競賽邏輯

Jacob Coxon 辭去 Anthropic 職務，是為了抗議他所認為的危險趨勢：最前沿 AI 實驗室正競相打造更自主、甚至可能自我改進的系統，但人類還沒有可靠的方法能控制、測試並確保這些系統符合人的目標。Coxon 表示自己曾在 Anthropic 與 OpenAI 從事預訓練研究，並認為兩家公司都沒有做得足夠負責任。23

他在 X 的公開貼文中指控 Anthropic 和 OpenAI「正直奔可自我改進的超級智慧，拿我們的生命當賭注」。他擔憂的重點並不是現有聊天機器人會立刻自行毀滅人類；而是未來系統一旦在資安等高影響力任務上超越人類，並取得實質資源或權力，人類可能還來不及建立有效的對齊與管控方法。358

換言之，這是一場關於能力升級速度與治理能力的爭論：若模型能力突飛猛進，安全研究、評估與監管卻落後，失敗的後果可能極其嚴重，即使當前模型仍有明顯限制。

他說：業界人士「真的感到害怕」

Coxon 對 BBC 表示，從事先進 AI 的人「真的感到害怕」進展速度。他說，如果不減緩目前的發展步調，「在不久的將來，我們全都可能死亡」的機率很高。1

他同時主張，放慢速度不能只靠一家公司或單一國家。若要形成持久的安排，必須有國際協調，並把中國納入其中；否則，較謹慎的國家或企業可能只是把最先進的開發轉移到別處。1

因此，他的離職主要是公開拒絕前沿模型開發所面臨的競爭誘因，而非指稱自己在 Anthropic 親眼見到某一宗具體安全事故。相關報導將其關切概括為：公司在競相建造可能無法控制的系統。2

有人支持警告，但不等於已證實末日將至

Anthropic 對齊研究員 Evan Hubinger 支持 Coxon 的廣泛憂慮。Hubinger 表示，目前模型的風險偏低，但他個人估計，未來十年 AI 導致全人類死亡的機率超過 10%。13

這個數字應謹慎理解：它是針對低機率、高後果情境的主觀專家判斷，不是以實驗或數據確立的預報。圍繞 Coxon 離職的報導顯示，研究界與業界對時間表、發生機率及應採取何種防護措施存在尖銳歧見；現有資訊並不代表「人類滅絕迫在眉睫」已是科學共識。13

更迫切、也更可檢驗的問題：資安濫用與能力加速

這場辯論的具體風險，較接近資安入侵、危險實驗協助，以及能力持續增強的 AI 代理系統，而非電影式的「AI 突然自行攻擊人類」。

相關報導提到，進階模型可能被用於協助資安入侵及其他高影響力濫用行為；也提及一宗據稱涉及 OpenAI 代理系統與 Hugging Face 的事件。不過，現有報導沒有提供足夠的一手資料，讓外界獨立確認該事件的完整背景、是否獲得授權及實際範圍。263

因此，與其只聚焦「超級智慧」何時出現，更實際的問題是：模型目前能做什麼？發表前如何評估？濫用是否能被偵測？誰又能獨立查核實驗室所稱的安全措施？

Amodei 的主張：不是停止 AI，而是為安全爭取時間

在 Coxon 發出警告後不久，Anthropic 執行長 Dario Amodei 發表〈We Must Pace the Frontier〉，呼籲放慢前沿模型能力改善的步調。他並非要求全面停止 AI 開發，而是認為能力快速躍進時，必須給風險防範更多追上的時間。1

報導所述的架構包括：

• 由獨立機構監督與評估前沿模型；
• 在產業及民主國家之間建立共同安全標準；
• 最終推動包含與中國互動在內的國際 AI 治理協調。1

OpenAI 執行長 Sam Altman 公開支持大方向，並表示讓獨立評估者取得類似員工層級的存取權是好主意。xAI 執行長 Elon Musk 也表態支持 Amodei，稱「Dario 是對的」。1

安全規則會降低風險，還是替巨頭築起護城河？

大型前沿實驗室提出安全方案，既得到支持，也引來質疑。包括 Hugging Face 執行長 Clément Delangue 在內的批評者認為，過度嚴格的前沿模型限制，可能讓最有資金承擔合規成本的公司受益。13

這種批評並不能證明 Coxon 的擔憂不真誠；它提出的是另一個重要問題：安全監管能否一面減少真實風險，一面避免把權力集中在少數既有實驗室手中？

可信的治理制度，必須能加強對最強大系統的監督，同時不能讓「安全」成為少數公司排除競爭者的人為門檻。

結論：爭點在於可驗證的安全，而非接受末日預言

Coxon 離開 Anthropic，因為他判斷領先 AI 公司之間的競賽本身就是風險：推進能力的誘因，可能壓過建立控制、測試與國際協調所需的時間。23

他最戲劇化的主張仍然備受爭議。這些主張反映部分 AI 業內人士的嚴肅憂慮，卻不是人類滅絕即將發生的證據。眼前更具體的政策難題，是如何為日益強大的系統建立可由外部驗證的防護措施，並避免這些措施最終只鞏固正在開發它們的少數公司。113

Coxon 為何辭職？他反對的是「能力先行」的競賽邏輯

Jacob Coxon 辭去 Anthropic 職務，是為了抗議他所認為的危險趨勢：最前沿 AI 實驗室正競相打造更自主、甚至可能自我改進的系統，但人類還沒有可靠的方法能控制、測試並確保這些系統符合人的目標。Coxon 表示自己曾在 Anthropic 與 OpenAI 從事預訓練研究，並認為兩家公司都沒有做得足夠負責任。23

他在 X 的公開貼文中指控 Anthropic 和 OpenAI「正直奔可自我改進的超級智慧，拿我們的生命當賭注」。他擔憂的重點並不是現有聊天機器人會立刻自行毀滅人類；而是未來系統一旦在資安等高影響力任務上超越人類，並取得實質資源或權力，人類可能還來不及建立有效的對齊與管控方法。358

換言之，這是一場關於能力升級速度與治理能力的爭論：若模型能力突飛猛進，安全研究、評估與監管卻落後，失敗的後果可能極其嚴重，即使當前模型仍有明顯限制。

他說：業界人士「真的感到害怕」

Coxon 對 BBC 表示，從事先進 AI 的人「真的感到害怕」進展速度。他說，如果不減緩目前的發展步調，「在不久的將來，我們全都可能死亡」的機率很高。1

他同時主張，放慢速度不能只靠一家公司或單一國家。若要形成持久的安排，必須有國際協調，並把中國納入其中；否則，較謹慎的國家或企業可能只是把最先進的開發轉移到別處。1

因此，他的離職主要是公開拒絕前沿模型開發所面臨的競爭誘因，而非指稱自己在 Anthropic 親眼見到某一宗具體安全事故。相關報導將其關切概括為：公司在競相建造可能無法控制的系統。2

有人支持警告，但不等於已證實末日將至

Anthropic 對齊研究員 Evan Hubinger 支持 Coxon 的廣泛憂慮。Hubinger 表示，目前模型的風險偏低，但他個人估計，未來十年 AI 導致全人類死亡的機率超過 10%。13

這個數字應謹慎理解：它是針對低機率、高後果情境的主觀專家判斷，不是以實驗或數據確立的預報。圍繞 Coxon 離職的報導顯示，研究界與業界對時間表、發生機率及應採取何種防護措施存在尖銳歧見；現有資訊並不代表「人類滅絕迫在眉睫」已是科學共識。13

更迫切、也更可檢驗的問題：資安濫用與能力加速

這場辯論的具體風險，較接近資安入侵、危險實驗協助，以及能力持續增強的 AI 代理系統，而非電影式的「AI 突然自行攻擊人類」。

相關報導提到，進階模型可能被用於協助資安入侵及其他高影響力濫用行為；也提及一宗據稱涉及 OpenAI 代理系統與 Hugging Face 的事件。不過，現有報導沒有提供足夠的一手資料，讓外界獨立確認該事件的完整背景、是否獲得授權及實際範圍。263

因此，與其只聚焦「超級智慧」何時出現，更實際的問題是：模型目前能做什麼？發表前如何評估？濫用是否能被偵測？誰又能獨立查核實驗室所稱的安全措施？

Amodei 的主張：不是停止 AI，而是為安全爭取時間

在 Coxon 發出警告後不久，Anthropic 執行長 Dario Amodei 發表〈We Must Pace the Frontier〉，呼籲放慢前沿模型能力改善的步調。他並非要求全面停止 AI 開發，而是認為能力快速躍進時，必須給風險防範更多追上的時間。1

報導所述的架構包括：

• 由獨立機構監督與評估前沿模型；
• 在產業及民主國家之間建立共同安全標準；
• 最終推動包含與中國互動在內的國際 AI 治理協調。1

OpenAI 執行長 Sam Altman 公開支持大方向，並表示讓獨立評估者取得類似員工層級的存取權是好主意。xAI 執行長 Elon Musk 也表態支持 Amodei，稱「Dario 是對的」。1

安全規則會降低風險，還是替巨頭築起護城河？

大型前沿實驗室提出安全方案，既得到支持，也引來質疑。包括 Hugging Face 執行長 Clément Delangue 在內的批評者認為，過度嚴格的前沿模型限制，可能讓最有資金承擔合規成本的公司受益。13

這種批評並不能證明 Coxon 的擔憂不真誠；它提出的是另一個重要問題：安全監管能否一面減少真實風險，一面避免把權力集中在少數既有實驗室手中？

可信的治理制度，必須能加強對最強大系統的監督，同時不能讓「安全」成為少數公司排除競爭者的人為門檻。

結論：爭點在於可驗證的安全，而非接受末日預言

Coxon 離開 Anthropic，因為他判斷領先 AI 公司之間的競賽本身就是風險：推進能力的誘因，可能壓過建立控制、測試與國際協調所需的時間。23

他最戲劇化的主張仍然備受爭議。這些主張反映部分 AI 業內人士的嚴肅憂慮，卻不是人類滅絕即將發生的證據。眼前更具體的政策難題，是如何為日益強大的系統建立可由外部驗證的防護措施，並避免這些措施最終只鞏固正在開發它們的少數公司。113