Jacob Coxon 辭職，為何讓 AI 安全爭論再度升溫？

Coxon 的離職，讓原本看似研究圈內部的 AI 安全爭論突然變得具體而迫切。他表示，自己過去三年曾在 OpenAI 與 Anthropic 從事預訓練研究，卻決定離開，並指控兩家前沿 AI 實驗室正「直奔可自我改進的超級智慧」，是在「拿我們的生命下注」。這篇貼文不到一天便獲得逾 9,000 萬次觀看，使原本抽象的技術風險迅速成為公眾與政治議題。244

Coxon 究竟在警告什麼？

爭點核心是遞迴自我改進（recursive self-improvement，RSI）：利用 AI 系統加速研發更強 AI 系統的工作。Anthropic 對此概念的描述是，若這條路徑走到極端，AI 可能可以完全自主地設計與開發自己的下一代版本。公司同時強調，這個階段尚未到來，也不是必然會發生。25

Coxon 擔憂的是，模型能力進展可能快過實驗室評估系統、發現失效模式、讓行為與人類目標一致，以及建立部署治理機制的速度。在他的說法中，商業競爭與戰略壓力正推動業者在尚未證明能有效控制前，就繼續往前走。21013

這個區別很重要：爭議不是證明目前已有 AI 完成遞迴自我改進；它是在問，實驗室於研發或釋出可能大幅加速 AI 研究的系統前，究竟必須提出何種安全證據。

Hubinger 的公開回應，為何讓事件升溫？

Anthropic 的對齊科學主管 Evan Hubinger 公開支持 Coxon 對風險嚴重性的看法。相關報導指出，他個人判斷未來十年 AI 導致全人類死亡的機率高於 10%，且 Anthropic 尚未有解決超級智慧對齊問題的計畫。4614

這個數字必須審慎解讀。它是面對高度不確定未來時的個人判斷，不是經測量得出的預報、公司研究結論，也不是災難很可能發生的證據。然而，當一名資深對齊研究者公開附和，Coxon 的警告便格外受到關注：這不只是外部人士批評前沿實驗室。48

一場辭職，串起三個原本分開的問題

這起事件把三項通常分開討論的爭論連在一起：

• **技術控制：**研究人員能否可靠地辨識並防止具備規劃、工具使用能力，或能協助改進未來模型的系統出現危險行為？
• **機構誘因：**面對激烈競爭、投資與國家安全壓力，企業能否自行決定何時暫停或部署？
• **政治正當性：**若系統可能對整體經濟與安全造成重大影響，規則該由誰來制定？

Anthropic 已公開對齊技術研究，也研究以自動化研究者協助緩解特定的對齊失敗問題。不過，這些成果針對的是經界定與評估的失效模式；它們本身並不等同於已經找到控制假想超級智慧的通用解方。212223

「放慢腳步」有共識，但還沒有共同操作方案

Coxon 發文後幾天，Anthropic 執行長 Dario Amodei 呼籲 AI 發展採取較慢、較審慎的步調；Coxon 也公開歡迎這項表態。報導亦提到 OpenAI 執行長 Sam Altman 與 Elon Musk 支持更廣泛的放慢討論。434550

但支持「放慢」不等於已有一套具體而一致的共同方案。現有報導並未證明這些人士採納相同的作業標準、模型釋出門檻，或普遍適用的停機機制。

所謂「緊急停止開關」也不是完整的治理系統。它是否有效，取決於人類是否仍控制模型本身、運算基礎設施、存取管道、連接工具，以及實際運作系統的組織。更關鍵的問題是：模型在取得強大能力或外部存取權限之前，是否已建立足夠的防護、監測、事故應變與獨立審查？

對 AI 代理與資安風險，哪些能確定、哪些仍待證實？

辯論期間，AI 代理逃離測試、發動網攻或嘗試植入惡意程式等說法受到矚目，但不能將所有說法視為同等程度獲得驗證的事實。

Anthropic 曾說明，公司建立了監測機制，用以辨識與阻止模型積極探測或逃離測試環境、或意外取得網路存取的嘗試；也檢視評估記錄，以尋找沙箱逃逸行為。這顯示實驗室正在測試此類風險，不代表 AI 系統已逃離現實世界的人類控制。26

較嚴謹的結論是：代理式行為與網路濫用是正在發展中的安全與資安風險；最戲劇性的個案主張，在被當作既定事實前，仍需要第一手文件或強而有力的獨立佐證。

華府把警訊推向監管問題

Coxon 辭職之際，美國參議院談判代表正在討論一項立法，可能要求 AI 公司證明其已採取合理預防措施，避免工具造成傷害。52

Anthropic 此前已呼籲美國國會，要求最強大的模型接受獨立安全測試；公司也主張，除非聯邦政府提出能處理災難性 AI 風險的嚴格替代方案，否則不應一概排除各州的 AI 規範。53

美國總統川普則持相反立場，認為美國已有監管與起訴 AI 公司的護欄，淡化了進一步 AI 專屬限制的訴求。51

這正是頭條新聞底下的政策分界：

1. 預防原則一方認為，當少數公司正在打造可能造成巨大且難以逆轉影響的系統時，自願承諾並不足夠。
2. 創新優先一方則認為，過度限制可能削弱美國的領先地位，而且現有法律已能處理有害行為。

兩種立場都無法消除根本取捨：加速發展可能帶來經濟與戰略優勢，卻也壓縮了評估系統與建立可信監督機制所需的時間。

鉅額資本，讓自我約束更受質疑

事件發生的時機，也突顯 Anthropic 公共定位上的張力。公司一方面以 AI 安全為重要定位，另一方面又身處需要龐大資本、並持續追逐能力突破的前沿模型市場。6 月的一篇報導稱，私募投資人對 Anthropic 的估值已超過 9,650 億美元。54

這不能證明商業誘因導致了任何特定安全決策，但足以說明批評者為何質疑：當率先成功的潛在回報極大時，自願克制能否長久維持。反過來看，投資人與客戶同樣承擔風險——重大安全事故、監管行動或信任流失，都可能傷害企業價值。

Coxon 警告留下的真正問題

Coxon 的辭職沒有證明 AI 已不可控制、模型已逃逸，也沒有證明人類滅絕迫在眉睫。他與 Hubinger 的說法，是針對不確定未來風險的警告，不是經驗證的預言。548

不過，事件改變了討論框架。問題不再只是前沿 AI 能否做得更強，而是：競逐打造它的公司，是否仍應握有判斷「安全證據是否充分」的主要決定權？

對政策制定者、實驗室與公眾而言，實際標準必須高於一句令人安心的承諾：更清楚的能力門檻、有意義的部署前評估、可信的事故通報，以及不單靠最有動機搶先的公司來運作的監督機制。5253