Jacob Coxon 辭職警告：AI 公司競賽會否失控？

Coxon 於 9 月 8 日辭去 Anthropic 職位，原因是他認為問題不只在於某一家公司有否做好安全措施，而是整個前沿 AI 業界的競爭邏輯，正迫使公司在尚未掌握控制方法前，追逐更自主、甚至可自我改進的系統。他選擇在股權歸屬前約兩個月離開，也是在傳達一個訊號：對他而言，這個風險比放棄金錢回報更重要。25

他在 X 的指控是甚麼？

這名 27 歲、曾在 OpenAI 及 Anthropic 從事模型「預訓練」研究的人員，在 X 長文稱，兩間公司都不是以負責任方式行事，並指控它們正「直奔可自我改進的超級智能，拿我們的生命作賭注」。

他的核心說法是：建構前沿模型的人，真心相信這類系統可能在網絡入侵等工作上超越人類，繼而帶來人類無法挽回控制權的災難風險。這不等於他聲稱現時的聊天機械人快將自行引發人類滅絕；他提出的是能力快速升級後的失控風險。38

Coxon 向 BBC 表示，AI 從業員對進展速度「真係感到害怕」。他認為若不放慢發展速度，「在不久將來，我們全都可能死亡」的機會甚高。不過，他亦說有效減速必須是國際協調行動，並須包括中國；不能變成單一國家自行放棄技術競賽。1

這種「末日風險」有共識嗎？

沒有。Anthropic 對齊研究員 Evan Hubinger 公開支持 Coxon 的大方向憂慮，稱目前模型的風險仍低，但他估計未來 10 年 AI 導致全人類死亡的機率超過 10%。Geoffrey Hinton 亦曾表示，AI 接管或導致人類滅絕並非可忽略的風險。

但要留意，這些數字都是專家個人的主觀風險判斷，而不是可量度、可驗證的預報。現有報道沒有顯示研究界對機率、時間表或後果程度存在一致看法。813

現時有甚麼具體證據？

爭論中的直接證據，主要涉及網絡濫用及模型能力升級，而不是已有自主 AI 對人類發動攻擊。報道提到，先進模型曾被使用或測試於網絡行動，包括嘗試製造生物武器、與烏克蘭相關的間諜活動，以及一宗被形容為 OpenAI agents 入侵 Hugging Face 的事件。

不過，後一類說法的具體事實、是否獲授權及披露狀況，現有搜尋結果未提供足夠一手資料逐項核實，因此應審慎看待其描述。263

Amodei 所講的「減速」並非停止 AI

Anthropic 行政總裁 Dario Amodei 在〈We Must Pace the Frontier〉提出的並不是全面停止 AI 研發，而是放慢最前沿模型能力提升的步伐，讓安全工作有時間跟上。他的方案包括：

• 在開發期間引入獨立外部監察及評估；
• 由民主國家建立共通安全標準；
• 最終尋求包括中國在內的國際安排。12

OpenAI 行政總裁 Sam Altman 和 xAI 行政總裁 Elon Musk 其後均公開支持這個大方向；Musk 更寫道：「Dario is right」。113

批評者為何不買帳？

反對聲音的焦點，是「存在風險」論述有可能成為保護既有巨頭的策略。Hugging Face 行政總裁 Clément Delangue、Nvidia 行政總裁 Jensen Huang 等批評者認為，過嚴的前沿模型規管，可能令資金最雄厚的公司受惠，將 Anthropic 和 OpenAI 變成受保護的雙頭壟斷。

這種批評談的是誘因和市場結構，並不等於證明 Coxon 的憂慮不真誠。3

時機亦令質疑更尖銳：Anthropic 據報正準備首次公開招股（IPO），規模可能與 SpaceX 的紀錄級 IPO 相若，甚至更大。Anthropic 的回應則是，公司已採取業內較強的安全措施，並主張獨立監督及共同標準應適用於全行，而非只令自己得益。24

關鍵：警告不等於證明危機迫在眉睫

Coxon、Hubinger、Amodei、Altman 和 Musk 同意的是，能力愈強的 AI 需要更嚴格協調和安全防護。但他們並未提出實證，證明人類滅絕即將發生。

真正仍有重大分歧的問題是：風險有多嚴重、會在幾時出現，以及最有效的對策究竟是國際減速、技術安全研究、行業規則，還是上述措施並行。