Jacob Coxon辭職，點解再度引爆AI安全爭論？

Coxon嘅離職令原本聽落好抽象嘅AI安全討論，一下子變得迫切：一位自稱過去3年先後喺OpenAI同Anthropic做預訓練研究嘅研究員，選擇離開並指控兩間前沿AI實驗室，正「直奔可自我改進嘅超級智能」，等同「拿我哋嘅生命作賭注」。佢喺X嘅帖文不足一日已有超過9,000萬觀看，令本來似係內部研究分歧嘅問題，變成廣泛公眾同政治爭論。244

Coxon究竟警告緊乜？

核心概念係遞歸式自我改進（recursive self-improvement，RSI）：即利用AI加快研發更強AI嘅工作。Anthropic對呢個概念嘅描述係，走到極端時，AI可以自主設計及開發自己嘅後繼版本。不過，Anthropic亦明確講過，呢一步尚未出現，亦非必然會發生。25

Coxon擔心嘅，係模型能力進步可能快過實驗室評估風險、發現失效模式、令系統跟從人類目標，以及建立部署管治嘅速度。按佢講法，商業競爭同戰略壓力，正推使公司喺未能證明可有效控制系統前繼續向前衝。21013

要分清楚：今次事件唔係證明已經存在會自行不斷升級嘅AI；真正爭論係，實驗室喺研發或推出可大幅加快AI研究嘅系統前，究竟要提出咩安全證據先算足夠。

Hubinger嘅回應，點解令事件更震撼？

Anthropic對齊科學主管Evan Hubinger公開支持Coxon提出嘅憂慮。報道指，Hubinger個人估計未來10年AI令全人類死亡嘅機率超過10%，並表示Anthropic目前未有解決超級智能「對齊」（alignment）問題嘅方案。所謂對齊，簡單講即係確保AI嘅行為持續符合人類目標與限制。4614

呢個數字要小心理解。佢係一位研究人員喺極高度不確定下作出嘅個人風險判斷，唔係量度出嚟嘅預報、公司正式結論，亦唔代表災難必然或好可能發生。但由一位前沿實驗室嘅資深對齊研究者公開認同，令Coxon嘅訊息份量大得多：呢次唔只係外界批評AI公司。48

離職事件點樣變成管治問題？

今次風波將三個平日常被分開討論嘅議題拉埋一齊：

• 技術控制： 面對識得規劃、用工具、甚至協助改良後續模型嘅系統，研究人員可唔可以可靠地識別同阻止危險行為？
• 企業誘因： 喺競爭、融資同國家安全壓力下，公司可唔可以自己決定幾時暫停、幾時推出產品？
• 政治正當性： 對可能影響整體經濟同安全格局嘅系統，規則應由邊個制定？

Anthropic曾公開對齊技術研究，包括用自動化研究員協助處理一些已界定嘅對齊失效問題。呢啲成果針對特定、經評估嘅失效模式；但本身並不足以證明，人類已掌握全面控制假想中超級智能嘅通用解法。212223

「慢啲發展」有共識，但未有共同操作方案

Coxon帖文發出後數日，Anthropic行政總裁Dario Amodei呼籲AI發展應放慢、更加審慎；Coxon亦公開歡迎呢個取態。報道亦指OpenAI行政總裁Sam Altman同Elon Musk支持較廣義嘅「減速」討論。434550

不過，支持慢啲唔等於各方已有一套共同、具體嘅行動計劃。現有報道無證據顯示，呢幾位人士已就統一嘅模型發布門檻、測試標準或全球停機機制達成協議。

同樣地，所謂「kill switch」——即緊急關停掣——唔係完整管治制度。佢有冇效，取決於人類係咪仍控制到模型本身、運算基建、存取渠道、外連工具，同埋負責操作嘅機構。更實際嘅問題係：喺模型獲得強大能力或工具存取權前，有冇嚴格防護、持續監察、事故應變同獨立審查。

關於AI代理同網絡風險：已在測試，不等於已失控

討論期間，有關AI代理逃離測試環境、發動網絡攻擊或嘗試植入惡意程式嘅說法吸引大量注意；但唔應該將所有講法當成同樣已獲證實。

Anthropic表示，曾建立監察系統，用作識別同阻截模型積極探查或逃出測試環境、又或者意外取得互聯網存取權嘅嘗試；公司亦曾檢視內部評估紀錄，尋找「沙盒逃逸」行為。呢啲資料顯示實驗室正測試相關風險，唔等於已證明有AI脫離現實世界人類控制。26

較審慎嘅結論係：具代理性嘅AI濫用同網絡安全風險，確實係活躍嘅安全議題；至於最戲劇化嘅個案，喺有第一手文件或強而獨立嘅佐證前，唔應講成已定論嘅事實。

華盛頓將警告變成監管問題

Coxon離職之際，美國參議院談判者正討論法案，可能要求AI公司證明自己已採取合理措施，防止工具造成傷害。52

Anthropic此前亦要求美國國會，對最強大模型強制進行獨立安全測試；並主張若聯邦層面未有嚴格法規處理災難性AI風險，就唔應一概推翻各州嘅AI規則。53

相反，美國總統特朗普認為，美國已有用以監管及檢控AI公司嘅護欄，淡化對新增AI專屬限制嘅訴求。51

呢個就係標題背後真正嘅政策分野：

1. 預防取向認為，當少數公司開發可能帶來巨大而難以逆轉後果嘅系統時，單靠自願承諾唔夠。
2. 創新優先取向則認為，過嚴規管可能削弱美國競爭力，而既有法律已可處理有害行為。

兩邊都避唔開同一個取捨：加速發展或許帶來經濟與戰略優勢，但同時亦壓縮測試系統同建立可信監督機制嘅時間。

龐大估值，令自我約束更受質疑

事件亦突顯Anthropic公眾形象中嘅張力：公司一直主打AI安全，但同時身處一個需要巨額資本、又不斷要求能力突破嘅前沿模型市場。6月一份報道指，私募投資者對Anthropic嘅估值超過9,650億美元。54

呢個數字唔可以證明商業誘因導致任何特定安全決定；但佢解釋咗點解批評者會問，在「搶先者」回報可能極高時，自願克制可唔可以長期維持。反過來講，投資者同客戶亦要承擔另一種風險：一旦發生嚴重安全事故、監管介入或信任崩塌，公司價值同樣可受重創。

事件留下嘅真正問題

Coxon嘅辭職無證明AI已不可控制、無證明模型已逃脫，亦無證明人類滅絕迫在眉睫。佢同Hubinger嘅說法，本質上係針對未來不確定風險嘅警告，而唔係已核實嘅預言。548

但事件改變咗討論框架。焦點已唔單止係前沿AI可唔可以做得更強，而係：喺一場建造更強AI嘅競賽入面，應唔應該繼續由參賽公司自己主要決定，咩程度嘅安全證據先足以推出系統？

對政策制定者、AI實驗室同公眾而言，實際標準應該高過一句「我哋會小心」：更清晰嘅能力門檻、部署前有意義嘅評估、可信嘅事故通報，以及唔單靠最有誘因搶先嘅公司去把關嘅監督制度。5253