Jacob Coxon離開Anthropic，並唔係指控自己親眼見過某宗具體安全事故；佢反對嘅係一種更大嘅行業動力：頂尖AI實驗室為咗搶先，正加速開發更自主、甚至可能自我改進嘅系統，但可靠嘅控制、測試同監管方法未必跟得上。Coxon曾表示，自己曾喺Anthropic同OpenAI做預訓練研究，並認為兩家公司都未做得足夠負責任。23

Coxon最擔心嘅，係能力跑贏控制

Coxon喺X發文，批評Anthropic同OpenAI「直衝向可自我改進嘅超級智能，攞我哋嘅生命去賭」。佢唔係話今日嘅聊天機械人已經會自行滅絕人類；佢講嘅係未來風險：如果AI喺網絡攻擊等高影響力任務上超越人類，並且喺人類未能可靠地令它遵循人類目標之前，取得實質資源或權力，後果可以非常嚴重。358

換句話講，爭論核心係能力升級同治理速度之間嘅落差。現時模型可以仍然有限，但如果能力急升而安全工作滯後，將來嘅失控代價可能好大。

點解佢決定離開？

Coxon接受BBC訪問時話，從事先進AI嘅人「真心感到害怕」技術進步嘅速度；佢認為，如果唔放慢步伐，人類喺短期內死亡嘅機會「好高」。1

佢亦認為，單靠一間公司或者一個國家減速，解決唔到問題。要有持久效果，需要國際協調，當中包括同中國溝通合作，否則開發只會由另一個地方接手。1

所以，佢嘅辭職更似係公開拒絕參與一場高壓競賽，而唔係針對Anthropic某次已被證實嘅安全違規。相關報道形容，佢憂慮嘅正正係各公司競逐打造自己未必控制得住嘅系統。2

「10%機會」應該點理解？

Anthropic嘅對齊研究員Evan Hubinger支持Coxon提出嘅大方向。Hubinger話，現有模型帶來嘅風險低，但佢個人估計，未來10年AI殺死全人類嘅可能性超過10%。13

呢個數字唔應該被當成科學定論。佢係針對低機率、極高後果情境嘅個人判斷，唔係有實證支持嘅預報。現有報道反映嘅係業內對時間表、風險機率同應採取咩保障措施有強烈分歧，並冇證明「人類滅絕迫在眉睫」已成科學共識。13

較貼地嘅憂慮：網絡濫用同能力急升

呢場辯論所指嘅較具體風險，其實更接近網絡攻擊濫用、危險實驗支援，同埋愈來愈有行動能力嘅AI代理，而唔係電影式「AI突然主動襲擊人類」。

報道提到，先進模型可能協助網絡入侵及其他高影響力濫用行為。當中亦涉及一宗據稱與OpenAI代理及Hugging Face有關嘅事件；不過，現有報道冇提供足夠一手資料，令外界無法獨立確認事件嘅確切經過、授權情況或規模。263

對一般用家同政策制定者而言，更值得追問嘅問題係：模型實際做到乜、推出前點樣評估、濫用有冇被偵測，以及有冇獨立人士可以核實AI公司嘅安全說法。

Amodei唔係叫停AI，而係「放慢前沿」

Coxon發出警告後不久，Anthropic行政總裁Dario Amodei喺文章《We Must Pace the Frontier》主張放慢前沿模型能力提升嘅速度。佢唔係要求全面停止AI研發，而係認為要畀風險防範措施更多時間追上快速進步嘅能力。1

報道所述框架包括：

• 由獨立機構監察及評估前沿模型；
• 業界同民主國家採用共享安全標準；
• 最終建立國際AI治理協調機制，並包括與中國接觸。1

OpenAI行政總裁Sam Altman公開支持大方向，並表示畀獨立評估員取得近似員工級別嘅存取權係好主意。xAI創辦人Elon Musk亦支持Amodei，寫道：「Dario is right。」1

安全規管會唔會變成大公司護城河？

大型前沿AI公司提出安全方案，同時引來支持同質疑。包括Hugging Face行政總裁Clément Delangue在內嘅批評者認為，嚴厲限制前沿模型，可能令本身資金最雄厚、最有能力負擔合規成本嘅公司受惠。13

呢種批評唔等於證明Coxon嘅憂慮唔真誠；佢提出嘅係另一個重要問題：安全規管可唔可以一邊減低真實風險，一邊又將權力集中喺少數既有AI巨頭手上？

一套可信嘅治理制度，需要監督最強大嘅系統，但亦要避免安全要求變成只得少數公司跨得過嘅人為門檻。

總結：佢警告嘅係一場「追唔切」嘅競賽

Coxon離職，係因為佢認定真正危險在於競賽本身：公司不斷推高能力嘅誘因，可能壓過建立控制、測試同國際協調所需嘅時間。23

佢最嚴峻嘅講法依然備受爭議。呢啲警告反映部分AI業內人士認真持有嘅憂慮，但唔足以證明人類滅絕即將發生。眼前更實際嘅政策難題，係點樣為愈來愈強嘅AI建立可獨立核實嘅保障，同時唔好令規管只係鞏固建造呢啲系統嘅大公司。113

Jacob Coxon離開Anthropic，並唔係指控自己親眼見過某宗具體安全事故；佢反對嘅係一種更大嘅行業動力：頂尖AI實驗室為咗搶先，正加速開發更自主、甚至可能自我改進嘅系統，但可靠嘅控制、測試同監管方法未必跟得上。Coxon曾表示，自己曾喺Anthropic同OpenAI做預訓練研究，並認為兩家公司都未做得足夠負責任。23

Coxon最擔心嘅，係能力跑贏控制

Coxon喺X發文，批評Anthropic同OpenAI「直衝向可自我改進嘅超級智能，攞我哋嘅生命去賭」。佢唔係話今日嘅聊天機械人已經會自行滅絕人類；佢講嘅係未來風險：如果AI喺網絡攻擊等高影響力任務上超越人類，並且喺人類未能可靠地令它遵循人類目標之前，取得實質資源或權力，後果可以非常嚴重。358

換句話講，爭論核心係能力升級同治理速度之間嘅落差。現時模型可以仍然有限，但如果能力急升而安全工作滯後，將來嘅失控代價可能好大。

點解佢決定離開？

Coxon接受BBC訪問時話，從事先進AI嘅人「真心感到害怕」技術進步嘅速度；佢認為，如果唔放慢步伐，人類喺短期內死亡嘅機會「好高」。1

佢亦認為，單靠一間公司或者一個國家減速，解決唔到問題。要有持久效果，需要國際協調，當中包括同中國溝通合作，否則開發只會由另一個地方接手。1

所以，佢嘅辭職更似係公開拒絕參與一場高壓競賽，而唔係針對Anthropic某次已被證實嘅安全違規。相關報道形容，佢憂慮嘅正正係各公司競逐打造自己未必控制得住嘅系統。2

「10%機會」應該點理解？

Anthropic嘅對齊研究員Evan Hubinger支持Coxon提出嘅大方向。Hubinger話，現有模型帶來嘅風險低，但佢個人估計，未來10年AI殺死全人類嘅可能性超過10%。13

呢個數字唔應該被當成科學定論。佢係針對低機率、極高後果情境嘅個人判斷，唔係有實證支持嘅預報。現有報道反映嘅係業內對時間表、風險機率同應採取咩保障措施有強烈分歧，並冇證明「人類滅絕迫在眉睫」已成科學共識。13

較貼地嘅憂慮：網絡濫用同能力急升

呢場辯論所指嘅較具體風險，其實更接近網絡攻擊濫用、危險實驗支援，同埋愈來愈有行動能力嘅AI代理，而唔係電影式「AI突然主動襲擊人類」。

報道提到，先進模型可能協助網絡入侵及其他高影響力濫用行為。當中亦涉及一宗據稱與OpenAI代理及Hugging Face有關嘅事件；不過，現有報道冇提供足夠一手資料，令外界無法獨立確認事件嘅確切經過、授權情況或規模。263

對一般用家同政策制定者而言，更值得追問嘅問題係：模型實際做到乜、推出前點樣評估、濫用有冇被偵測，以及有冇獨立人士可以核實AI公司嘅安全說法。

Amodei唔係叫停AI，而係「放慢前沿」

Coxon發出警告後不久，Anthropic行政總裁Dario Amodei喺文章《We Must Pace the Frontier》主張放慢前沿模型能力提升嘅速度。佢唔係要求全面停止AI研發，而係認為要畀風險防範措施更多時間追上快速進步嘅能力。1

報道所述框架包括：

• 由獨立機構監察及評估前沿模型；
• 業界同民主國家採用共享安全標準；
• 最終建立國際AI治理協調機制，並包括與中國接觸。1

OpenAI行政總裁Sam Altman公開支持大方向，並表示畀獨立評估員取得近似員工級別嘅存取權係好主意。xAI創辦人Elon Musk亦支持Amodei，寫道：「Dario is right。」1

安全規管會唔會變成大公司護城河？

大型前沿AI公司提出安全方案，同時引來支持同質疑。包括Hugging Face行政總裁Clément Delangue在內嘅批評者認為，嚴厲限制前沿模型，可能令本身資金最雄厚、最有能力負擔合規成本嘅公司受惠。13

呢種批評唔等於證明Coxon嘅憂慮唔真誠；佢提出嘅係另一個重要問題：安全規管可唔可以一邊減低真實風險，一邊又將權力集中喺少數既有AI巨頭手上？

一套可信嘅治理制度，需要監督最強大嘅系統，但亦要避免安全要求變成只得少數公司跨得過嘅人為門檻。

總結：佢警告嘅係一場「追唔切」嘅競賽

Coxon離職，係因為佢認定真正危險在於競賽本身：公司不斷推高能力嘅誘因，可能壓過建立控制、測試同國際協調所需嘅時間。23

佢最嚴峻嘅講法依然備受爭議。呢啲警告反映部分AI業內人士認真持有嘅憂慮，但唔足以證明人類滅絕即將發生。眼前更實際嘅政策難題，係點樣為愈來愈強嘅AI建立可獨立核實嘅保障，同時唔好令規管只係鞏固建造呢啲系統嘅大公司。113