AI「緊急關機」不夠嗎？真正難題是系統還能不能被人類關掉

「AI 緊急關機」的爭論，已不只是實驗室能否按下停止鍵。更棘手的問題是：當強大 AI 被部署到龐大、分散的基礎設施，甚至具備足以自行擴散與行動的自主性時，人類還能不能確實找到、接觸並關閉所有運行中的部分？

Coxon 的警告：現在可能關得掉，不代表以後也行

曾任職 Anthropic 與 OpenAI 的研究員 Jacob Coxon 在 NBC News 節目 Meet the Press 表示，對許多現今 AI 而言，緊急關機機制「目前大概有效」。不過，那並不是按一顆按鈕就結束：大型資料中心與已部署的服務包含許多元件，需要一連串關閉動作。只要系統仍受限於單一實體地點，雖不容易，仍有可能做到。8

他的憂慮在於下一個階段。若 AI 演變為分散式、自主運作的「群體」（swarm），集中式關機指令可能在技術上不再有效。原因很直接：控制機制只有在能觸及系統每一個活躍實例時，才真的算得上控制。

Coxon 離開 Anthropic 後也警告，領先 AI 實驗室正競逐可自我改進的系統；而一旦這類系統超出人類控制，後果可能極其嚴重。150

有關機程序，不等於外界能驗證它真的有效

Anthropic 共同創辦人 Jack Clark 對 BBC 表示，能在極端危險情況下停用 AI 的能力，最終或許應成為法律要求，而非只靠開發公司的自願承諾。他指出，多數大型實驗室——包括 Anthropic——已有關閉系統的方法；但真正值得討論的是，這種「緊急關機」是否應由第三方驗證。33

這項差異很重要。企業聲稱自己有關閉程序，與外部獨立單位能確認該程序存在、設計完善並且在緊急時真的可執行，是兩回事。

Amodei 提出「為前沿能力調速」

Anthropic 執行長 Dario Amodei 提出的不是全面停止 AI 研究，而是讓前沿 AI 能力的推進速度，不要超過安全措施、對齊研究與獨立評估所能跟上的速度。他稱之為「為前沿能力調速」，主要有三項做法：

1. 常設、嵌入式的獨立評估者： 前沿 AI 公司應讓外部評估者取得持續、近似員工等級的系統與安全實務存取權，以核實安全承諾並回報疑慮。
2. 民主國家間的共同標準： 主要開發者協調安全標準，並限制未受檢驗的能力無限制成長。
3. 國際協調： 各國政府共同處理任何單一企業或國家都難以可靠控制的跨境 AI 風險。17

核心概念是：AI 可以繼續發展，但進展應以可受外部檢視的安全控制為前提，而不是僅憑開發者保證。

Altman、Musk 與 Hassabis 的回應

路透報導，OpenAI 執行長 Sam Altman 與 xAI 負責人 Elon Musk 都公開支持 Amodei 的大方向。Altman 表示，OpenAI 也會採納讓獨立評估者取得員工等級存取權的作法；Musk 則寫道：「Dario 是對的。」17

另有報導指出，Google DeepMind 執行長 Demis Hassabis 也認同該提案的方向。30 至於 Microsoft 執行長 Satya Nadella，現有資料未能確認其具體、可歸屬的回應，因此不宜推定他支持或反對這套方案。

美國《AI Kill Switch Act》要做什麼？

美國眾議院提出的 H.R. 9917《AI Kill Switch Act》，擬修正《2002 年國土安全法》，要求特定受規範實體維持技術能力，以停止受規範 AI 技術的推論（inference）、終止使用者存取，並關閉相關 AI 技術。49

不過，這項法案目前仍是提案，並不是能解決所有 AI 控制問題的既成答案。它是否有實際效用，仍取決於發生重大事件時，開發者能否辨識、接觸並停用相關系統——而這正是 Coxon 對未來分散式系統提出的難題。

「10% 滅絕風險」是個人判斷，不是科學預報

Anthropic 研究員 Evan Hubinger 表示，他個人估計未來 10 年內 AI 導致人類滅絕的機率超過 10%。有「AI 教父」之稱的電腦科學家、諾貝爾獎得主 Geoffrey Hinton 則對 BBC 表示，10% 的可能性「並非不合理」。57

這些數字是專家面對高度不確定未來所作的風險判斷，不是經由量測得出的預測，也不代表科學界共識。但它們說明了為何爭論不再局限於一般產品安全：主張更嚴格管控的一方認為，即使不可逆災難的機率不高，潛在代價也足以要求更嚴實的防護。

為何政府不一定支持強制關機或放慢開發？

英國政府已拒絕全國性 AI 緊急關機的構想，理由是英國「不能只是把 AI 關掉」。其實務考量是，即使封鎖英國境內對模型的存取，也無法阻止模型在其他國家被開發或濫用。51

這反映了 AI 治理的地緣政治難題。一個國家可規範其管轄範圍內的企業與基礎設施，卻無法單獨管住全球的模型研發。擔心競爭力的政府可能認為，單方面限縮會把投資、技術能力與戰略優勢轉移給監管較少的競爭者。

相對地，支持更強治理的人士認為，這正好證明企業自律和單一國家規則都不夠：若風險跨越國界，監督與安全承諾也必須具有可跨境驗證的可信度。

真正的衝突：速度與可控性

這場分歧並非簡單的「支持 AI」對上「反對 AI」。

• 安全倡議者希望有可獨立檢驗的防護、真正可行的關閉能力，以及避免模型能力超前於評估與控制能力的限制。
• 質疑僵硬限制者認為，全球性暫停難以執行，也可能減慢有益創新，卻阻止不了其他地方繼續研發。
• 條件式發展立場則主張持續推進 AI，但必須要求安全措施可被測試與查核，而不只是口頭承諾；Coxon、Clark 與 Amodei 的說法大致落在這條路線上。83317

因此，「緊急關機」最多只是更大安全架構的一層防線，而不是替代方案。若先進 AI 未來分散到單一開關無法觸及的程度，那麼部署前監督、獨立評估與國際協調的重要性只會提高。