奧特曼點出 AI 的兩條危險路徑：失控與權力集中

強大 AI 對社會可能造成兩種截然不同的失敗結果。OpenAI 執行長 Sam Altman 警告，一種是人類逐漸失去對能力日益增強系統的控制；另一種則是 AI 的控制權集中在極少數人手上。他的論點把技術安全與政治治理放進同一個問題：AI 是否安全，不只取決於模型「能做什麼」，也取決於「誰能指揮它」。1316

Altman 說必須避開的兩條路

第一條：人類失去控制。 Altman 警告，人類可能會「把未來的控制權交給 AI」，而這是不能接受的結果。他提出的原則是：AI 必須服務人類，而非讓人類依賴、甚至從屬於無法充分監督的系統。216

第二條：AI 權力過度集中。 他也警告，若一套異常強大的 AI 由單一個人、公司或國家掌控，並被用來將其世界觀強加給所有人，結果可能「極度反烏托邦」。113

兩項風險彼此相關，但並不相同。前者關乎人類能否理解、約束並推翻強大系統的決定；後者則關乎即使系統仍可受控，其部署者是否握有過度且缺乏制衡的權力。

他支持哪些安全防線？

Altman 的公開立場並不是單純要求停止 AI 開發。他主張，模型能力的進展不應超越「對齊」與監測能力；也不能以競爭壓力作為魯莽部署的藉口。213

他點出的防線包括：

• 讓對齊與監測跟上能力提升。 開發者必須能有意義地評估並控制能力愈來愈強的系統行為。213
• 確保 AI 持續服務人類。 這是他對「失去控制」提出警告背後的基本目標。216
• 針對前沿 AI 建立一致的聯邦規範。 Altman 歡迎由聯邦層級建立管理前沿風險的框架，而非僅依賴零散的自願承諾。1316
• 引入獨立檢視。 他提到，獨立稽核員可望成為提升公眾對開發高能力模型企業信任的機制。16

實際意義是：能力最強的系統應承擔更高的舉證責任。安全措施應在部署決策前就經過測試並具備可信度，而不該等到模型能力已大幅躍進後才補救。

Anthropic 的警告，如何讓爭論更尖銳？

同一週，前 Anthropic 研究員 Jacob Coxon 警告，頂尖實驗室正朝可自我改進的 AI 競速，形同「拿我們的生命下注」。關於他離職的報導指出，他認為參與建造這類系統的研究人員，確實擔心它們會強大到人類無法控制。17

這個說法比 Altman 的表述更為直接，但核心憂慮重疊：能力進步的速度，可能超過人類可靠監督系統的能力。據報導，在一場公開交流中，Anthropic 對齊科學主管 Evan Hubinger 個人估計，AI 在未來十年導致人類滅絕的機率超過 10%；他也承認，超級智慧的完整對齊解方目前尚不存在。這是個人的風險判斷，不是已獲確立的預測，也不是科學界已有共識的機率。17

重點不在於某個滅絕時間表是否已被證實——答案是否定的；而在於最接近前沿開發的研究人員，正公開質疑現有安全實務能否跟上正在開發的系統。

產業真正的分歧：能力優先，還是安全優先？

外界常把爭論描述成「加速 AI」與「放慢 AI」之爭，但這樣的說法並不完整。多數參與者都承認 AI 可能帶來重大效益；真正的分歧在於開發順序與規範能否落實。

其中一派主張，前沿開發的速度應讓安全研究、評估、治理與濫用應對措施有時間成熟。Anthropic 執行長 Dario Amodei 呼籲放慢模型能力提升的速度，並提出在公司內設置具類似員工存取權限的獨立評估者、前沿實驗室協調合作，以及國際協作等作法。

相對的壓力也很真實：企業與政府擔心，比競爭對手走得慢，可能失去經濟或地緣政治優勢。不過 Altman 的主張是，競爭不能成為讓模型能力超越對齊與監測能力的理由。13

路透報導，有些研究人員認為，模型能力的到來速度快過預期，但人類對這些系統的可見度與潛在控制力反而正在下降。 這使政策核心問題更為迫切：實驗室應否在防護措施尚待追上時，繼續部署自主性逐步提高的模型？還是必須先證明防護機制已足夠？

AI 治理下一步：同時處理技術控制與權力分配

Altman 的兩項警告意味著，前沿 AI 治理必須同時處理技術控制與權力分配。更完善的模型評估、對齊研究、監測與獨立監督，主要回應前一項問題；一致的規範、透明度與限制單方面控制的機制，則回應後一項問題。

無論是災難性預言，還是精確的時間表，都不應被當作既定事實。不過，正因一旦失敗後果可能極其嚴重，強化評估、外部審查與安全要求的呼聲，已從小眾議題轉為 AI 產業的核心問題。13