答案已發布15 個來源
Anthropic 對齊主管的「逾 10%」滅絕風險估計，揭開 AI 安全辯論的核心裂縫
Hubinger 所說的「超過 10%」是個人判斷，不是 Anthropic 的官方機率、員工共識或既定科學結論；不過，他承認尚無解決超級智慧對齊問題的方案，讓這項說法格外受到關注。[1][2] 爭點不在於現有模型是否迫在眉睫地造成災難——Hubinger 表示當前模型風險低——而在於是否應在可靠安全方法尚未證實前，持續推進可能自我改進的更強系統。[2][10] 這場事件把焦點帶到企業透明度、獨立測試、可執行監管與國際協調，而不只是「AI 樂觀派」對上「AI 末日論者」的二分法。
發布者使用 GPT-5.6 Terra 編輯圖片由 GPT Image 2 生成
研究答案
重點整理
- Hubinger 所說的「超過 10%」是個人判斷，不是 Anthropic 的官方機率、員工共識或既定科學結論；不過，他承認尚無解決超級智慧對齊問題的方案，讓這項說法格外受到關注。[1][2]
- 爭點不在於現有模型是否迫在眉睫地造成災難——Hubinger 表示當前模型風險低——而在於是否應在可靠安全方法尚未證實前，持續推進可能自我改進的更強系統。[2][10]
- 這場事件把焦點帶到企業透明度、獨立測試、可執行監管與國際協調，而不只是「AI 樂觀派」對上「AI 末日論者」的二分法。
AI 提示詞
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Anthropic alignment science lead Evan Hubinger’s public statement that he personally believes there is more than a 10% chance AI co. Article summary: Hubinger’s statement chiefly exposed a sharp mismatch between frontier-AI labs’ public safety posture and the private-level uncertainty described by people closest to the work: a senior alignment lead said the field may . Topic tags: general, general web, news, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
Evan Hubinger 的公開發言，並沒有證明 AI 必然導致人類滅絕；它傳達的是一項更具體、也更具份量的訊息：Anthropic 的對齊科學主管表示，他個人估計未來十年出現這種結果的機率超過 10%，同時承認 Anthropic 尚未有解決超級智慧「對齊」問題的方案，也看不出已明確走在能解決它的路徑上。1
2
所謂「對齊」，是指讓 AI 系統即使能力遠超現今模型，仍能可靠地依照人類意圖與限制行事。Hubinger 的說法，因而為前 Anthropic、OpenAI 研究員 Jacob Coxon 辭職時提出的憂慮提供了具體背景：前沿 AI 實驗室可能正在推進能力強得多的系統，但如何持續確保這些系統符合人類目標，仍未獲證實。2
3
關鍵區分：個人預測，不是公司結論
「超過 10%」是 Hubinger 的個人評估，並非 Anthropic 的官方風險機率、全體員工共識，也不是已經定論的科學預測。1
2
這個限定非常重要。一個機率數字本身無法說明完整的致災機制、確定時間表，或證明災難很可能發生。報導也指出，Hubinger 認為目前已存在模型的風險較低；他擔心的是未來系統能力大幅提升，包括透過「遞迴式自我改進」——利用 AI 的能力協助打造能力更強的 AI。2
10
不過，這段發言之所以引人注目，正在於它出自一家重要前沿 AI 實驗室的對齊工作領導者。真正值得注意的，未必只是醒目的百分比，而是能力持續進步與「人類能否控制超級智慧系統」之間的信心落差。1
2
為何它呼應了 Coxon 的辭職警告
Coxon 曾任職 OpenAI 與 Anthropic。他辭職時主張，兩家公司都沒有以負責任的方式行事，且正競逐邁向可自我改進的超級智慧。Hubinger 公開認同 Coxon 的一項核心說法：打造這些系統的人，確實真誠地認為可能出現滅絕等級的後果。2
3
這不代表所有員工都持相同觀點，也不會使 Coxon 對兩家公司的敘述自動成為獨立驗證的整體評估。但一名現任對齊主管確認了其中的基礎問題：實驗室內部對嚴重風險的憂慮，可能與持續推進前沿模型研發並存。1
2
Samuel Marks 的相關說法也應以同樣審慎的方式理解。報導稱，他表示 AI 開發者相信其技術可能導致人類滅絕或其他同樣嚴重的結果；但這仍是業內人士的觀點，而非已公開的公司整體風險估計。5
真正的爭論：不確定性下如何治理
這起事件很容易被簡化成「AI 末日論」對「AI 樂觀論」。但更有用的問題是：當潛在傷害可能全球性且不可逆，發生機率與時間點又高度不確定時，應要求哪些安全防線？
Hubinger 的說法讓幾項問題更為尖銳：
- 對齊問題尚未解決。 實驗室努力處理安全問題，與已經證明能控制遠強於現有模型的系統，是兩回事。
1
- 競爭可能使自我約束變得困難。 Coxon 批評，競爭壓力正驅使實驗室追求更高能力，儘管重大安全問題仍未解答。
2
3
- 現有模型安全不是全部問題。 Hubinger 區分了他對今日模型的低風險判斷，以及對未來能力遠高得多系統的擔憂。
10
- 外部驗證不可或缺。 若沒有獨立評估與透明報告，公眾、客戶與政府很難判斷企業所稱的內部安全流程是否充分。
這些是治理難題，並非迫在眉睫災難的證明；但一旦系統獲得危險能力後，這類難題往往只會更難處理。
透明度問題再添壓力
有報導稱，Anthropic 在最新模型發布前，未將其提交給英國 AI 安全研究所測試。這項資訊應審慎看待：現有報導將其描述為媒體報導，而非公司或英國政府已公開確認的結論。10
即便如此，這項指稱也說明了外界為何對自願性安全承諾抱持疑慮。若企業本身的安全領導者承認對齊問題仍未解決，外界自然會追問：做了哪些測試？由誰審查？分享了哪些結果？又有哪些能力門檻會觸發更嚴格的控制？
「放慢腳步」可以是什麼意思
主張「放慢」不必等同於永久停止所有 AI 研究或部署。政策上的重點，可以是要求系統跨越特別關鍵的能力門檻前，必須通過可執行、可驗證的檢查。
可能措施包括：
- 部署前進行獨立的能力與安全評估；
- 對重大事故與具實質危險性的能力建立通報要求；
- 明確規定開發者何時必須採取更嚴格的資安與治理控制；
- 不只依賴開發商內部保證的外部稽核；
- 透過國際協調，避免任何單一公司或國家為追趕競爭者而犧牲安全。
理由很直接：若風險雖不確定、但最壞後果可能極端嚴重，就需要在失控之前，而不是事後，證明防護措施確實存在。
這段發言最終揭露了什麼
Hubinger 的貼文揭露了前沿 AI 的核心張力：領先開發者可以公開承認長期風險極其嚴重，同時仍繼續打造會讓那些風險更迫切的能力。1
2
它沒有定論 AI 災難性傷害的機率，也不應被當作 Anthropic 的官方預測；但它讓對齊辯論變得更具體。問題不再只是先進 AI 是否可能危險，而是企業與政府能否以獨立證據、可執行規則及國際協調證明：在相關系統強大到難以安全治理之前，他們已經準備好了。1
10
Studio Global AI
繼續深入研究
這個頁面包含附來源佐證的答案，你可以在 Studio Global 內繼續追問。
大家也會問
「Anthropic 對齊主管的「逾 10%」滅絕風險估計，揭開 AI 安全辯論的核心裂縫」的簡短答案是什麼？
Hubinger 所說的「超過 10%」是個人判斷，不是 Anthropic 的官方機率、員工共識或既定科學結論；不過，他承認尚無解決超級智慧對齊問題的方案，讓這項說法格外受到關注。[1][2]
最值得優先驗證的重點是什麼？
Hubinger 所說的「超過 10%」是個人判斷，不是 Anthropic 的官方機率、員工共識或既定科學結論；不過，他承認尚無解決超級智慧對齊問題的方案，讓這項說法格外受到關注。[1][2] 爭點不在於現有模型是否迫在眉睫地造成災難——Hubinger 表示當前模型風險低——而在於是否應在可靠安全方法尚未證實前，持續推進可能自我改進的更強系統。[2][10]
接下來在實務上該怎麼做？
這場事件把焦點帶到企業透明度、獨立測試、可執行監管與國際協調，而不只是「AI 樂觀派」對上「AI 末日論者」的二分法。
來源