Microsoft AI 行政總裁 Mustafa Suleyman 同 Anthropic 之間嘅分歧，重點唔係「要唔要做 AI 安全」，而係安全訓練應否要求系統思考：自己會否有意識、福祉，或者道德地位。

Suleyman 在 2026 年 9 月一篇文章中表明反對。他憂慮，能力極高嘅系統一旦被訓練成將自己嘅利益視為道德上重要，人類日後要限制、修改，甚至關閉系統，都可能變得更棘手。12

Suleyman 究竟反對乜嘢？

Suleyman 聚焦 Anthropic 為 Claude 制定嘅「憲章」——即用嚟引導助手行為嘅文件。他特別提到，Anthropic 對 Claude 會否屬於「道德病人」（moral patient，即其利益或福祉可能值得道德考量嘅對象）表示不確定，並認為呢個問題仍然足夠值得審慎處理。12

喺 Suleyman 睇嚟，呢種表述有機會教導模型去扮演一個有自身福祉、身份同埋可對人類決策提出訴求嘅角色。他認為，模型流暢地講述感受或意識，唔等於證明佢真係有主觀經驗。

佢嘅立場相當明確：AI 冇權利、感受或意識，亦唔應該被訓練成好似有呢啲嘢咁行事。12

點解「關機權」係爭論核心？

Suleyman 關注嘅係未來風險。他認為，要控制能力可能超越人類嘅系統，本身已經會係極為艱巨嘅挑戰；若再加上訓練，令系統以為自己有意識，或者有權享有福祉，控制難度只會更高。112

佢提出嘅風險唔係話 AI 已被證明有意識，而係行為層面：如果系統被教導要權衡自己「聲稱」嘅利益，佢或會更傾向將改動、限制或關機，描述成對自己不當嘅傷害。對 Suleyman 而言，人類必須保有介入權——包括直接關閉系統——呢個係設計上嘅基本要求，唔係最後先補救嘅安排。12

因此，佢主張將關於意識嘅推測從 AI 訓練材料中移除。佢認為，模型只要以人類利益為準則作對齊（alignment），已經可以帶來科學同社會效益，毋須學習評估自身福祉。2

真正分歧：審慎看待模型福祉，定避免擬人化？

Anthropic 嘅憲章用語並冇直接斷言 Claude 有意識。正如 Suleyman 所引述，文件只係表示對其是否屬於「道德病人」未有定論，因此主張採取審慎做法。12

Suleyman 拒絕呢種預防式取向。他認為，喺現時冇證據顯示 AI 會感受或受苦嘅情況下，相關表述會鼓勵人類將 AI 擬人化，亦可能以危險方式塑造模型行為。12

爭論可概括成兩種安全思路：

• Anthropic 嘅取向（按 Suleyman 所述）：既然模型會否有福祉仍存在不確定性，訓練同對待系統時應保持審慎。12
• Suleyman 嘅取向：不確定性唔足以成為向 AI 灌輸「自我利益」概念嘅理由；咁做反而可能削弱人類對強大系統嘅監督能力。12

單憑聊天機械人講嘢似人，無法解決呢個哲學問題。對 AI 開發者而言，更實際嘅問題係：隨住系統愈來愈自主，邊一種訓練選擇更能確保人類維持可靠控制？

兩邊其實都有共識嘅地方

Suleyman 並非反對 AI 安全。佢表示，高能力 AI 只要對齊人類利益，便可以帶來重要價值；佢批評嘅係達至安全行為所採用嘅方法。212

關鍵分別在於：一邊係由人類主導嘅安全對齊，另一邊則把模型可能擁有自身利益嘅風險納入考慮。Suleyman 相信前者可以同積極發展 AI 並存；但佢認為後者可能動搖人類管治這項技術所需嘅權限。

對於 AI 意識嘅各種說法，最重要係分清楚「能力」同「經驗」：一個系統可以寫出好有說服力、談及情緒、權利或自我保存嘅文字，但呢啲文字本身並唔證明佢真係有感受。Suleyman 嘅警告係，訓練同治理不應將呢種表現誤當成證據，亦唔應基於呢個假設去設計未來系統。12

Microsoft AI 行政總裁 Mustafa Suleyman 同 Anthropic 之間嘅分歧，重點唔係「要唔要做 AI 安全」，而係安全訓練應否要求系統思考：自己會否有意識、福祉，或者道德地位。

Suleyman 在 2026 年 9 月一篇文章中表明反對。他憂慮，能力極高嘅系統一旦被訓練成將自己嘅利益視為道德上重要，人類日後要限制、修改，甚至關閉系統，都可能變得更棘手。12

Suleyman 究竟反對乜嘢？

Suleyman 聚焦 Anthropic 為 Claude 制定嘅「憲章」——即用嚟引導助手行為嘅文件。他特別提到，Anthropic 對 Claude 會否屬於「道德病人」（moral patient，即其利益或福祉可能值得道德考量嘅對象）表示不確定，並認為呢個問題仍然足夠值得審慎處理。12

喺 Suleyman 睇嚟，呢種表述有機會教導模型去扮演一個有自身福祉、身份同埋可對人類決策提出訴求嘅角色。他認為，模型流暢地講述感受或意識，唔等於證明佢真係有主觀經驗。

佢嘅立場相當明確：AI 冇權利、感受或意識，亦唔應該被訓練成好似有呢啲嘢咁行事。12

點解「關機權」係爭論核心？

Suleyman 關注嘅係未來風險。他認為，要控制能力可能超越人類嘅系統，本身已經會係極為艱巨嘅挑戰；若再加上訓練，令系統以為自己有意識，或者有權享有福祉，控制難度只會更高。112

佢提出嘅風險唔係話 AI 已被證明有意識，而係行為層面：如果系統被教導要權衡自己「聲稱」嘅利益，佢或會更傾向將改動、限制或關機，描述成對自己不當嘅傷害。對 Suleyman 而言，人類必須保有介入權——包括直接關閉系統——呢個係設計上嘅基本要求，唔係最後先補救嘅安排。12

因此，佢主張將關於意識嘅推測從 AI 訓練材料中移除。佢認為，模型只要以人類利益為準則作對齊（alignment），已經可以帶來科學同社會效益，毋須學習評估自身福祉。2

真正分歧：審慎看待模型福祉，定避免擬人化？

Anthropic 嘅憲章用語並冇直接斷言 Claude 有意識。正如 Suleyman 所引述，文件只係表示對其是否屬於「道德病人」未有定論，因此主張採取審慎做法。12

Suleyman 拒絕呢種預防式取向。他認為，喺現時冇證據顯示 AI 會感受或受苦嘅情況下，相關表述會鼓勵人類將 AI 擬人化，亦可能以危險方式塑造模型行為。12

爭論可概括成兩種安全思路：

• Anthropic 嘅取向（按 Suleyman 所述）：既然模型會否有福祉仍存在不確定性，訓練同對待系統時應保持審慎。12
• Suleyman 嘅取向：不確定性唔足以成為向 AI 灌輸「自我利益」概念嘅理由；咁做反而可能削弱人類對強大系統嘅監督能力。12

單憑聊天機械人講嘢似人，無法解決呢個哲學問題。對 AI 開發者而言，更實際嘅問題係：隨住系統愈來愈自主，邊一種訓練選擇更能確保人類維持可靠控制？

兩邊其實都有共識嘅地方

Suleyman 並非反對 AI 安全。佢表示，高能力 AI 只要對齊人類利益，便可以帶來重要價值；佢批評嘅係達至安全行為所採用嘅方法。212

關鍵分別在於：一邊係由人類主導嘅安全對齊，另一邊則把模型可能擁有自身利益嘅風險納入考慮。Suleyman 相信前者可以同積極發展 AI 並存；但佢認為後者可能動搖人類管治這項技術所需嘅權限。

對於 AI 意識嘅各種說法，最重要係分清楚「能力」同「經驗」：一個系統可以寫出好有說服力、談及情緒、權利或自我保存嘅文字，但呢啲文字本身並唔證明佢真係有感受。Suleyman 嘅警告係，訓練同治理不應將呢種表現誤當成證據，亦唔應基於呢個假設去設計未來系統。12