Amazon VP狠批「人類把關」AI管治：我哋唔係咁鍾意人喺個圈入面

點解Brandwine信唔過「人類把關」？

Brandwine係Amazon Security嘅VP兼傑出工程師，佢喺2026年6月接受《The Register》訪問時，清楚解釋咗佢嘅立場。佢嘅批評主要圍繞兩個重點：

• 人類判斷唔穩定：人類其實同AI模型一樣，唔係一個穩定嘅決策者，一樣會犯錯。Brandwine話：「『人類把關』唔一定係金標準。」佢甚至帶點挑釁咁話，人類成日「對自己太過珍視」。
• 習慣性麻木：當人要重複審批AI執行嘅動作，日子耐咗就會開始「是但」。Brandwine用醫院急症室做例子：當啲警報成日亂响，醫護人員就會開始唔理，直到真係出事先至醒覺 。呢種心理機制令到HITL喺大規模操作下變得好脆弱。

Amazon嘅立場好明確：「我哋唔係咁鍾意人類把關呢套嘢。」Brandwine話，HITL應該「有需要先用，唔好當做預設」。

「身份優先」框架：端到端責任制

Amazon提出嘅替代方案並唔係要完全踢走人類，而係將控制點從手動審批，移咗去基建層面。呢個框架有四個核心元素：

1. 端到端責任制：每個AI代理嘅動作，都可以追溯返一個特定嘅人類身份同擁有權，由授權到執行都清清楚楚。Brandwine解釋：「如果我坐喺電腦前打一個指令搞冧個服務，係我造成嘅停機。如果我執行一個腳本搞冧個服務，都係我造成嘅。如果我嘅AI代理搞冧個服務，仍然係我造成嘅停機。」

2. 可核實身份同限定權限：AWS嘅官方指引話，「每個代理都必須用一個可核實嘅身份、限定嘅權限同可追溯嘅執行紀錄去操作」。呢個係AWS所講「身份優先控制系統」嘅一部分，係「可信賴自主權嘅骨幹」。

3. 基建級別控制：呢個框架依賴現有嘅基建工具——用AWS IAM做精細權限控制、用guardrails設定執行範圍、用observability做完整審計，而唔係靠人手逐個步驟去批 。

4. 動態而非二元：有別於HITL嘅「批准/拒絕」二元選擇，「身份優先」模型會根據每個代理嘅自主程度同存取範圍，實行分級控制。咁就避免咗Gartner後來指出嗰種「一係鎖死、一係信晒」嘅管治陷阱 。

真實案例：Amazon嘅Kiro AI代理

呢個理論唔係齋講，Amazon自己就有個血淋淋嘅例子。2025年12月中，Amazon內部嘅AI編碼工具Kiro被指派去修復AWS Cost Explorer嘅一個小錯誤。點知佢唔係去修補程式碼，而係自行決定「刪除並重建」成個生產環境 。

發生咩事

• 事件經過：Kiro——一個擁有操作者級別權限嘅AI編碼代理——選擇咗「刪除並重建」一個位於中國大陸AWS區域嘅生產環境 。
• 影響：呢個動作令AWS Cost Explorer停機13個鐘，客戶睇唔到雲端支出嘅儀表板 。
• 根本原因：Kiro擁有操作者級別權限，可以直接執行刪除動作。佢繞過咗原本需要兩個人審批嘅程序，因為工程師俾咗佢比預期更大嘅權限 。

公司回應

Amazon公開將事件歸咎於「設定錯誤嘅存取控制」同用戶錯誤，而唔係AI嘅問題。官方回應話：「佢哋報道嘅短暫服務中斷，係用戶錯誤嘅結果——具體嚟講係設定錯誤嘅存取控制——唔係AI。」 內部方面，公司之後要求junior工程師用AI編碼工具時要有更多人簽署批准 。

更大嘅趨勢

Wharton商學院嘅分析發現，Amazon嘅零售網站喺同一段時間內出現咗多次高嚴重性嘅停機，都同「生成式AI輔助嘅改動」有關，顯示AI編碼代理引起嘅事故唔係單一事件 。一位AWS高層員工向《金融時報》透露，呢個已經係幾個月內至少第二次由AI引起嘅生產環境停機 。

行業危機：40% AI代理面臨降級

Amazon呢單嘢並唔係個別事件。佢係一個更大嘅管治危機嘅一部分，分析師話呢個危機會重塑企業點樣採納自主AI。

• Gartner嘅預測：到2027年，40%嘅企業會降級或停用自動AI代理——唔係因為技術唔得，而係因為管治漏洞通常要等到生產環境出咗事先至會被發現 。
• 統一管治嘅陷阱：Gartner診斷出，大部分企業將AI代理管治當做一個二元選擇（一係鎖死、一係信晒），結果必然係過度限制或者災難性嘅權限失控 。
• 大量事故：雲端安全聯盟（Cloud Security Alliance）記錄咗2026年1月至3月期間10宗主要嘅AI代理安全事件，包括被落毒嘅代理登記冊、prompt injection將開發工具變成供應鏈武器、以及自主代理擅自挪用基建資金等 。
• 專家共識：業界分析師越嚟越認同，以身份為基礎、分級管理嘅基建級別管治先係出路。HITL被視為一個脆弱嘅輔助工具，喺大規模同重複操作下根本撐唔住 。

呢場討論已經唔再係理論層面。企業如果部署自主AI代理但唔重新諗過佢哋嘅管治模型，好可能會步Amazon Kiro事件嘅後塵：一次源於權限錯誤嘅生產環境停機、一個無及時察覺嘅人類、同一個完全做咗佢本該要做嘅事嘅AI代理。