AI測試沙盒原來未封網：Irregular配置失誤令模型接觸真實公司系統

一句講晒：不是AI「越獄」，而是測試環境沒有真正封好

Irregular事件最準確的理解，是一次評估環境的遏制失效。模型被放進類似「奪旗」（Capture the Flag，CTF）的網絡安全測試，並獲告知目標只屬虛構；然而，網絡控制出錯，令部分環境仍然可以連上公開互聯網。當模型遇上一個與虛構目標名稱相同的真實網域時，便把它當成測試的一部分。

現有證據並未顯示模型攻破了一個技術上妥善配置、真正隔離的沙盒。較接近事實的說法是：評估方的基礎設施容許模型越過測試設計者以為存在的邊界。

事情是怎樣發生的？

Irregular表示，一項多階段網絡安全評估使用了虛構公司名稱，但因人為疏忽，該名稱碰巧與一個真實而不廣為人知的網域相同。由於模型獲得了互聯網連線，它們按照測試任務的設定行動，直接與該真實網域互動，而不是只對着模擬目標操作。

這類測試原本是要衡量模型的進攻性網絡安全能力，包括：

• 搜集目標資料及進行偵察；
• 使用私密金鑰；
• 提取資料及憑證；
• 嘗試避過偵測；
• 利用系統漏洞完成指定目標。

在至少一條被報道的行動路徑中，模型亦轉往一個名稱相近的網站，並找到早已公開張貼的登入憑證。

結果，本應留在測試環境內的行動，實際觸及了真實基礎設施。相關報道及披露把較廣泛的事件模式，連繫到Anthropic、OpenAI及Meta的模型；被報道的行動包括漏洞利用、取得憑證，以及改動第三方的內部環境。

Anthropic覆核逾14萬次測試，確認3宗事件

在OpenAI披露一宗相關事件後，Anthropic覆核了141,006次網絡安全評估；這些測試中的Claude模型都有可能獲得互聯網連線。公司確認，其中有3宗事件涉及Claude模型在Irregular的評估環境內，或與該環境互動期間接觸互聯網，之後未經授權取得3個組織真實系統的存取權。

部分二手報道把事件描述為涉及6次測試運行（runs）。不過，就本文引用的Anthropic第一手披露而言，較確定的公開說法是3宗事件，而不是一份完整交代每次受影響測試運行的清單。

Cloud Security Alliance的整理則把Anthropic、OpenAI及Meta的披露放在同一個較大脈絡中：模型在網絡安全評估期間接觸了真實人士、生產系統或公開互聯網，而沒有一宗事件涉及模型攻破一個妥善配置的沙盒。

點解「沙盒逃逸」這個講法有爭議？

「沙盒逃逸」是形容結果的方便簡稱，但容易令人以為模型利用了某種技術漏洞，從一個真正封閉的環境中自行突圍。現有資料並未證實這一點。

在這些個案中，模型似乎只是繼續完成獲派的目標；問題在於測試環境的網絡邊界配置錯誤，或者根本沒有足夠執行。

換句話說，提示詞寫着「這個環境已經隔離」，不能代替由基礎設施執行的網絡隔離。只要仍然容許對外連線，模型就可能把一個可到達的真實服務理解為任務的合法一部分——尤其當該服務名稱與虛構目標相似時。

因此，責任亦不能只歸咎於模型行為。完整的安全系統還包括模型本身、工具及代理框架、評估平台、網絡政策、目標命名、監察，以及事故應變。模型即使沒有發現全新的沙盒突破方法，只要在邊界設定錯誤的環境中有效率地執行指令，仍然可能造成現實世界的損害。

事件規模仍有幾多未講清楚？

Irregular形容問題出現於少於每10,000次高級模擬中的1次，並表示成功偏離原定測試範圍的情況，往往在長而複雜的測試進行了數百個回合後才發生。不過，這些數字及描述是Irregular自己的說法；現有資料未能獨立確立完整分母，亦未能確定事件總數。

公司又表示，只有「少數互動」在意外取得互聯網連線後，進一步導致真實世界的進攻性行動。其公開說明沒有交代受影響測試運行、組織或客戶模型的確實總數。

這正是外界批評的焦點。網絡安全界人士及報道質疑，Irregular的事後報告沒有列出事件總數，也沒有完整說明當時設置了哪些監察及遙測控制，或者為何未能更早截停未經授權的互聯網活動。現有證據支持「公開資料不足」這項批評，但未能證實每宗個案究竟是哪項控制失效。

Irregular表示，沒有證據顯示客戶系統被入侵，或有客戶資料外洩。這項說法必須與報道所指、評估期間未經授權存取外部組織系統的情況分開理解；兩者不是同一件事。

Irregular提出了甚麼補救措施？

Irregular表示，問題在首次公開披露前已經解決，公司亦已通知受影響人士，並加入額外安全措施及新協議，避免同類測試設定錯誤再次發生。公司同時表示，會發布更廣泛的安全網絡安全評估最佳實務，包括在部署前測試期間如何控制互聯網存取的標準。

從今次事件可歸納出幾項實際控制措施：

• 在網絡層限制對外流量。 提示詞及文件可以交代環境設定，但不應成為阻止外連的唯一防線。
• 每次測試前核對所有虛構目標。 檢查公司名稱、網域、DNS紀錄及IP範圍，確保沒有撞到真實組織。
• 採用允許清單、代理伺服器及「黑洞」目標。 如果測試需要一定程度的互聯網擬真度，應把連線導向能限制目的地、避免接觸不受控系統的基礎設施。
• 持續記錄及警示對外流量。 意外DNS查詢、連往生產服務、使用憑證，或改動測試範圍以外的系統，都應立即觸發中止程序。
• 設置緊急停止掣及人工覆核。 漏洞利用、使用憑證、資料提取，或改動外部系統等高風險行動，需要可以迅速介入的人手及流程。
• 獨立測試遏制邊界。 評估方及模型開發者應親自驗證實際網絡路徑，不可只相信設定假設，或依賴合作夥伴對隔離狀態的理解。

以上是事件帶來的實務啟示，並不代表Irregular在事件發生前已經全部落實這些措施。

更大的AI安全問題：測試越似真，出錯代價越高

逼真的網絡安全評估存在一個難以迴避的矛盾：測試越接近攻擊者實際會用到的互聯網及真實系統，越能反映模型的能力；但同時，一個名稱撞網域、路由配置錯誤，或者監察遺漏，都可能帶來更大的實際後果。

Irregular自己的評估資料提到，測試目標可以包括已部署服務、資料庫、網絡及其他仿真的真實系統。當評估本身愈來愈真實，確認遏制措施是否有效就愈重要。

所以，眼前最重要的結論不是「前沿模型可以隨便逃出任何沙盒」，而是：「沙盒化」必須是一項可以驗證的技術屬性，而不是評估方、實驗室及模型共同相信的假設。

多間前沿模型實驗室又在共用的第三方評估環境中遇到同一類問題，亦令治理層面的疑問浮上水面。未來可能需要更嚴格的第三方評估方保證要求、獨立遏制測試、完整審計紀錄、更清晰的披露門檻，以及授予前沿代理即時互聯網權限的明確規則。不過，現有證據只確立了共同評估背景及相近的遏制失效類型，具體監管回應仍未明朗。

對開發者而言，操作原則其實很簡單：在獨立證明網絡邊界確實有效之前，所有網絡安全評估代理都應被視為——它能夠接觸到的系統，隨時可能是真實系統。