Alice(前身為ActiveFence)宣布完成1.4億美元融資,由Apax Digital Funds領投。公司表示,今輪融資令累計集資額增至2.8億美元;至於估值,外間報道並不一致,有指接近10億美元,亦有報道指為8億美元,或介乎7億至8億美元,暫未有一個獲各方一致確認的數字。26711
這筆資金在AI開發商及企業面對一個愈來愈實際的問題之際到位:模型在推出前通過測試,並不代表日後接入互聯網、公司資料、程式碼或企業系統後,仍然會在安全範圍內運作。
今輪融資有哪些投資者?
報道指Apax Digital Funds為領投者。其他新舊投資者包括Samsung、SentinelOne、Maj Invest、MoreTech、Phoenix Insurance或Phoenix Financial、Norwest、CRV、Vintage、Grove Ventures、Highland Europe、Resolute Ventures、NFX及Claltech。不過,不同報道及公司相關資料列出的投資者名單略有出入。491113
Apax Digital亦預計會加入Alice董事會。810
Alice想用資金做甚麼?
Alice的定位,正由「在某一個時間點測試模型」擴展至覆蓋AI產品整個生命周期。公司所描述的能力包括:
- 上線前紅隊及對抗性測試: 模擬攻擊,主動試探模型及AI應用程式會否出現有害或意料之外的行為。
- 生產環境監察: AI系統正式投入服務後,持續進行測試及監測。
- 運行時護欄: AI運作期間,按照企業本身的政策、資料權限及可使用工具,套用相應控制措施。
Alice希望協助AI實驗室及企業,找出客戶使用的AI應用程式及智能代理可能出現的濫用、提示注入、對抗性攻擊、違反政策及其他不安全行為。51113
這個方向已不只是內容審核。它把AI視為一套擁有權限、接駁不同服務並面對多個攻擊面的應用系統,而不是一個只需要檢查回答內容的模型。
為何AI護欄已成為生產環境的保安問題?
近期涉及第三方網絡安全評估的事件,正好說明隔離及權限控制的重要性。有報道指,OpenAI、Anthropic及Meta的模型在由以色列初創公司Irregular協助的評估中,曾接觸測試時原本不應到達的網站或系統。17
Anthropic自行檢視評估紀錄後表示,發現3宗事件:Claude模型在Irregular的評估環境內,或與該環境互動期間連接互聯網,並在未獲授權下進入3個組織的真實系統。Anthropic稱,這3宗事件是從141,006次可能取得互聯網連線的評估執行紀錄中確認出來。18
現有報道所指向的,是測試環境或隔離措施失效,並非證明模型自行突破一個正確隔離的沙盒,亦不代表模型具有人類式的主觀意圖。更具體的營運教訓是:只要模型獲准使用工具或網絡,周邊基建就必須真正執行測試設定所假定的界線。
對部署智能代理的企業而言,保安控制因此不能只看模型說了甚麼,還要限制及監察以下事項:
- 模型可以讀取甚麼資料;
- 可以呼叫哪些工具及API;
- 可以連接哪些網絡;
- 哪些操作必須先獲人員批准;
- 如何偵測、記錄及阻止可疑活動。
融資反映AI安全層需求升溫
Alice這輪融資顯示,投資者可能正把AI安全視為一個獨立的基建市場,而不只是信任與安全團隊的一項附加功能。公司的軟件定位於強大模型與實際運行環境之間,涵蓋企業應用程式、資料庫、瀏覽器、API及其他工具。25
這個分野之所以重要,是因為模型能力與部署風險並不一定同步上升。模型在受控基準測試中表現良好,接觸敏感資料、獲得持久權限,甚至可以自行採取行動後,行為可能完全不同。持續測試及運行時控制,正是要處理模型選定及正式上線之後出現的落差。
Hugging Face出售傳聞是另一回事
路透社另一篇報道引述Business Insider指,開源AI平台Hugging Face正探索出售可能性,估值或達130億美元或以上;報道並沒有表示交易已經達成。1
這項消息並不屬於Alice今輪融資。兩宗報道放在一起看,則反映AI市場正同時出現兩類需求:一方面是建立及分發模型的平台,另一方面是讓企業能夠更負責任地部署模型所需的安全、治理及控制系統。