Gaussian probing嘅做法唔係問個模型會output啲乜嘢圖像,而係問呢個adaptor點樣改變咗模型喺擴散過程(diffusion process)本身嘅高斯狀態空間(Gaussian state space)上嘅內部反應模式 。
呢個方法係透過量度一個LoRA adaptor 點樣功能上干擾模型嘅內部表徵。具體嚟講,研究人員會將一組參考用嘅隨機高斯潛在狀態(random Gaussian latent states)輸入模型嘅擴散過程,然後觀察隱藏層嘅激活值(hidden activations)點樣改變 。
核心嘅數學工具係一個「探測函數」(probe functional),佢會計算一組高斯噪聲輸入喺唔同擴散時間步(diffusion timesteps)嘅平均隱藏表徵,然後將呢啲數據結合成一個特徵向量嚟描述個adaptor嘅效果 。之後,研究人員會用呢啲特徵向量train一個分類器,用嚟區分有害(專門生成CSAM)同良性嘅adaptor。
喺測試入面,Gaussian probing程序成功識別出所有被專門用嚟生成CSAM嘅模型變種,準確率高達100% 。研究人員發現,Gaussian probing可以可靠咁區分良性同有害嘅專門化,相比起單純睇權重嘅基準方法(raw-weight baseline),後者可能會依賴訓練嘅偶然痕跡而唔係有意義嘅內容訊號
。
呢項研究係由MIT研究生Vinith Suriyakumar、副教授Ashia Wilson同Marzyeh Ghassemi,聯同Thorn嘅研究人員(包括Dr. Rebecca Portnoff)一齊合作完成 。
Gaussian probing解決咗呢個矛盾——佢純粹根據模型嘅內部激活值嚟評估模型 有冇能力 生成CSAM,完全唔使生成任何輸出圖像。正如MIT嘅公告所講:「佢哋嘅技術係透過檢查模型喺用CSAM進行finetune之後,內部運作點樣改變,而完全唔需要睇任何圖像。」
呢項技術喺AI生成CSAM問題大爆發嘅時候出現。來自權威機構嘅主要統計數據包括:
Gaussian probing填補咗AI安全工具箱入面一個關鍵嘅缺口。目前針對AI生成CSAM嘅防禦主要依賴輸入過濾、輸出過濾同訓練數據篩查 。但研究顯示,「就算過濾做得完美,透過finetune仍然可以重新引入某個概念」,即係話現行嘅過濾方法對「封閉權重模型」嘅保護有限,對「開放權重模型」更加係完全冇保護
。
透過令平台可以喺有害嘅finetune模型廣泛散佈之前就檢測到佢哋,Gaussian probing可以令Hugging Face同Civitai呢類平台喺篩查上傳嘅LoRA adaptor時,唔使做犯法嘅內容生成 。
目前嚟講,呢項技術提供咗一個可擴展、非生成式嘅替代方案,用喺嗰啲因為法律限制而唔可以生成內容嘅高風險領域——呢個正正係AI生成CSAM危機日益加劇之下,業界一直急需嘅工具。