Google DeepMind 最近示範咗一種新嘅人工智能安全評測方法:模型開發者唔會見到外部評測人員嘅私密提示詞,而評測人員亦唔會接觸到模型權重。呢項試點於 2026 年 8 月 27 日公布,由 Google DeepMind 聯同新加坡人工智能安全研究院(Singapore AI Safety Institute)、OpenMined、AVERI 及 MLCommons 進行,測試對象係 Gemini 2.5 Flash-Lite。Google 將佢形容為全球首次針對專有、前沿級人工智能模型嘅雙盲評測。
12
13
簡單講,雙方各自將敏感資料鎖好,再喺一個受硬件保護嘅環境入面完成指定測試。咁做係為咗避開傳統安全評測嘅兩難:如果開發者攞到私密測試題,題目可能被記錄、意外用於日後訓練,或者令模型提早「見過」考題;但如果評測方攞到模型權重,就等於接觸到極具價值嘅商業機密,以及可能涉及敏感能力嘅系統。
今次 Gemini 測試咗啲乜?
試點採用 MLCommons AILuminate 基準系列入面一小部分私密題目。AVERI 表示,呢批提示詞之前未曾向 Google DeepMind 公開,用嚟檢視模型喺多個安全範疇嘅表現,包括協助網絡攻擊、化學及生物危害、仇恨言論、自我傷害,以及誘導暴力犯罪等。
1
測試材料由頭到尾都保持機密。AVERI 先將提示詞加密,再由受保護環境執行模型及評測程序;最後,輸出結果先解密,並按照事先同意嘅準則評分。今次試點主要係展示一套評測方法,唔係要製作一般公開排行榜,所以官方冇公布模型總分,亦冇公開底層提示詞。
1
「雙盲」架構點樣運作?
評測喺 Google Cloud Confidential Computing 嘅 Confidential Space 入面進行,運行於 A3 Confidential VM。技術報告指,Intel TDX 會加密同隔離主機記憶體,而 NVIDIA H100 Confidential GPU 就以硬件加密保護 GPU 記憶體入面嘅模型權重。評測方嘅提示詞同 Google 嘅模型資產,透過加密連線送入受保護環境。
13
系統亦加入多重限制,控制評測工作負載可以做乜,以及可以輸出乜,包括加密數據通道、硬件防火牆、一次性嘅 enclave 生命週期,同 OpenMined PySyft 政策層。模型、推理程式、提示詞及評測程式,只有喺獲批准嘅 enclave 入面先會互相接觸;系統完成指定運算後,只可以送返受限制嘅結果。
13
點解要用遠程證明?
單靠加密,未必足以令參與者知道實際運行緊嘅係邊套軟件。遠程證明(remote attestation)就係用嚟處理呢個問題。
喺交出任何受保護資產之前,Google 同評測方可以檢查已申報嘅工作負載,並核實一份證明硬件及 enclave 配置嘅 attestation quote。完成驗證之後,加密提示詞同模型資產先會交畀受保護環境。
13
測試完成後,enclave 只會送返獲准嘅評測輸出,之後就會被拆除。按照呢套信任模型,Google 理論上睇唔到 enclave 入面嘅提示詞,而外部評測方亦無法抽取模型權重。相比單靠合約承諾「唔記錄、唔重用資料」,硬件層面嘅保護更進一步;但佢唔代表所有信任假設都已經消失。
13
佢解決咗咩問題?
其中一個核心問題係基準污染(benchmark contamination)。如果模型喺訓練、微調或者較早嘅測試階段見過考題,之後再測出嚟嘅成績就未必反映真正能力。MLCommons 指出,可信嘅基準需要有乾淨數據、清楚嘅來源記錄、審慎抽樣,以及足夠透明度,令其他人明白結果係點樣產生。
20
24
傳統做法通常有兩個選擇,但各有問題:
- 將測試題交畀模型開發者: 部署最簡單,但會暴露保留題目,增加外洩風險,亦可能令題目日後流入訓練或測試流程。
- 將模型權重交畀評測方: 可以避免開發者直接接觸題目,但對專有前沿模型嚟講,通常難以接受,因為權重本身就係重要知識產權。
- 將兩者放入機密 enclave: 模型同基準喺硬件保護環境入面一齊運算,任何一方都唔會以明文形式攞到對方嘅秘密資產。
所以,今次試點展示咗一條可行嘅「第三條路」:雙方保留機密,同時容許外部評測實際執行。不過,呢個方法本身唔足以證明相關安全結論已經完整,或者具備獨立、決定性嘅證據力。
試點仍然有幾個重要限制
今次係一個技術上有代表性嘅示範,但可以由結果推論到幾遠,仍然受到以下限制約束。
第一,評測方睇唔到模型權重同完整推理實作。 評測人員可以核實 enclave 已申報嘅工作負載同模型介面,但無法獨立檢查 Google 嘅專有模型權重或推理程式。因此,佢哋未能全面審計運行時環境係咪喺每一方面都完全按照預期運作。
13
第二,整個運行環境未能由外部人士端到端重現。 部署同雲端基礎設施仍然由 Google 控制,並非由無關第三方重新建構及重跑。即使有硬件支援嘅驗證,系統仍然要依賴 Google Cloud 嘅硬件、韌件、服務系統及 attestation 基礎設施。呢種驗證比「我哋承諾唔記錄資料」更強,但唔能夠完全消除對整個供應鏈嘅信任要求。
13
第三,提示詞同數字結果都冇公開。 保留題目機密,有助維持佢哋日後測試嘅價值;但同一時間,亦限制咗公眾監察、模型之間嘅比較,以及外部人士對實質發現嘅獨立驗證。AVERI 將今次工作定位為定性及小規模定量評估,而唔係完整公開基準結果。
1
點解仲未算係業界標準?
安全硬件只係解決評測問題嘅其中一部分。要令雙盲測試成為可以長期採用嘅業界做法,周邊治理制度亦要一齊成熟。
法律及機構保障需要清楚界定資料處理、容許輸出、披露規則、責任承擔同存取權限;如果測試涉及危險能力,呢啲安排尤其重要。
**基準管理(benchmark stewardship)**就要涵蓋提示詞來源、抽樣、標籤、文件記錄、更新程序,以及污染監察。MLCommons 強調,基準可信唔係因為資料夠秘密就算,而係佢嘅建立及維護方式本身要經得起檢驗。
20
25
獨立重現方面,除咗模型供應商同雲端營運商之外,仲需要有其他機構以有意義嘅程度驗證建置流程、attestation 鏈、執行政策同報告結果。
擴展能力亦同樣關鍵。一套真正有用嘅標準,應該可以跨越唔同模型開發者、架構、雲端環境、評測方、基準類型,以及模型反覆更新嘅情況,而唔係只適用於一次性、度身訂造、依賴單一硬件組合嘅合作。
整體而言,Google DeepMind 嘅 Gemini 雙盲試點,較適合被理解為一套應付更高難度人工智能評測嘅基礎設施,而唔係「基準可信度」嘅最終答案。佢展示咗機密運算點樣減低保護測試數據同保護專有模型之間嘅衝突;但要喺業界大規模成為可信證據,最終仍要靠獨立監督、穩健嘅基準治理、法律保障、可重現性同實際操作能力,而唔係單靠 enclave 加密技術。
13
20