Google DeepMind 近日展示了一种新的 AI 安全评测方式：在不把测试题目交给模型开发者、也不把模型权重交给外部评测方的情况下，对专有模型进行测试。

这项试点于 2026 年 8 月 27 日公布，由 Google DeepMind 联合新加坡人工智能安全研究所、OpenMined、AI Verification and Evaluation Research Institute（AVERI）以及 MLCommons 开展。测试对象是 Gemini 2.5 Flash-Lite，Google 将其称为首个针对专有前沿级 AI 模型的“双盲评测”。1213

“双盲”到底保护了什么？

传统 AI 安全测试往往面临两难：

• 如果把私有测试题目交给模型开发者，题目可能被记录、意外用于后续训练，或以其他方式污染未来评测。
• 如果把模型权重交给外部评测方，开发者则需要暴露极具价值的知识产权和潜在敏感能力。

Google DeepMind 的方案试图提供第三条路径：让双方的机密材料在受保护的计算环境中汇合，只返回事先约定且受到限制的评测输出。

Gemini 试点测试了什么

试点从 MLCommons AILuminate 基准系列中选取了一小部分私有题目。AVERI 表示，这些题目此前没有暴露给 Google DeepMind，用于考察模型在网络攻击协助、化学与生物危害、仇恨言论、自残以及暴力犯罪诱导等领域的安全行为。1

题目材料在整个过程中保持机密。AVERI 先对题目加密，受保护的运行环境负责加载模型并执行评测，随后输出被解密，并按照事先约定的标准进行评分。该试点的重点是验证这种评测机制，而不是发布传统意义上的公开排行榜，因此没有公布模型的核心分数或底层题目。1

技术上如何实现“双方都看不到对方的秘密”

评测运行在 Google Cloud Confidential Computing 的 Confidential Space 中，底层使用 A3 Confidential VM。技术报告称，Intel TDX 对主机内存进行加密和隔离，NVIDIA H100 Confidential GPU 则通过硬件加密保护 GPU 内存中的模型权重。评测方的题目和 Google 的模型资产通过加密连接进入受保护环境。13

系统还使用了加密数据通道、硬件防火墙、临时性安全飞地生命周期，以及 OpenMined 的 PySyft 策略层，用于限制运行任务能够执行的操作和最终能够返回的内容。模型、推理代码、测试题目和评测代码只有在获准的安全飞地内部才会汇合，执行约定好的计算，并返回范围受限的结果。13

为什么远程证明很重要

单靠加密，并不能告诉参与者安全环境里运行的究竟是什么软件。远程证明（remote attestation）旨在解决这一问题。

在交出机密材料之前，Google 和评测方可以检查申报的工作负载，并验证一份证明硬件和安全飞地配置的加密证明报告。只有验证通过后，加密后的题目和模型资产才会被释放到该环境中。13

评测结束后，安全飞地返回获准的结果，并被销毁。在这一信任模型下，Google 理论上无法读取飞地内部的测试题目，外部评测方也无法提取模型权重。这比单纯依赖“不记录、不复用数据”的合同承诺更强，但并不意味着所有信任假设都已消失。13

它如何应对“基准污染”

基准污染一直是 AI 评测中的核心问题。如果模型在训练、微调或此前的测试中见过题目，那么测试结果的参考价值就会下降。MLCommons 表示，可信基准需要具备干净的数据、可记录的数据来源、审慎的抽样方式，以及足够的透明度，让其他人理解结果是如何产生的。2024

双盲评测的逻辑可以概括为三种安排：

1. 把题目交给开发者：部署简单，但可能暴露保留题目，增加数据泄漏风险。
2. 把模型权重交给评测方：有助于保护基准题目，但对专有前沿模型通常不可接受。
3. 使用机密计算环境：模型和基准题目在硬件保护的环境中相遇，双方都不以明文获得对方的秘密资产。

因此，这次试点展示了一种在保护双方机密的同时进行外部评测的可行机制。不过，它本身并不能证明由此得出的安全结论已经完整，或足以独立作出最终判断。

这项试点仍有哪些局限

这是一项具有技术意义的展示，但能够得出的结论仍受到多方面限制。

首先，评测方可以验证申报的安全飞地工作负载和模型接口，却无法独立检查 Google 的专有模型权重或完整推理实现。因此，评测方无法全面审计运行时是否在所有方面都严格按照预期运行。13

其次，整个运行环境尚不能由第三方端到端独立复现。部署和云基础设施仍由 Google 控制，而不是由无关联的机构自行重建并重新运行。远程证明流程也依赖 Google Cloud 的硬件、固件、模型服务系统和证明基础设施。硬件支持的验证强于“不记录数据”的合同承诺，但仍无法完全摆脱对云服务商及其硬件、固件和证明供应链的依赖。13

第三，试点没有公开私有题目或数值结果。隐藏题目有助于保持其未来测试价值，但也限制了公众审查、模型间比较以及对实质性结论的独立验证。AVERI 将这项工作描述为定性评估与小规模定量评估，而不是完整的公开基准结果。1

为什么它还不是行业标准

安全硬件只能解决 AI 评测问题的一部分。要让双盲测试成为长期、可推广的行业实践，外围治理机制也必须同步成熟。

法律与制度保障需要明确数据处理、允许返回的结果、披露规则、责任分配和访问权限，尤其是在评测涉及危险能力时。

基准治理需要覆盖题目来源、抽样、标注、文档、更新机制和污染监测。MLCommons 强调，一个基准值得信任，不只是因为数据被保密，更因为它的构建和维护方式经得起审查。2025

独立复现则要求模型提供商和云服务商之外的机构，能够在有意义的程度上验证构建过程、证明链、执行策略和报告结果。

可扩展性同样关键。真正有用的标准必须适用于不同的模型开发者、模型架构、云环境、评测方、基准类型以及多轮模型发布，而不能只适用于一次使用单一硬件栈的定制化合作。

因此，Google DeepMind 的 Gemini 双盲评测更适合被理解为一种面向更严格 AI 评测的基础设施试点，而不是对“如何建立可信基准”的最终答案。它展示了机密计算如何缓解测试数据和专有模型之间的冲突；但要在行业规模上形成可信证据，最终仍取决于独立监督、健全的基准治理、法律保护、可复现性和实际运营能力，而不仅是安全飞地中的加密技术。1320

Google DeepMind 近日展示了一种新的 AI 安全评测方式：在不把测试题目交给模型开发者、也不把模型权重交给外部评测方的情况下，对专有模型进行测试。

这项试点于 2026 年 8 月 27 日公布，由 Google DeepMind 联合新加坡人工智能安全研究所、OpenMined、AI Verification and Evaluation Research Institute（AVERI）以及 MLCommons 开展。测试对象是 Gemini 2.5 Flash-Lite，Google 将其称为首个针对专有前沿级 AI 模型的“双盲评测”。1213

“双盲”到底保护了什么？

传统 AI 安全测试往往面临两难：

• 如果把私有测试题目交给模型开发者，题目可能被记录、意外用于后续训练，或以其他方式污染未来评测。
• 如果把模型权重交给外部评测方，开发者则需要暴露极具价值的知识产权和潜在敏感能力。

Google DeepMind 的方案试图提供第三条路径：让双方的机密材料在受保护的计算环境中汇合，只返回事先约定且受到限制的评测输出。

Gemini 试点测试了什么

试点从 MLCommons AILuminate 基准系列中选取了一小部分私有题目。AVERI 表示，这些题目此前没有暴露给 Google DeepMind，用于考察模型在网络攻击协助、化学与生物危害、仇恨言论、自残以及暴力犯罪诱导等领域的安全行为。1

题目材料在整个过程中保持机密。AVERI 先对题目加密，受保护的运行环境负责加载模型并执行评测，随后输出被解密，并按照事先约定的标准进行评分。该试点的重点是验证这种评测机制，而不是发布传统意义上的公开排行榜，因此没有公布模型的核心分数或底层题目。1

技术上如何实现“双方都看不到对方的秘密”

评测运行在 Google Cloud Confidential Computing 的 Confidential Space 中，底层使用 A3 Confidential VM。技术报告称，Intel TDX 对主机内存进行加密和隔离，NVIDIA H100 Confidential GPU 则通过硬件加密保护 GPU 内存中的模型权重。评测方的题目和 Google 的模型资产通过加密连接进入受保护环境。13

系统还使用了加密数据通道、硬件防火墙、临时性安全飞地生命周期，以及 OpenMined 的 PySyft 策略层，用于限制运行任务能够执行的操作和最终能够返回的内容。模型、推理代码、测试题目和评测代码只有在获准的安全飞地内部才会汇合，执行约定好的计算，并返回范围受限的结果。13

为什么远程证明很重要

单靠加密，并不能告诉参与者安全环境里运行的究竟是什么软件。远程证明（remote attestation）旨在解决这一问题。

在交出机密材料之前，Google 和评测方可以检查申报的工作负载，并验证一份证明硬件和安全飞地配置的加密证明报告。只有验证通过后，加密后的题目和模型资产才会被释放到该环境中。13

评测结束后，安全飞地返回获准的结果，并被销毁。在这一信任模型下，Google 理论上无法读取飞地内部的测试题目，外部评测方也无法提取模型权重。这比单纯依赖“不记录、不复用数据”的合同承诺更强，但并不意味着所有信任假设都已消失。13

它如何应对“基准污染”

基准污染一直是 AI 评测中的核心问题。如果模型在训练、微调或此前的测试中见过题目，那么测试结果的参考价值就会下降。MLCommons 表示，可信基准需要具备干净的数据、可记录的数据来源、审慎的抽样方式，以及足够的透明度，让其他人理解结果是如何产生的。2024

双盲评测的逻辑可以概括为三种安排：

1. 把题目交给开发者：部署简单，但可能暴露保留题目，增加数据泄漏风险。
2. 把模型权重交给评测方：有助于保护基准题目，但对专有前沿模型通常不可接受。
3. 使用机密计算环境：模型和基准题目在硬件保护的环境中相遇，双方都不以明文获得对方的秘密资产。

因此，这次试点展示了一种在保护双方机密的同时进行外部评测的可行机制。不过，它本身并不能证明由此得出的安全结论已经完整，或足以独立作出最终判断。

这项试点仍有哪些局限

这是一项具有技术意义的展示，但能够得出的结论仍受到多方面限制。

首先，评测方可以验证申报的安全飞地工作负载和模型接口，却无法独立检查 Google 的专有模型权重或完整推理实现。因此，评测方无法全面审计运行时是否在所有方面都严格按照预期运行。13

其次，整个运行环境尚不能由第三方端到端独立复现。部署和云基础设施仍由 Google 控制，而不是由无关联的机构自行重建并重新运行。远程证明流程也依赖 Google Cloud 的硬件、固件、模型服务系统和证明基础设施。硬件支持的验证强于“不记录数据”的合同承诺，但仍无法完全摆脱对云服务商及其硬件、固件和证明供应链的依赖。13

第三，试点没有公开私有题目或数值结果。隐藏题目有助于保持其未来测试价值，但也限制了公众审查、模型间比较以及对实质性结论的独立验证。AVERI 将这项工作描述为定性评估与小规模定量评估，而不是完整的公开基准结果。1

为什么它还不是行业标准

安全硬件只能解决 AI 评测问题的一部分。要让双盲测试成为长期、可推广的行业实践，外围治理机制也必须同步成熟。

法律与制度保障需要明确数据处理、允许返回的结果、披露规则、责任分配和访问权限，尤其是在评测涉及危险能力时。

基准治理需要覆盖题目来源、抽样、标注、文档、更新机制和污染监测。MLCommons 强调，一个基准值得信任，不只是因为数据被保密，更因为它的构建和维护方式经得起审查。2025

独立复现则要求模型提供商和云服务商之外的机构，能够在有意义的程度上验证构建过程、证明链、执行策略和报告结果。

可扩展性同样关键。真正有用的标准必须适用于不同的模型开发者、模型架构、云环境、评测方、基准类型以及多轮模型发布，而不能只适用于一次使用单一硬件栈的定制化合作。

因此，Google DeepMind 的 Gemini 双盲评测更适合被理解为一种面向更严格 AI 评测的基础设施试点，而不是对“如何建立可信基准”的最终答案。它展示了机密计算如何缓解测试数据和专有模型之间的冲突；但要在行业规模上形成可信证据，最终仍取决于独立监督、健全的基准治理、法律保护、可复现性和实际运营能力，而不仅是安全飞地中的加密技术。1320