RespostasPublicado16 fontes
Como o Google DeepMind testou o Gemini sem compartilhar o modelo nem as perguntas
Anunciado em 27 de agosto de 2026, o piloto foi descrito pelo Google DeepMind como a primeira avaliação duplo cega de um modelo de IA proprietário e de fronteira. O teste usou prompts privados do AILuminate, da MLCommons, para analisar riscos como auxílio a ataques cibernéticos, perigos químicos e biológicos, discur...
Publicado porEditado com GPT-5.6 LunaImagens geradas com GPT Image 1.5
Resposta de pesquisa
Principais conclusões
- Anunciado em 27 de agosto de 2026, o piloto foi descrito pelo Google DeepMind como a primeira avaliação duplo cega de um modelo de IA proprietário e de fronteira.
- O teste usou prompts privados do AILuminate, da MLCommons, para analisar riscos como auxílio a ataques cibernéticos, perigos químicos e biológicos, discurso de ódio, autolesão e crimes violentos.
- A computação confidencial reduziu o conflito entre proteger os testes e proteger os pesos do modelo, mas ainda são necessários mecanismos de supervisão, reprodução independente, governança e escala.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What was Google DeepMind’s first double-blind evaluation of a proprietary frontier AI model, conducted with the Singapore AI Safety Institut. Article summary: Google DeepMind’s pilot was a “double-blind evaluation” of Gemini 2.5 Flash-Lite: confidential, never-before-used MLCommons AILuminate prompts were run against the proprietary model without Google receiving the prompts a. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
O Google DeepMind apresentou, em 27 de agosto de 2026, um piloto para testar um modelo avançado de IA sem entregar os prompts confidenciais aos donos do modelo nem os pesos do modelo aos avaliadores. O experimento avaliou o Gemini 2.5 Flash-Lite em parceria com o Singapore AI Safety Institute, a OpenMined, a AVERI e a MLCommons. A empresa descreveu o projeto como a primeira avaliação duplo-cega de um modelo de IA proprietário e de classe de fronteira. 12
13
A ideia é resolver um dilema recorrente nos testes de segurança de IA: se a empresa recebe as perguntas privadas, o material pode ser registrado, usado inadvertidamente em treinamentos posteriores ou contaminar avaliações futuras. Se os avaliadores recebem os pesos do modelo, passam a ter acesso a uma propriedade intelectual valiosa e a uma capacidade potencialmente sensível.
O que foi testado no piloto
O experimento utilizou uma pequena seleção privada da família de benchmarks AILuminate, da MLCommons. Segundo a AVERI, os prompts nunca haviam sido expostos ao Google DeepMind e foram usados para examinar comportamentos de segurança em áreas como auxílio a ataques cibernéticos, riscos químicos e biológicos, discurso de ódio, autolesão e indução à prática de crimes violentos. 1
O material do benchmark permaneceu confidencial durante todo o processo. A AVERI criptografou os prompts; o ambiente protegido executou o modelo e a avaliação; depois, os resultados foram descriptografados e classificados de acordo com critérios previamente acordados. O objetivo do piloto era demonstrar o método, e não publicar um ranking convencional: os principais resultados numéricos e os prompts utilizados não foram divulgados. 1
Como funcionou a avaliação duplo-cega
A execução ocorreu no Confidential Space, recurso de computação confidencial do Google Cloud, dentro de uma máquina virtual A3 Confidential. De acordo com o relatório técnico, o Intel TDX criptografou e isolou a memória do servidor, enquanto uma GPU NVIDIA H100 Confidential protegeu os pesos do modelo na memória da GPU usando criptografia baseada em hardware. Conexões criptografadas transportaram os prompts dos avaliadores e os ativos do modelo do Google para o ambiente protegido. 13
O desenho também incluiu controles para limitar as ações do programa e os dados que poderiam sair dele. Entre eles estavam caminhos de dados criptografados, firewalls de hardware, um ciclo de vida temporário para o enclave e a camada de políticas PySyft, da OpenMined. O modelo, o código de inferência, os prompts e o código de avaliação só foram reunidos dentro do enclave aprovado, onde a computação autorizada pôde ser executada e resultados limitados puderam ser devolvidos. 13
Por que a atestação remota foi importante
A criptografia, sozinha, não informa aos participantes qual software está sendo executado. A atestação remota foi usada para enfrentar esse problema. Antes de liberar seus ativos protegidos, o Google e os avaliadores podiam inspecionar a carga de trabalho declarada e verificar um documento criptográfico de atestação que identificava o hardware e a configuração do enclave. Só depois dessa verificação os prompts e os ativos do modelo eram disponibilizados ao ambiente. 13
Ao final da execução, o enclave retornava os resultados permitidos e era desativado. No modelo de confiança pretendido, o Google não conseguia ler os prompts dentro do enclave, enquanto os avaliadores externos não conseguiam extrair os pesos do modelo. Isso é mais forte do que depender apenas de uma promessa contratual de não registrar ou reutilizar os dados, embora não elimine todas as premissas de confiança. 13
Qual problema essa abordagem tenta resolver
A contaminação de benchmarks é um problema persistente na avaliação de sistemas de IA. Um teste perde valor se o modelo já teve contato com seus prompts durante o treinamento, o ajuste fino ou avaliações anteriores. A MLCommons afirma que benchmarks confiáveis exigem dados limpos, procedência documentada, amostragem cuidadosa e transparência suficiente para que outras pessoas entendam como os resultados foram produzidos. 20
24
A avaliação duplo-cega oferece uma terceira alternativa entre dois arranjos imperfeitos:
- Entregar os prompts ao desenvolvedor: simplifica a execução, mas pode expor perguntas reservadas e criar riscos de vazamento ou contaminação do benchmark.
- Entregar os pesos aos avaliadores: protege o benchmark contra a exposição direta dos prompts, mas em geral é inviável para modelos de fronteira proprietários.
- Usar um enclave confidencial: modelo e benchmark se encontram em um ambiente protegido por hardware, sem que nenhuma das partes receba o ativo secreto da outra em formato legível.
O piloto demonstra, portanto, um mecanismo plausível para preservar a confidencialidade dos dois lados e ainda permitir uma avaliação externa. Ele não prova, por si só, que as conclusões sobre segurança sejam completas ou decisivas de forma independente.
Limitações importantes do piloto
O experimento foi tecnicamente relevante, mas há limites claros para o que se pode concluir a partir dele.
Primeiro, os avaliadores conseguiram verificar a carga de trabalho declarada do enclave e a interface do modelo, mas não puderam inspecionar de forma independente os pesos proprietários do Google nem sua implementação de inferência. Isso restringe a capacidade de auditar se o ambiente se comportou exatamente como esperado em todos os aspectos. 13
Segundo, o ambiente operacional não era reproduzível de ponta a ponta por uma parte independente. A implantação e a infraestrutura de nuvem permaneceram sob controle do Google, em vez de serem reconstruídas e executadas novamente por uma organização sem vínculo com os participantes. O processo de atestação também continuou dependendo do hardware, do firmware, dos sistemas de serviço e da infraestrutura de atestação do Google Cloud. A verificação apoiada por hardware é mais forte do que uma promessa contratual de não registrar dados, mas não elimina a dependência dessa cadeia mais ampla. 13
Terceiro, o piloto não publicou os prompts privados nem os resultados numéricos. Manter as perguntas em segredo ajuda a preservar seu valor para testes futuros, mas também limita o escrutínio público, a comparação entre modelos e a validação independente das conclusões substantivas. A AVERI descreve o trabalho como uma avaliação qualitativa e quantitativa de pequena escala, e não como um resultado completo de benchmark público. 1
Por que isso ainda não é um padrão da indústria
O hardware seguro resolve apenas uma parte do problema. Para a avaliação duplo-cega se tornar uma prática duradoura, a governança ao redor da tecnologia também precisaria evoluir.
Salvaguardas jurídicas e institucionais deveriam estabelecer regras para o tratamento de dados, os resultados permitidos, as divulgações, a responsabilidade e o acesso — especialmente quando os testes envolvem capacidades perigosas.
A gestão dos benchmarks deveria abranger a procedência dos prompts, a amostragem, a rotulagem, a documentação, os procedimentos de atualização e o monitoramento de contaminação. A MLCommons enfatiza que um benchmark não é confiável apenas porque seus dados são secretos: sua construção e sua manutenção também precisam ser defensáveis. 20
25
A reprodução independente exigiria uma validação significativa do processo de compilação, da cadeia de atestação, das políticas de execução e dos resultados divulgados por organizações que não sejam apenas o fornecedor do modelo e o operador da nuvem.
A escalabilidade também seria essencial. Um padrão útil precisaria funcionar com diferentes desenvolvedores, arquiteturas, ambientes de nuvem, avaliadores, tipos de benchmark e lançamentos sucessivos de modelos — e não somente em uma colaboração sob medida usando uma única combinação de hardware.
O piloto do Google DeepMind é melhor entendido como uma infraestrutura para um tipo mais rigoroso de avaliação de IA, e não como a resposta definitiva à confiança em benchmarks. Ele mostra como a computação confidencial pode reduzir o conflito entre proteger os dados de teste e proteger modelos proprietários. Para que isso se transforme em evidência confiável em escala industrial, serão necessários supervisão independente, governança sólida dos benchmarks, garantias jurídicas, reprodutibilidade e viabilidade operacional — não apenas criptografia de enclaves. 13
20
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "Como o Google DeepMind testou o Gemini sem compartilhar o modelo nem as perguntas"?
Anunciado em 27 de agosto de 2026, o piloto foi descrito pelo Google DeepMind como a primeira avaliação duplo cega de um modelo de IA proprietário e de fronteira.
Quais são os pontos-chave para validar primeiro?
Anunciado em 27 de agosto de 2026, o piloto foi descrito pelo Google DeepMind como a primeira avaliação duplo cega de um modelo de IA proprietário e de fronteira. O teste usou prompts privados do AILuminate, da MLCommons, para analisar riscos como auxílio a ataques cibernéticos, perigos químicos e biológicos, discurso de ódio, autolesão e crimes violentos.
O que devo fazer a seguir na prática?
A computação confidencial reduziu o conflito entre proteger os testes e proteger os pesos do modelo, mas ainda são necessários mecanismos de supervisão, reprodução independente, governança e escala.
Fontes
deepmind.googlePiloting the world's first double-blind AI evaluations
storage.googleapis.comResolving the Dual Confidentiality Dilemma in AI Safety Auditing
averi.orgAVERI Pilot Report: The World's First Double-Blind Evaluation ...
mlcommons.orgHow to Tell When a Benchmark Is Worth Trusting | MLCommons