Bagaimana Google DeepMind Menguji Gemini Tanpa Membagikan Model dan Prompt Tes

Pada 27 Agustus 2026, Google DeepMind memperkenalkan uji coba yang disebutnya sebagai evaluasi “buta ganda” pertama untuk model AI proprietary kelas frontier. Dalam proyek bersama Singapore AI Safety Institute, OpenMined, AVERI, dan MLCommons, Gemini 2.5 Flash-Lite diuji menggunakan benchmark rahasia tanpa memberikan prompt evaluasi kepada Google dan tanpa membuka bobot model kepada evaluator. 1213

Gagasan utamanya cukup sederhana: aset sensitif dari kedua belah pihak tetap tersegel, tetapi evaluasi yang telah disepakati tetap dapat dijalankan. Pendekatan ini mencoba mengatasi dilema lama dalam pengujian keamanan AI. Jika pengembang menerima prompt privat, materi tersebut bisa tercatat, sengaja atau tidak sengaja digunakan dalam pelatihan berikutnya, atau mencemari pengujian di masa depan. Sebaliknya, jika evaluator menerima bobot model, mereka memperoleh kekayaan intelektual dan kapabilitas AI yang sangat sensitif.

Apa yang diuji dalam pilot Gemini?

Pilot ini menggunakan sebagian kecil prompt privat dari keluarga benchmark MLCommons AILuminate. Menurut AVERI, prompt tersebut belum pernah dipaparkan kepada Google DeepMind dan digunakan untuk menilai perilaku keselamatan model dalam sejumlah area, termasuk bantuan serangan siber, bahaya kimia dan biologi, ujaran kebencian, menyakiti diri, serta penggalian informasi terkait kejahatan kekerasan. 1

Materi benchmark tetap rahasia selama proses berlangsung. AVERI mengenkripsi prompt, lingkungan terlindungi menjalankan model beserta proses evaluasi, lalu keluaran yang dihasilkan didekripsi dan dinilai berdasarkan kriteria yang telah disepakati. Pilot ini ditujukan untuk mendemonstrasikan metode evaluasi, bukan menerbitkan papan peringkat publik seperti benchmark konvensional. Karena itu, skor utama model maupun prompt yang digunakan tidak dipublikasikan. 1

Bagaimana sistem “buta ganda” ini bekerja?

Evaluasi dijalankan di Confidential Space milik Google Cloud Confidential Computing, menggunakan A3 Confidential VM. Menurut laporan teknisnya, Intel TDX mengenkripsi dan mengisolasi memori host, sedangkan NVIDIA H100 Confidential GPU melindungi bobot model di memori GPU dengan enkripsi berbasis perangkat keras. Koneksi terenkripsi membawa prompt evaluator dan aset model Google ke lingkungan komputasi yang terlindungi. 13

Arsitektur tersebut juga menggunakan jalur data terenkripsi, firewall perangkat keras, siklus hidup enclave yang bersifat sementara, serta lapisan kebijakan OpenMined PySyft. Model, kode inferensi, prompt, dan kode evaluasi baru dipertemukan di dalam enclave yang telah disetujui. Di sana, hanya komputasi yang disepakati yang dapat berjalan, sementara keluaran yang dikembalikan dibatasi sesuai aturan. 13

Mengapa remote attestation penting?

Enkripsi saja tidak dapat memberi tahu peserta tentang perangkat lunak yang sedang berjalan. Di sinilah remote attestation berperan. Sebelum menyerahkan aset yang dilindungi, Google dan evaluator dapat memeriksa beban kerja yang dideklarasikan serta memverifikasi attestation quote yang mengidentifikasi perangkat keras dan konfigurasi enclave. Prompt terenkripsi dan aset model baru diberikan setelah proses verifikasi tersebut selesai. 13

Setelah evaluasi berakhir, enclave hanya mengembalikan keluaran yang diizinkan—seperti hasil evaluasi yang telah dibatasi—kemudian dimatikan. Dalam model kepercayaan yang dirancang, Google tidak dapat membaca prompt di dalam enclave, sementara evaluator tidak dapat mengekstrak bobot model. Mekanisme ini lebih kuat daripada sekadar mengandalkan janji kontraktual untuk tidak mencatat atau menggunakan kembali data evaluasi, meski tetap tidak menghapus seluruh asumsi kepercayaan. 13

Masalah apa yang ingin diatasi?

Kontaminasi benchmark merupakan masalah yang terus menghantui evaluasi AI. Hasil tes menjadi kurang bermakna apabila model telah melihat prompt yang sama saat pelatihan, fine-tuning, atau pengujian sebelumnya. MLCommons menyatakan bahwa benchmark yang dapat dipercaya membutuhkan data yang bersih, asal-usul data yang terdokumentasi, metode pengambilan sampel yang hati-hati, serta transparansi yang cukup agar pihak lain dapat memahami bagaimana hasilnya diperoleh. 2024

Evaluasi buta ganda menawarkan pilihan ketiga di antara dua skema yang sama-sama memiliki kelemahan:

• Memberikan prompt kepada pengembang: Penerapannya lebih sederhana, tetapi materi benchmark yang seharusnya ditahan dapat terbuka dan berisiko bocor ke pelatihan atau proses pengembangan berikutnya.
• Memberikan bobot model kepada evaluator: Cara ini melindungi benchmark dari paparan langsung, tetapi umumnya tidak dapat diterima untuk model frontier proprietary karena bobot model merupakan aset intelektual yang sangat berharga.
• Menggunakan confidential enclave: Model dan benchmark dipertemukan dalam lingkungan yang dilindungi perangkat keras, tanpa salah satu pihak menerima aset rahasia pihak lain dalam bentuk terbuka.

Dengan demikian, pilot Google DeepMind menunjukkan mekanisme yang masuk akal untuk menjaga kerahasiaan di kedua sisi sambil tetap memungkinkan evaluasi eksternal. Namun, pilot tersebut tidak dengan sendirinya membuktikan bahwa kesimpulan keselamatan yang dihasilkan sudah lengkap atau menentukan.

Batasan penting dalam pilot ini

Secara teknis, proyek ini merupakan demonstrasi yang signifikan. Namun, ada sejumlah batasan yang membatasi kesimpulan yang dapat ditarik.

Pertama, evaluator dapat memverifikasi beban kerja enclave dan antarmuka model, tetapi tidak dapat memeriksa secara independen bobot proprietary Google maupun implementasi inferensinya. Akibatnya, kemampuan evaluator untuk mengaudit apakah runtime berperilaku persis seperti yang diharapkan tetap terbatas. 13

Kedua, lingkungan operasional tersebut belum dapat direproduksi secara independen dari awal hingga akhir. Deployment dan infrastruktur cloud tetap berada di bawah kendali Google, bukan dibangun ulang dan dijalankan oleh pihak yang tidak terafiliasi. Proses attestation juga masih bergantung pada perangkat keras, firmware, sistem penyajian, dan infrastruktur attestation Google Cloud. Verifikasi berbasis perangkat keras memang lebih kuat daripada sekadar janji untuk tidak mencatat data, tetapi tidak menghapus ketergantungan pada rantai pasok dan infrastruktur yang lebih luas itu. 13

Ketiga, prompt privat dan hasil numerik tidak dipublikasikan. Menyembunyikan prompt membantu mempertahankan nilainya untuk pengujian mendatang, tetapi juga membatasi pengawasan publik, perbandingan antarmodel, dan validasi independen atas temuan substantifnya. AVERI menggambarkan pekerjaan ini sebagai penilaian kualitatif dan kuantitatif berskala kecil, bukan hasil benchmark publik lengkap. 1

Mengapa belum menjadi standar industri?

Perangkat keras yang aman hanya menyelesaikan sebagian dari persoalan evaluasi. Agar pengujian buta ganda dapat menjadi praktik industri yang bertahan lama, tata kelola di sekelilingnya juga harus berkembang.

Perlindungan hukum dan kelembagaan perlu menetapkan aturan tentang penanganan data, keluaran yang boleh diberikan, kewajiban pengungkapan, tanggung jawab hukum, dan akses—terutama ketika evaluasi menyangkut kapabilitas berbahaya.

Pengelolaan benchmark harus mencakup asal-usul prompt, pengambilan sampel, pelabelan, dokumentasi, prosedur pembaruan, dan pemantauan kontaminasi. MLCommons menekankan bahwa benchmark tidak menjadi tepercaya hanya karena datanya dirahasiakan; cara benchmark dibangun dan dipelihara juga harus dapat dipertanggungjawabkan. 2025

Reproduksibilitas independen membutuhkan validasi yang berarti atas proses build, rantai attestation, kebijakan eksekusi, dan hasil yang dilaporkan oleh pihak di luar penyedia model dan operator cloud.

Skalabilitas juga penting. Standar yang berguna harus dapat diterapkan pada beragam pengembang model, arsitektur, lingkungan cloud, evaluator, jenis benchmark, dan rilis model berulang—bukan hanya pada kolaborasi khusus yang memakai satu tumpukan perangkat keras.

Pada akhirnya, pilot Gemini DeepMind lebih tepat dipahami sebagai infrastruktur untuk bentuk evaluasi AI yang lebih ketat, bukan jawaban final atas persoalan kepercayaan benchmark. Proyek ini menunjukkan bagaimana confidential computing dapat mengurangi benturan antara perlindungan data tes dan perlindungan model proprietary. Namun, apakah pendekatan tersebut dapat menjadi bukti yang kredibel dalam skala industri akan bergantung pada pengawasan independen, tata kelola benchmark yang kuat, perlindungan hukum, reproduksibilitas, dan kelayakan operasional—bukan enkripsi enclave semata. 1320