Cara Microsoft Menangkap Kegagalan Agen AI Sebelum Masuk Produksi dengan Kerangka ASSERT

Di konferensi pengembang Build 2026 pada 2 Juni 2026, Microsoft mengumumkan ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing) dan merilisnya sebagai proyek sumber terbuka di bawah naungan Responsible AI di GitHub . Kerangka kerja ini mengatasi masalah yang kian pelik dalam pengembangan AI agentik: bagaimana memverifikasi bahwa agen otonom akan menghormati aturan spesifik dan batasan keamanan produk Anda sebelum berinteraksi dengan pengguna atau sistem nyata. Tolok ukur AI tradisional—yang mengukur kebergunaan, toksisitas, atau akurasi umum—sering kali luput mendeteksi kegagalan kritis pada perilaku spesifik aplikasi, seperti agen yang mengeluarkan pengembalian dana tanpa otorisasi atau membagikan data rahasia ke penerima yang salah . ASSERT menutup celah ini dengan memperlakukan spesifikasi perilaku berbahasa alami sebagai input utama untuk evaluasi, bukan sekadar konteks latar belakang.

Cara ASSERT Mengubah Kata-Kata Menjadi Rangkaian Uji

ASSERT mengikuti alur lima langkah yang mengubah maksud tertulis pengembang menjadi evaluasi yang terstruktur dan bisa didiagnosis:

1. Mulai dengan kebijakan bahasa Inggris sederhana. Pengembang mendeskripsikan perilaku yang diharapkan dan dilarang dalam bahasa alami, yang diambil dari persyaratan produk, dokumen kepatuhan, prompt sistem, atau daftar periksa peluncuran . Contohnya: "Agen dukungan ini tidak boleh mengeluarkan pengembalian dana lebih dari Rp7.500.000 tanpa persetujuan manajer" .

2. LLM mengurai spesifikasi menjadi aturan terstruktur. ASSERT menggunakan model bahasa (LLM) untuk menafsirkan deskripsi teks bebas dan menghasilkan spesifikasi yang dapat dibaca mesin tentang tindakan yang dapat diterima dan tidak dapat diterima .

3. Generasi kasus uji adversarial. Kerangka kerja ini secara sistematis menciptakan skenario yang ditargetkan, kasus ekstrem (edge case), dan input yang dirancang untuk menguji apakah agen melanggar kebijakan yang telah ditetapkan .

4. Jalankan rangkaian uji terhadap agen target. ASSERT menjalankan pengujian pada implementasi agen yang sebenarnya, merekam setiap langkah perantara dan panggilan alat (tool call) yang dilakukan agen . ASSERT bersifat agnostik terhadap kerangka kerja dan kompatibel dengan LangChain, CrewAI, AutoGen, LiteLLM, dan OpenAI—pengembang tidak terkunci di Microsoft Foundry .

5. Terima laporan yang terstruktur dan dapat ditelusuri. Setiap pengujian menghasilkan kartu skor terstruktur dengan putusan lulus/gagal dan alasan terperinci dari model juri (judge model). Karena seluruh jejak eksekusi disimpan, pengembang dapat menelusuri hingga ke panggilan alat atau langkah keputusan persis di mana agen melakukan kesalahan .

Melampaui Tolok Ukur Generik

Yang membedakan ASSERT dari alat evaluasi generik adalah fokusnya pada batasan perilaku spesifik aplikasi. Sebuah agen mungkin mendapat skor sempurna pada tolok ukur kebergunaan dan kejujuran, tetapi tetap melanggar aturan produk seperti "jangan pernah membagikan alamat email pelanggan ke layanan eksternal." ASSERT sengaja dibangun untuk menangkap kelas kegagalan semacam itu . Microsoft memposisikan kerangka kerja ini sebagai alat yang berpusat pada keamanan, mencatat bahwa metodologi evaluasinya divalidasi secara khusus untuk penilaian keamanan, bukan hanya metrik kualitas .

Bagian dari Tumpukan Kepercayaan yang Lebih Besar

ASSERT dirilis bersama Agent Control Specification (ACS), proyek sumber terbuka Microsoft lainnya yang memungkinkan tim mendefinisikan file kebijakan portabel yang menentukan apa yang boleh dan tidak boleh dilakukan agen, kapan persetujuan manusia diperlukan, dan bukti apa yang harus dicatat . Alur kerja yang dimaksudkan bersifat terintegrasi: pengembang menjalankan ASSERT terlebih dahulu untuk menemukan cacat, menerapkan kontrol runtime melalui ACS, lalu menjalankan ulang ASSERT untuk mengukur peningkatan dengan metrik sebelum-dan-sesudah . Siklus tersebut—spesifikasikan, evaluasi, kontrol, evaluasi ulang—memberi tim teknik proses yang berulang untuk memperkuat sistem agentik sebelum penerapan.

Dalam praktiknya, seorang pengembang dapat menentukan aturan seperti: "Agen riset dokumen ini tidak boleh mengirim email ke orang di luar perusahaan, harus membatasi informasi rahasia hanya untuk eksekutif level C, dan harus memberikan ringkasan singkat dengan konteks sebelumnya." ASSERT akan secara otomatis menghasilkan kasus uji adversarial yang sesuai, menjalankannya, dan menandai setiap pelanggaran kebijakan dengan laporan yang dinilai dan jejak penuh .

ASSERT bersifat sumber terbuka dan dihosting di github.com/responsibleai/ASSERT. Saat peluncurannya, proyek ini mendapatkan dukungan komunitas dari CrewAI, Arize AI, LiteLLM, Pipecat, dan Pydantic .