Microsoft ASSERT: Uji Ejen AI Hanya Guna Ayat Bahasa Inggeris, Kegagalan Dikesan Awal!

Di sinilah ASSERT memainkan peranan—ia menjadikan spesifikasi tingkah laku dalam bahasa biasa sebagai input utama untuk penilaian, bukan sekadar konteks latar belakang.

Bagaimana Ayat Bahasa Inggeris Ditukar Menjadi Ujian Gempur

Bayangkan anda seorang developer atau product manager. Anda ada ‘rule book’ untuk ejen AI, tetapi tidak mahu menulis beratus-ratus skrip ujian secara manual. ASSERT mengautomasikan proses ini melalui lima langkah utama:

1. Mulakan dengan polisi bahasa biasa. Anda atau pasukan anda menulis jangkaan dan larangan dalam bahasa Inggeris biasa, berdasarkan dokumen pematuhan atau ‘launch checklist’. Sebagai contoh: “Ejen sokongan ini tidak boleh mengeluarkan bayaran balik melebihi RM2,000 tanpa kelulusan pengurus” .

2. Model Bahasa (LLM) mentafsir spesifikasi menjadi peraturan berstruktur. ASSERT menggunakan model AI untuk membaca arahan teks bebas anda dan menghasilkan spesifikasi yang boleh dibaca mesin, lengkap dengan senarai tindakan yang dibenarkan dan dilarang .

3. Penjanaan kes ujian ‘adversarial’. Di sinilah ‘magic’ berlaku. Rangka kerja ini akan mencipta pelbagai senario gempur yang licik, kes-kes ‘edge’, dan input yang direka khusus untuk cuba ‘memancing’ ejen agar melanggar polisi yang telah anda tetapkan .

4. Laksanakan suite ujian terhadap ejen. ASSERT menjalankan ujian ke atas ejen sebenar anda dan merekod setiap langkah, termasuk setiap ‘tool call’ (panggilan fungsi) yang dibuatnya . Menariknya, ia ‘framework-agnostic’—ia serasi dengan LangChain, CrewAI, AutoGen, LiteLLM, dan OpenAI Agents SDK, jadi anda tidak terikat dengan platform Microsoft Foundry .

5. Terima laporan skor dan ‘trace’ yang lengkap. Setiap ujian menghasilkan kad skor berstruktur dengan keputusan lulus/gagal dan justifikasi terperinci daripada model ‘hakim’. Kerana semua log penuh disimpan, anda boleh ‘drill down’ ke langkah spesifik di mana ejen anda mula ‘meroyan’ atau membuat keputusan silap .

Mengatasi Kelemahan Penanda Aras Generik

Apa yang membezakan ASSERT? Fokusnya pada sempadan tingkah laku spesifik aplikasi. Satu ejen mungkin mendapat markah sempurna dalam ujian ‘helpfulness’ dan ketepatan, tetapi dalam diam boleh melanggar peraturan dalaman seperti “jangan sekali-kali kongsi alamat e-mel pelanggan dengan perkhidmatan luaran.” ASSERT dibina khusus untuk menangkap kelas kegagalan sebegini yang sering terlepas pandang .

Sebahagian daripada ‘Trust Stack’ yang Lebih Besar

ASSERT dilancarkan bersama Agent Control Specification (ACS), satu lagi projek sumber terbuka Microsoft. Jika ASSERT adalah alat pengesan kerosakan, ACS adalah pagar keselamatan masa nyata (runtime). ACS membolehkan pasukan menentukan polisi ‘portable’ seperti tindakan yang dilarang, situasi yang memerlukan campur tangan manusia, dan bukti log yang perlu direkodkan .

Aliran kerja yang dicadangkan sangat kemas: Spesifikasi → Uji dengan ASSERT → Kawal dengan ACS → Uji semula dengan ASSERT. Kitaran ini memberi pasukan kejuruteraan satu proses berulang (repeatable) untuk ‘mengeraskan’ sistem ejen sebelum ia berdepan pengguna .

Dalam amalan, seorang pembangun boleh menulis: “Ejen penyelidik dokumen ini tidak boleh menghantar e-mel kepada orang luar syarikat, mesti mengehadkan maklumat sulit kepada eksekutif peringkat C sahaja, dan perlu beri ringkasan padat dengan konteks terdahulu.” ASSERT akan menjana ujian gempur secara automatik, melaksanakannya, dan membenderakan sebarang pelanggaran .

ASSERT adalah sumber terbuka dan dihoskan di github.com/responsibleai/ASSERT. Semasa pelancarannya, ia menerima sokongan komuniti daripada CrewAI, Arize AI, LiteLLM, Pipecat, dan Pydantic .