RAMPART dan Clarity: Cara Baru Microsoft Membawa Keamanan AI Agent ke Alur Kerja Developer

RAMPART: Pengujian Adversarial Berkelanjutan untuk AI Agent

RAMPART (Risk Assessment and Measurement Platform for Agentic Red Teaming) adalah framework pengujian yang dirancang khusus untuk AI agent. Tujuannya adalah mengubah skenario interaksi—baik normal maupun berbahaya—menjadi tes otomatis yang bisa dijalankan berulang kali.

Workflow pengujian berbasis pytest

RAMPART dibangun agar kompatibel dengan pytest, salah satu framework testing paling populer di Python. Developer dapat menulis tes keamanan AI dengan cara yang sama seperti menulis unit test biasa.

Karena itu, tes keamanan dapat berjalan bersama tes aplikasi lain dalam pipeline CI (Continuous Integration) perusahaan.

Pendekatan ini memudahkan tim engineering untuk mengintegrasikan keamanan AI ke workflow yang sudah mereka gunakan sehari‑hari.

Mengubah skenario serangan menjadi tes otomatis

RAMPART memungkinkan developer mensimulasikan berbagai situasi berisiko yang mungkin dihadapi AI agent di dunia nyata, misalnya:

• serangan prompt injection
• permintaan yang mencoba melewati kebijakan keamanan
• penggunaan tool berbahaya seperti perintah shell berisiko
• upaya mengekstrak data sensitif

Setiap skenario dapat ditulis sebagai tes yang memeriksa apakah agent menolak permintaan tersebut atau merespons secara aman.

Mengubah temuan red‑team menjadi tes regresi

Salah satu ide penting dalam RAMPART adalah memastikan temuan keamanan tidak berhenti sebagai laporan sekali pakai.

Jika tim keamanan menemukan celah—misalnya agent berhasil dipengaruhi oleh prompt injection—skenario tersebut dapat ditambahkan sebagai tes regresi. Dengan begitu, setiap perubahan kode atau model di masa depan akan diuji kembali terhadap masalah yang sama.

Menghadapi perilaku AI yang tidak deterministik

AI agent tidak selalu menghasilkan output yang sama setiap kali dijalankan. Artinya, satu tes yang berhasil belum tentu menjamin keamanan dalam semua kondisi.

RAMPART dirancang untuk menjalankan skenario berisiko berulang kali pada berbagai build sehingga tim dapat memantau pola perilaku agent dan mendeteksi regresi keamanan dari waktu ke waktu.

Integrasi dengan pipeline CI/CD

Karena tes RAMPART berjalan di lingkungan CI/CD, perusahaan dapat secara otomatis memblokir perubahan yang membuat agent menjadi kurang aman.

Perubahan yang bisa diuji meliputi:

• prompt atau instruksi agent
• model AI yang digunakan
• API atau tool eksternal
• sumber data retrieval
• kebijakan keamanan

Jika salah satu perubahan menyebabkan agent gagal pada tes keamanan, build dapat dihentikan sebelum sistem dipasang di produksi.

Clarity: Analisis Keamanan Sebelum Kode Ditulis

Jika RAMPART berfungsi sebagai alat pengujian, Clarity berperan pada tahap yang lebih awal.

Microsoft menggambarkannya sebagai “structured sounding board” untuk membantu tim mengevaluasi keputusan desain AI agent sebelum pengembangan dimulai.

Clarity memandu diskusi tim dengan pertanyaan seperti:

• Tugas apa saja yang boleh dilakukan agent—dan mana yang harus ditolak?
• Tool atau izin apa yang benar‑benar dibutuhkan?
• Jenis penyalahgunaan apa yang mungkin terjadi?
• Kontrol keamanan atau tes apa yang harus ada sebelum deployment?

Pendekatan ini membantu tim menemukan asumsi berisiko sejak awal, ketika perubahan desain masih lebih mudah dilakukan.

Digunakan Juga Setelah Insiden atau Kegagalan

Clarity tidak hanya dipakai saat perencanaan awal. Tool ini juga berguna ketika terjadi kegagalan pengujian atau insiden di produksi.

Jika sebuah agent gagal dalam tes RAMPART atau menunjukkan perilaku tak terduga, tim dapat menggunakan Clarity untuk mengevaluasi kembali desain sistem, misalnya:

• risiko apa yang sebelumnya terlewat
• kontrol keamanan apa yang belum ada
• tes tambahan apa yang perlu dibuat

Hasil analisis tersebut kemudian dapat diterjemahkan menjadi tes regresi baru di RAMPART, sehingga sistem semakin kuat dari waktu ke waktu.

Mengapa Pendekatan Ini Penting untuk AI Perusahaan

AI agent di perusahaan biasanya bekerja di lingkungan kompleks: membaca data internal, memanggil API, menjalankan tool otomatis, dan berinteraksi dengan pengguna.

Jika agent dapat dimanipulasi melalui prompt injection atau menjalankan tool berbahaya, dampaknya bisa langsung menyentuh operasi bisnis atau keamanan data.

Dengan menggabungkan analisis desain terstruktur melalui Clarity dan pengujian adversarial otomatis melalui RAMPART, Microsoft mencoba menjadikan keamanan AI sebagai praktik engineering berkelanjutan, bukan sekadar audit sekali sebelum peluncuran.

Pendekatan ini mendorong developer untuk:

• mengidentifikasi risiko sejak awal
• menguji skenario berbahaya secara terus‑menerus
• mengubah setiap kerentanan menjadi tes permanen

Seiring semakin otonomnya AI agent, metode seperti ini kemungkinan akan menjadi bagian penting dalam membangun sistem AI perusahaan yang aman dan dapat diandalkan.