Giskard Guards: Cara Startup Prancis Mengamankan AI Agent di Lingkungan Enterprise

Giskard Guards: Lapisan Keamanan Runtime untuk AI Agent

Giskard memposisikan Guards sebagai lapisan keamanan yang berada di antara AI agent dan sistem yang mereka akses.

Alih‑alih hanya memeriksa prompt atau output akhir, platform ini menganalisis konteks eksekusi agent secara menyeluruh—termasuk prompt, langkah perantara, pemanggilan tool, dan hasil yang dihasilkan.

Tujuannya adalah mendeteksi perilaku berisiko sebelum mencapai sistem produksi perusahaan.

Beberapa komponen utama pendekatan ini meliputi:

Guardrails berbasis konteks
Sistem menilai maksud dan konteks interaksi, bukan sekadar mencocokkan kata kunci. Dengan begitu, ia bisa memahami apakah suatu permintaan masuk akal dalam tugas agent, tool yang tersedia, dan data yang diakses.

Beberapa lapisan deteksi
Guards menjalankan berbagai detektor secara bersamaan—misalnya untuk mendeteksi jailbreak, prompt injection, kebocoran data sensitif, atau pelanggaran kebijakan. Jika aktivitas mencurigakan ditemukan, sistem dapat mengizinkan, memantau, atau memblokir tindakan tersebut.

Pemantauan rantai eksekusi agent
Alih‑alih hanya memeriksa input dan output, platform memantau seluruh rantai tindakan agent. Ini penting karena serangan dapat muncul dari langkah perantara—misalnya instruksi berbahaya dalam dokumen yang diambil atau pemanggilan tool yang berisiko.

Governance AI dengan Pendekatan Policy‑as‑Code

Salah satu konsep utama di balik Giskard Guards adalah policy‑as‑code.

Perusahaan biasanya memiliki banyak aturan: kebijakan privasi, regulasi industri, atau pedoman keamanan internal. Dengan policy‑as‑code, aturan tersebut diubah menjadi kontrol yang bisa ditegakkan secara otomatis oleh sistem.

Penelitian tentang governance AI menunjukkan bahwa kebijakan dalam bahasa alami dapat diterjemahkan menjadi guardrail runtime yang memantau dan membatasi perilaku AI secara real‑time. Framework semacam ini dapat mengubah dokumen kebijakan menjadi klasifikasi ringan atau lapisan kontrol yang berjalan selama eksekusi agent.

Contoh aturan yang bisa diterapkan antara lain:

• melarang pengungkapan data medis atau finansial
• mewajibkan review manusia sebelum keputusan penting
• membatasi tool apa saja yang boleh dipanggil agent
• mencatat aktivitas agent untuk audit kepatuhan

Karena aturan ini bersifat terprogram dan versioned, perusahaan dapat menyesuaikannya seiring perkembangan sistem AI.

Mendukung Kepatuhan terhadap EU AI Act

Motivasi lain dari guardrail berbasis governance adalah kepatuhan terhadap regulasi.

EU AI Act, regulasi AI Uni Eropa, menerapkan pendekatan berbasis tingkat risiko. Sistem yang dikategorikan sebagai high‑risk—misalnya yang memengaruhi kesehatan, keselamatan, pekerjaan, atau akses ke layanan penting—harus memenuhi berbagai persyaratan seperti manajemen risiko, transparansi, pencatatan aktivitas, dan pengawasan manusia.

Platform seperti Giskard Guards dapat membantu organisasi memenuhi persyaratan ini dengan:

• memantau perilaku sistem dan menyimpan log aktivitas
• menerapkan kebijakan keamanan selama runtime
• menyediakan mekanisme audit dan pengawasan keputusan otomatis

Langkah-langkah tersebut mendukung kewajiban seperti human oversight dan robustness teknis yang diwajibkan untuk sistem AI berisiko tinggi.

Penting bagi Industri yang Sangat Teregulasi

Kebutuhan terhadap governance AI paling terasa di sektor yang memiliki regulasi ketat.

Di perbankan dan asuransi, AI agent dapat digunakan untuk analisis underwriting, deteksi fraud, pemrosesan klaim, hingga layanan pelanggan. Workflow ini melibatkan data finansial sensitif dan kewajiban kepatuhan yang ketat.

Di sektor kesehatan, risikonya bahkan lebih tinggi. AI agent dapat merangkum rekam medis, mengambil informasi pasien, atau membantu triase klinis. Guardrail harus memastikan data medis tetap terlindungi dan keputusan penting tetap berada di bawah pengawasan manusia.

Karena itu banyak perusahaan lebih memilih kontrol keamanan yang bekerja di lapisan infrastruktur, bukan hanya melalui prompt atau instruksi model.

Bagian dari Dorongan “Sovereign AI” di Eropa

Giskard juga memposisikan Guards sebagai bagian dari pendekatan AI berdaulat (sovereign AI) di Eropa.

Platform ini dirancang untuk mendukung deployment on‑premise atau lingkungan yang dikontrol organisasi. Dengan demikian, data sensitif, telemetri sistem, dan aturan kebijakan dapat tetap berada dalam infrastruktur perusahaan sendiri.

Pendekatan ini sejalan dengan prioritas Eropa dalam tata kelola data—terutama di bawah regulasi seperti GDPR dan EU AI Act—yang menekankan kontrol atas lokasi pemrosesan data dan keamanan sistem.

Pergeseran Besar: Mengamankan Perilaku AI, Bukan Hanya Konten

Munculnya AI agent mengubah cara sistem keamanan harus bekerja.

Guardrail yang hanya memeriksa prompt atau output tidak cukup untuk sistem yang dapat merencanakan tugas, mengakses data, dan menggunakan berbagai tool secara otomatis.

Pendekatan Giskard mencerminkan pergeseran yang lebih luas di dunia keamanan AI: memantau perilaku agent sepanjang workflow mereka dan menerapkan aturan governance secara real‑time.

Apakah pendekatan ini mampu sepenuhnya mencegah kegagalan kompleks pada deployment enterprise berskala besar masih menjadi pertanyaan terbuka. Namun banyak organisasi mulai melihat keamanan berbasis konteks dan kebijakan runtime sebagai lapisan penting saat AI agent semakin terintegrasi dalam sistem bisnis kritis.