Membedah Metis: Kerangka AI Agen dari Arm yang Mampu Mengulas Kode dengan Akurasi Tinggi

Apa Itu Metis dari Arm?

Metis adalah kerangka kerja keamanan AI agentic sumber terbuka yang dikembangkan oleh Tim Keamanan Produk Arm . Tujuan utama perangkat ini adalah untuk melakukan tinjauan kode keamanan (security code review) secara mendalam dan sadar konteks, yang mampu mendeteksi bug logika dan kelemahan desain. Kelemahan semacam ini sering kali terlewatkan oleh alat Static Application Security Testing (SAST) tradisional yang hanya mengandalkan pencocokan pola atau tanda tangan (signature-based) .

Proyek ini di-host di repositori publik github.com/arm/metis dan dirilis di bawah lisensi Apache 2.0, sebuah lisensi sumber terbuka yang permisif dan ramah bisnis .

Cara Kerja: Perpaduan LLM, RAG, dan Arsitektur Plugin

Keunggulan Metis terletak pada kemampuannya untuk "bernalar" tentang kode, bukan sekadar mencocokkan pola.

• Pemanfaatan LLM: Metis menggunakan Large Language Models (LLM) yang mampu melakukan penalaran semantik terhadap kode. Ini berbeda dengan linter atau alat SAST tradisional yang bekerja berdasarkan aturan tetap (rule-based) .
• Teknologi RAG: Di sinilah letak kecerdasan kontekstualnya. Metis mengintegrasikan Retrieval-Augmented Generation (RAG) untuk mengambil konteks proyek yang relevan, seperti pola arsitektur, temuan tinjauan sebelumnya, dan konvensi pengkodean. Konteks ini kemudian dimasukkan ke dalam analisis LLM. Proses penyaringan kontekstual inilah yang memungkinkan Metis secara drastis mengurangi false positive (laporan palsu yang sebenarnya bukan kerentanan), masalah klasik yang sering membanjiri pengembang .
• Arsitektur Plugin: Metis dirancang sebagai alat command-line dengan arsitektur plugin . Ini berarti dukungannya terhadap berbagai bahasa pemrograman dapat dengan mudah diperluas.

Cakupan Proyek dan Dukungan Bahasa

Saat ini, Arm telah menggunakan Metis secara internal di lebih dari 130 proyek perangkat lunak yang berbeda , dengan rencana adopsi yang lebih luas di seluruh Arm pada akhir tahun 2026 .

Untuk dukungan bahasa, Metis sangat fleksibel:

• Peluncuran awal difokuskan pada C dan C++ .
• Sistem plugin-nya kini telah mendukung Python, Rust, dan TypeScript .
• Dukungan untuk bahasa lain seperti Solidity (untuk smart contract) juga sedang dijajaki . Arsitektur Metis sendiri pada dasarnya tidak terikat pada bahasa tertentu (language-agnostic) pada level plugin .

Klaim Performa: Seberapa Tinggi Akurasinya?

Arm telah mempublikasikan hasil benchmark internal yang menunjukkan performa Metis yang sangat menjanjikan. Klaim utama yang disampaikan adalah:

• Tingkat true positive (positif benar) hingga 10 kali lebih tinggi.
• Tingkat false positive (positif palsu) sekitar 50% lebih rendah.

Klaim ini dibandingkan dengan alat-alat SAST terkemuka yang ada saat ini .

Sebuah catatan penting: Meskipun banyak yang menyebutkan angka "tingkat positif benar ~95%", kami tidak menemukan sumber primer dari Arm yang secara eksplisit menyebutkan angka spesifik tersebut sebagai metrik utama. Materi yang dipublikasikan Arm menekankan pada peningkatan relatif (10x lebih baik) dibandingkan alat lain, bukan persentase absolut. Angka ~95% mungkin berasal dari sub-himpunan proyek internal tertentu atau analisis pihak ketiga, tetapi hal ini belum dikonfirmasi dalam sumber-sumber utama yang kami tinjau di sini .

Mengapa Arm Merilisnya sebagai Sumber Terbuka?

Keputusan Arm untuk merilis Metis di bawah lisensi Apache 2.0 adalah langkah strategis dengan beberapa alasan kuat:

1. Menjawab Banjir Laporan Berkualitas Rendah: Model AI telah mempercepat pemindaian kerentanan secara dramatis. Namun, di saat yang sama, terjadi banjir laporan otomatis berkualitas rendah dan berisik (noisy) yang kewalahan memprosesnya . Metis bertujuan untuk memecahkan masalah kualitas ini dengan menggunakan RAG untuk mengurangi false positive sambil menangkap kelemahan yang lebih dalam.

2. Mendongkrak Keamanan Ekosistem: Dengan membuat alat ini gratis dan terbuka, Arm menuai manfaat dari kontribusi komunitas, pengujian yang lebih luas di berbagai basis kode (codebase), dan peningkatan keamanan rantai pasok perangkat lunak yang menjadi fondasi tempat perangkat keras Arm beroperasi .

3. Lisensi yang Memudahkan Adopsi: Lisensi Apache 2.0 adalah lisensi permisif yang memberikan keleluasaan bagi siapa pun, termasuk perusahaan lain, proyek sumber terbuka, dan pengembang individu, untuk menggunakan, memodifikasi, dan mengintegrasikan Metis tanpa kewajiban copyleft yang ketat . Ini adalah undangan terbuka bagi tim keamanan produk lain untuk mengadopsinya dalam alur kerja CI/CD (Continuous Integration/Continuous Deployment) mereka .

Kesimpulan

Metis dari Arm merepresentasikan langkah maju yang signifikan dalam dunia pengujian keamanan aplikasi, dengan mengandalkan kecerdasan kontekstual untuk melampaui batasan alat statis tradisional.

Fakta yang terkonfirmasi:

• Arsitektur berbasis LLM, RAG, dan agentic review loop .
• Telah digunakan di 130+ proyek internal Arm .
• Mendukung banyak bahasa via plugin (C, C++, Python, Rust, TypeScript) .
• Dirilis sebagai sumber terbuka dengan lisensi Apache 2.0 .
• Menunjukkan peningkatan benchmark 10x True Positive, ~50% lebih sedikit False Positive .

Fakta yang perlu verifikasi lebih lanjut:

• Klaim spesifik "tingkat true positive ~95%" tidak ditemukan dalam sumber primer Arm yang kami tinjau. Jika angka ini krusial untuk Anda, disarankan untuk memeriksa langsung berkas README di repositori GitHub Metis atau pengumuman terbaru di Arm Newsroom untuk mendapatkan metrik internal yang paling akurat.