AI Verify Foundation ingin membangun kumpulan perusahaan tepercaya yang mampu menguji sistem AI di berbagai sektor, termasuk layanan kesehatan, keuangan, perekrutan, dan layanan publik. Program ini juga diharapkan menetapkan tolok ukur praktis mengenai seperti apa pengujian teknis AI yang baik.

Bagi perusahaan yang menggunakan AI, AI TAP dapat mempermudah pencarian penguji independen. Perusahaan yang terakreditasi akan diakui berdasarkan kemampuan teknis dan kesiapan operasional dalam cakupan pengujian yang telah ditetapkan. Mereka juga dapat dihubungkan dengan organisasi yang sedang mencari penyedia pengujian berkualifikasi.

Namun, akreditasi penguji bukan berarti sistem AI yang diuji otomatis dinyatakan aman sepenuhnya atau bebas risiko. Risiko yang muncul dari konteks penerapan, integrasi dengan sistem lain, maupun ancaman baru tetap mungkin ada. Organisasi pengguna tetap bertanggung jawab atas tata kelola, penerimaan risiko, dan penerapan langkah mitigasi tambahan.

Apa saja yang akan diuji?

Penyedia yang terakreditasi dapat melakukan pengujian adversarial atau red teaming. Dalam proses ini, penguji sengaja mencoba mencari cara untuk melewati perlindungan sistem, termasuk melalui prompt injection dan jailbreak—serangan yang berupaya membuat model mengabaikan pengaman dan menghasilkan perilaku yang melanggar kebijakan atau tidak aman.

Ruang lingkup pengujian dapat meliputi:

• Keamanan dan keandalan: keluaran yang tidak akurat atau dibuat-buat, serta konten berbahaya atau tidak diinginkan.
• Keadilan: bias dalam proses pengambilan keputusan.
• Privasi dan keamanan: kebocoran data dan berbagai kerentanan sistem.
• Ketahanan terhadap prompt injection dan jailbreak: aspek yang sangat relevan bagi aplikasi AI generatif dan AI berbasis agen.

Syarat perusahaan untuk memperoleh akreditasi

Pelamar akan dinilai dari kemampuan pengujian sekaligus kapasitas organisasinya. Kriteria yang disebutkan meliputi:

• Kompetensi teknis: perusahaan harus dapat membuktikan bahwa mereka mampu menjalankan layanan pengujian spesifik yang diklaim. Penilaian dapat mengacu pada panduan seperti Starter Kit for Testing LLM-Based Applications for Safety and Reliability milik IMDA.
• Tata kelola dan rekam jejak bisnis: pelamar perlu memiliki pengalaman yang relevan, reputasi baik, serta komitmen untuk menjalankan aktivitas bisnis di Singapura.
• Keberlanjutan finansial: perusahaan harus memiliki kondisi keuangan yang cukup untuk beroperasi secara berkelanjutan.
• Kesiapan operasional: pelamar harus memiliki kapasitas dan kesiapan operasional untuk menyediakan layanan yang ditawarkan.
• Kesesuaian ruang lingkup layanan: cakupan layanan yang dinyatakan perusahaan harus sesuai dengan kemampuan yang dapat dibuktikan.

Lima risiko utama dalam IMDA Starter Kit

Starter Kit IMDA merupakan panduan sukarela untuk pengujian dasar keamanan dan keandalan aplikasi berbasis large language model (LLM). Panduan ini berfokus pada lima area risiko:

1. Halusinasi dan ketidakakuratan.
2. Bias dalam pengambilan keputusan.
3. Konten yang tidak diinginkan.
4. Kebocoran data.
5. Kerentanan, termasuk terhadap perintah atau prompt adversarial.

Apakah ada biaya akreditasi?

AI Verify Foundation menyatakan tidak akan mengenakan biaya pendaftaran maupun biaya akreditasi. Kebijakan ini dimaksudkan untuk menekan hambatan partisipasi dan membantu mengembangkan pasar penjaminan AI.

Akreditasi berlaku selama 12 bulan. Setelah itu, perusahaan harus mengajukan pembaruan dan menunjukkan bahwa kompetensinya tetap terjaga, terutama karena standar pengujian dan lanskap ancaman dapat berubah.

Perusahaan yang dilaporkan telah menunjukkan minat awal terhadap program ini adalah Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro, dan Vulcan.

Dampaknya bagi standar pengujian AI

AI TAP ditujukan untuk membentuk pasar pengujian eksternal yang lebih konsisten dan kredibel. Dengan adanya persyaratan kompetensi yang lebih jelas, dokumentasi pengujian, serta ruang lingkup layanan yang harus dinyatakan secara spesifik, organisasi dapat lebih mudah memilih penyedia yang sesuai dengan kebutuhan dan risiko penerapan AI mereka.

Desain program ini juga berpotensi meningkatkan kepercayaan terhadap hasil pengujian independen, membantu organisasi menyesuaikan pengujian dengan kasus penggunaan, dan memperkuat proses tata kelola AI.

Meski demikian, bukti yang tersedia tidak memuat pernyataan spesifik dari perwakilan industri mengenai seberapa besar akreditasi ini akan meningkatkan kustomisasi, tata kelola, atau kepercayaan terhadap keamanan AI. Manfaat tersebut merupakan hasil yang diharapkan dari rancangan program—bukan jaminan bahwa semua risiko AI akan hilang setelah pengujian dilakukan.

AI Verify Foundation ingin membangun kumpulan perusahaan tepercaya yang mampu menguji sistem AI di berbagai sektor, termasuk layanan kesehatan, keuangan, perekrutan, dan layanan publik. Program ini juga diharapkan menetapkan tolok ukur praktis mengenai seperti apa pengujian teknis AI yang baik.

Bagi perusahaan yang menggunakan AI, AI TAP dapat mempermudah pencarian penguji independen. Perusahaan yang terakreditasi akan diakui berdasarkan kemampuan teknis dan kesiapan operasional dalam cakupan pengujian yang telah ditetapkan. Mereka juga dapat dihubungkan dengan organisasi yang sedang mencari penyedia pengujian berkualifikasi.

Namun, akreditasi penguji bukan berarti sistem AI yang diuji otomatis dinyatakan aman sepenuhnya atau bebas risiko. Risiko yang muncul dari konteks penerapan, integrasi dengan sistem lain, maupun ancaman baru tetap mungkin ada. Organisasi pengguna tetap bertanggung jawab atas tata kelola, penerimaan risiko, dan penerapan langkah mitigasi tambahan.

Apa saja yang akan diuji?

Penyedia yang terakreditasi dapat melakukan pengujian adversarial atau red teaming. Dalam proses ini, penguji sengaja mencoba mencari cara untuk melewati perlindungan sistem, termasuk melalui prompt injection dan jailbreak—serangan yang berupaya membuat model mengabaikan pengaman dan menghasilkan perilaku yang melanggar kebijakan atau tidak aman.

Ruang lingkup pengujian dapat meliputi:

• Keamanan dan keandalan: keluaran yang tidak akurat atau dibuat-buat, serta konten berbahaya atau tidak diinginkan.
• Keadilan: bias dalam proses pengambilan keputusan.
• Privasi dan keamanan: kebocoran data dan berbagai kerentanan sistem.
• Ketahanan terhadap prompt injection dan jailbreak: aspek yang sangat relevan bagi aplikasi AI generatif dan AI berbasis agen.

Syarat perusahaan untuk memperoleh akreditasi

Pelamar akan dinilai dari kemampuan pengujian sekaligus kapasitas organisasinya. Kriteria yang disebutkan meliputi:

• Kompetensi teknis: perusahaan harus dapat membuktikan bahwa mereka mampu menjalankan layanan pengujian spesifik yang diklaim. Penilaian dapat mengacu pada panduan seperti Starter Kit for Testing LLM-Based Applications for Safety and Reliability milik IMDA.
• Tata kelola dan rekam jejak bisnis: pelamar perlu memiliki pengalaman yang relevan, reputasi baik, serta komitmen untuk menjalankan aktivitas bisnis di Singapura.
• Keberlanjutan finansial: perusahaan harus memiliki kondisi keuangan yang cukup untuk beroperasi secara berkelanjutan.
• Kesiapan operasional: pelamar harus memiliki kapasitas dan kesiapan operasional untuk menyediakan layanan yang ditawarkan.
• Kesesuaian ruang lingkup layanan: cakupan layanan yang dinyatakan perusahaan harus sesuai dengan kemampuan yang dapat dibuktikan.

Lima risiko utama dalam IMDA Starter Kit

Starter Kit IMDA merupakan panduan sukarela untuk pengujian dasar keamanan dan keandalan aplikasi berbasis large language model (LLM). Panduan ini berfokus pada lima area risiko:

1. Halusinasi dan ketidakakuratan.
2. Bias dalam pengambilan keputusan.
3. Konten yang tidak diinginkan.
4. Kebocoran data.
5. Kerentanan, termasuk terhadap perintah atau prompt adversarial.

Apakah ada biaya akreditasi?

AI Verify Foundation menyatakan tidak akan mengenakan biaya pendaftaran maupun biaya akreditasi. Kebijakan ini dimaksudkan untuk menekan hambatan partisipasi dan membantu mengembangkan pasar penjaminan AI.

Akreditasi berlaku selama 12 bulan. Setelah itu, perusahaan harus mengajukan pembaruan dan menunjukkan bahwa kompetensinya tetap terjaga, terutama karena standar pengujian dan lanskap ancaman dapat berubah.

Perusahaan yang dilaporkan telah menunjukkan minat awal terhadap program ini adalah Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro, dan Vulcan.

Dampaknya bagi standar pengujian AI

AI TAP ditujukan untuk membentuk pasar pengujian eksternal yang lebih konsisten dan kredibel. Dengan adanya persyaratan kompetensi yang lebih jelas, dokumentasi pengujian, serta ruang lingkup layanan yang harus dinyatakan secara spesifik, organisasi dapat lebih mudah memilih penyedia yang sesuai dengan kebutuhan dan risiko penerapan AI mereka.

Desain program ini juga berpotensi meningkatkan kepercayaan terhadap hasil pengujian independen, membantu organisasi menyesuaikan pengujian dengan kasus penggunaan, dan memperkuat proses tata kelola AI.

Meski demikian, bukti yang tersedia tidak memuat pernyataan spesifik dari perwakilan industri mengenai seberapa besar akreditasi ini akan meningkatkan kustomisasi, tata kelola, atau kepercayaan terhadap keamanan AI. Manfaat tersebut merupakan hasil yang diharapkan dari rancangan program—bukan jaminan bahwa semua risiko AI akan hilang setelah pengujian dilakukan.