Program ini bertujuan membina kumpulan firma yang dipercayai untuk menilai sistem AI dalam pelbagai bidang, termasuk:

• penjagaan kesihatan;
• kewangan;
• pengambilan pekerja; dan
• perkhidmatan awam.

Firma yang diakreditasi akan diiktiraf berdasarkan keupayaan mereka menjalankan skop pengujian tertentu yang telah didokumenkan. Mereka juga berkemungkinan dihubungkan dengan organisasi yang sedang mencari penguji bertauliah. Langkah ini diharap dapat meningkatkan keyakinan organisasi yang menggunakan AI, pihak berkepentingan dan pengguna akhir.

Namun, akreditasi AI TAP bukan bermakna sesuatu sistem AI telah disahkan sepenuhnya selamat atau bebas risiko. Risiko khusus yang timbul daripada cara sistem digunakan, integrasi dengan sistem lain dan ancaman baharu masih boleh kekal. Organisasi yang menggunakan AI tetap bertanggungjawab terhadap tadbir urus, penerimaan risiko dan langkah mitigasi tambahan.

Apa yang akan diuji?

Penguji boleh menjalankan penilaian adversarial atau red team—iaitu pendekatan yang sengaja cuba mencari kelemahan sistem. Ini termasuk cubaan melakukan prompt injection atau jailbreak, dengan tujuan memintas perlindungan model dan mendorongnya menghasilkan tingkah laku yang melanggar dasar atau tidak selamat.

Skop penilaian boleh merangkumi:

• Keselamatan dan kebolehpercayaan: termasuk jawapan tidak tepat, maklumat rekaan atau halusinasi, serta kandungan yang berbahaya atau tidak diingini.
• Keadilan: termasuk kecenderungan berat sebelah dalam proses membuat keputusan.
• Privasi dan keselamatan siber: termasuk kebocoran data serta kelemahan teknikal.
• Ketahanan terhadap prompt injection dan jailbreak: aspek yang amat penting bagi aplikasi AI generatif dan AI berasaskan ejen.

Syarat untuk mendapatkan akreditasi

Pemohon akan dinilai bukan sahaja berdasarkan kemahiran menguji AI, tetapi juga keupayaan organisasi mereka untuk menyediakan perkhidmatan secara berterusan. Antara kriterianya ialah:

• Kecekapan teknikal: firma perlu membuktikan bahawa ia mampu menjalankan perkhidmatan pengujian khusus yang ditawarkan. Penilaian boleh merujuk kepada panduan seperti Starter Kit for Testing LLM-Based Applications for Safety and Reliability oleh IMDA.
• Tadbir urus dan kedudukan perniagaan: firma perlu mempunyai rekod yang berkaitan, berada dalam kedudukan baik dan menunjukkan komitmen untuk menjalankan aktiviti perniagaan di Singapura.
• Kemampanan kewangan: firma perlu mempunyai kedudukan kewangan yang mencukupi untuk beroperasi secara mampan.
• Kesiapsiagaan operasi: firma perlu memiliki kapasiti dan tahap kesediaan operasi yang mencukupi untuk menawarkan perkhidmatan dicadangkan.
• Skop perkhidmatan yang tepat: skop yang diisytiharkan mestilah sepadan dengan keupayaan yang dapat dibuktikan.

Lima risiko utama dalam Starter Kit IMDA

Starter Kit IMDA ialah panduan sukarela yang menyediakan asas pengujian keselamatan dan kebolehpercayaan aplikasi model bahasa besar (LLM). Lima bidang risiko yang dikenal pasti ialah:

1. Halusinasi dan ketidaktepatan.
2. Bias dalam membuat keputusan.
3. Kandungan yang tidak diingini.
4. Kebocoran data.
5. Kelemahan terhadap serangan atau arahan adversarial.

Yuran, tempoh sah dan firma yang berminat

AI Verify Foundation menyatakan bahawa tiada yuran permohonan atau yuran akreditasi akan dikenakan. Langkah ini bertujuan mengurangkan halangan penyertaan dan membantu mengembangkan pasaran jaminan AI.

Akreditasi akan sah selama 12 bulan. Selepas tempoh itu, firma perlu memohon pembaharuan dan menunjukkan bahawa keupayaan mereka masih memenuhi keperluan, khususnya apabila piawaian serta landskap ancaman berubah.

Firma yang dilaporkan telah menunjukkan minat awal termasuk Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro dan Vulcan.

Bagaimana AI TAP boleh mengubah pengujian AI?

Kesan yang disasarkan ialah pembentukan pasaran pengujian luaran yang lebih konsisten dan dipercayai. Ini termasuk jangkaan yang lebih jelas terhadap kecekapan penguji, penilaian berasaskan bukti yang direkodkan serta pengujian yang disesuaikan dengan kegunaan dan skop risiko setiap organisasi.

Bukti yang tersedia tidak menyertakan komen khusus wakil industri tentang sejauh mana akreditasi ini akan meningkatkan penyesuaian, tadbir urus atau keyakinan terhadap keselamatan AI. Namun, reka bentuk program itu menyokong hasil tersebut dengan membantu pembeli mengenal pasti penguji yang berkemampuan, menjelaskan skop pengujian dan menyediakan jaminan tambahan melalui penilaian bebas.

Ringkasnya, AI TAP bukanlah “cop selamat” untuk sesuatu produk AI. Ia ialah mekanisme untuk memastikan firma yang menguji AI mempunyai tahap kecekapan dan kesiapsiagaan organisasi yang boleh dikenal pasti—supaya syarikat tidak perlu memilih penguji secara membuta tuli sebelum menggunakan teknologi tersebut.

Program ini bertujuan membina kumpulan firma yang dipercayai untuk menilai sistem AI dalam pelbagai bidang, termasuk:

• penjagaan kesihatan;
• kewangan;
• pengambilan pekerja; dan
• perkhidmatan awam.

Firma yang diakreditasi akan diiktiraf berdasarkan keupayaan mereka menjalankan skop pengujian tertentu yang telah didokumenkan. Mereka juga berkemungkinan dihubungkan dengan organisasi yang sedang mencari penguji bertauliah. Langkah ini diharap dapat meningkatkan keyakinan organisasi yang menggunakan AI, pihak berkepentingan dan pengguna akhir.

Namun, akreditasi AI TAP bukan bermakna sesuatu sistem AI telah disahkan sepenuhnya selamat atau bebas risiko. Risiko khusus yang timbul daripada cara sistem digunakan, integrasi dengan sistem lain dan ancaman baharu masih boleh kekal. Organisasi yang menggunakan AI tetap bertanggungjawab terhadap tadbir urus, penerimaan risiko dan langkah mitigasi tambahan.

Apa yang akan diuji?

Penguji boleh menjalankan penilaian adversarial atau red team—iaitu pendekatan yang sengaja cuba mencari kelemahan sistem. Ini termasuk cubaan melakukan prompt injection atau jailbreak, dengan tujuan memintas perlindungan model dan mendorongnya menghasilkan tingkah laku yang melanggar dasar atau tidak selamat.

Skop penilaian boleh merangkumi:

• Keselamatan dan kebolehpercayaan: termasuk jawapan tidak tepat, maklumat rekaan atau halusinasi, serta kandungan yang berbahaya atau tidak diingini.
• Keadilan: termasuk kecenderungan berat sebelah dalam proses membuat keputusan.
• Privasi dan keselamatan siber: termasuk kebocoran data serta kelemahan teknikal.
• Ketahanan terhadap prompt injection dan jailbreak: aspek yang amat penting bagi aplikasi AI generatif dan AI berasaskan ejen.

Syarat untuk mendapatkan akreditasi

Pemohon akan dinilai bukan sahaja berdasarkan kemahiran menguji AI, tetapi juga keupayaan organisasi mereka untuk menyediakan perkhidmatan secara berterusan. Antara kriterianya ialah:

• Kecekapan teknikal: firma perlu membuktikan bahawa ia mampu menjalankan perkhidmatan pengujian khusus yang ditawarkan. Penilaian boleh merujuk kepada panduan seperti Starter Kit for Testing LLM-Based Applications for Safety and Reliability oleh IMDA.
• Tadbir urus dan kedudukan perniagaan: firma perlu mempunyai rekod yang berkaitan, berada dalam kedudukan baik dan menunjukkan komitmen untuk menjalankan aktiviti perniagaan di Singapura.
• Kemampanan kewangan: firma perlu mempunyai kedudukan kewangan yang mencukupi untuk beroperasi secara mampan.
• Kesiapsiagaan operasi: firma perlu memiliki kapasiti dan tahap kesediaan operasi yang mencukupi untuk menawarkan perkhidmatan dicadangkan.
• Skop perkhidmatan yang tepat: skop yang diisytiharkan mestilah sepadan dengan keupayaan yang dapat dibuktikan.

Lima risiko utama dalam Starter Kit IMDA

Starter Kit IMDA ialah panduan sukarela yang menyediakan asas pengujian keselamatan dan kebolehpercayaan aplikasi model bahasa besar (LLM). Lima bidang risiko yang dikenal pasti ialah:

1. Halusinasi dan ketidaktepatan.
2. Bias dalam membuat keputusan.
3. Kandungan yang tidak diingini.
4. Kebocoran data.
5. Kelemahan terhadap serangan atau arahan adversarial.

Yuran, tempoh sah dan firma yang berminat

AI Verify Foundation menyatakan bahawa tiada yuran permohonan atau yuran akreditasi akan dikenakan. Langkah ini bertujuan mengurangkan halangan penyertaan dan membantu mengembangkan pasaran jaminan AI.

Akreditasi akan sah selama 12 bulan. Selepas tempoh itu, firma perlu memohon pembaharuan dan menunjukkan bahawa keupayaan mereka masih memenuhi keperluan, khususnya apabila piawaian serta landskap ancaman berubah.

Firma yang dilaporkan telah menunjukkan minat awal termasuk Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro dan Vulcan.

Bagaimana AI TAP boleh mengubah pengujian AI?

Kesan yang disasarkan ialah pembentukan pasaran pengujian luaran yang lebih konsisten dan dipercayai. Ini termasuk jangkaan yang lebih jelas terhadap kecekapan penguji, penilaian berasaskan bukti yang direkodkan serta pengujian yang disesuaikan dengan kegunaan dan skop risiko setiap organisasi.

Bukti yang tersedia tidak menyertakan komen khusus wakil industri tentang sejauh mana akreditasi ini akan meningkatkan penyesuaian, tadbir urus atau keyakinan terhadap keselamatan AI. Namun, reka bentuk program itu menyokong hasil tersebut dengan membantu pembeli mengenal pasti penguji yang berkemampuan, menjelaskan skop pengujian dan menyediakan jaminan tambahan melalui penilaian bebas.

Ringkasnya, AI TAP bukanlah “cop selamat” untuk sesuatu produk AI. Ia ialah mekanisme untuk memastikan firma yang menguji AI mempunyai tahap kecekapan dan kesiapsiagaan organisasi yang boleh dikenal pasti—supaya syarikat tidak perlu memilih penguji secara membuta tuli sebelum menggunakan teknologi tersebut.