AI Verify Foundation; sağlık, finans, işe alım ve kamu hizmetleri gibi alanlarda yapay zekâ sistemlerini değerlendirebilecek güvenilir şirketlerden oluşan bir ekosistem kurmayı ve teknik güvence testleri için uygulanabilir bir taban standart oluşturmayı hedefliyor.

Akredite edilen şirketler, belirli ve belgelenmiş bir test kapsamına sahip oldukları için tanınacak. Ayrıca bu şirketlerin, nitelikli test sağlayıcı arayan kuruluşlarla buluşturulabilmesi planlanıyor. Böylece yapay zekâyı devreye alan şirketlerin, paydaşların ve son kullanıcıların test süreçlerine duyduğu güvenin artırılması amaçlanıyor.

Ancak akreditasyon, belirli bir yapay zekâ sisteminin tamamen güvenli veya risksiz olduğu anlamına gelmeyecek. Sistemin kullanıldığı ortama, entegrasyonlara ya da sonradan ortaya çıkan tehditlere özgü riskler devam edebilir. Yönetişim kararları, hangi risklerin kabul edileceği ve ek önlemlerin uygulanması sorumluluğu yine sistemi kullanan kuruluşta kalacak.

Test şirketleri hangi zayıflıkları arayacak?

AI TAP kapsamındaki şirketler, yapay zekâ sistemlerine karşı düşmanca “red team” testleri uygulayabilecek. Bu testlerde amaç, sistemin güvenlik önlemlerini aşmaya ve politika ihlali ya da başka türde güvensiz davranışlar üretmeye çalışmak.

Buna iki yaygın saldırı türü de dahil olabilir:

• Prompt injection: Modele verilen kullanıcı girdisine veya modelin okuduğu dış içeriğe kötü niyetli talimatlar yerleştirerek sistemin asıl amacından saptırılması.
• Jailbreak: Modelin yerleşik güvenlik kurallarını aşmasını ve normalde üretmemesi gereken içerikleri oluşturmasını sağlamaya yönelik yönlendirmeler.

Değerlendirme kapsamı şu başlıkları içerebilir:

• Yanlış veya uydurma çıktılar gibi güvenlik ve güvenilirlik sorunları ile zararlı ya da istenmeyen içerik üretimi.
• Karar alma süreçlerinde önyargı dahil olmak üzere adalet ve tarafsızlık sorunları.
• Veri sızıntıları ve diğer güvenlik açıkları dahil olmak üzere mahremiyet ve siber güvenlik problemleri.
• Özellikle üretken yapay zekâ ve araç kullanabilen otonom yapay zekâ uygulamaları açısından prompt injection ve jailbreak saldırılarına dayanıklılık.

Akreditasyon için hangi şartlar aranacak?

Başvurular yalnızca şirketlerin test yapıp yapamadığına göre değil, bu hizmetleri sürdürülebilir ve güvenilir biçimde sunabilecek kurumsal kapasiteye sahip olup olmadıklarına göre de incelenecek. Öne çıkan kriterler şöyle:

• Teknik yeterlilik: Şirketin beyan ettiği belirli test hizmetlerini gerçekten sunabildiğini kanıtlaması. Değerlendirmede IMDA’nın Büyük Dil Modeli tabanlı uygulamaların güvenlik ve güvenilirlik testlerine yönelik Starter Kit gibi rehberlerden yararlanılacak.
• Yönetişim ve ticari itibar: İlgili geçmiş deneyim, iyi kurumsal itibar ve Singapur’da ticari faaliyet yürütme taahhüdü.
• Finansal sürdürülebilirlik: Faaliyetlerin sürdürülebilmesi için yeterli mali güce sahip olma.
• Operasyonel hazırlık: Önerilen hizmetleri sağlayabilecek yeterli ekip, süreç ve operasyon kapasitesi.
• Doğru hizmet kapsamı: Şirketin açıkladığı test kapsamının, kanıtlanmış yetenekleriyle örtüşmesi.

IMDA Starter Kit’teki beş temel risk

IMDA’nın Starter Kit’i, Büyük Dil Modeli tabanlı uygulamalarda temel güvenlik ve güvenilirlik testleri için gönüllü bir rehber niteliğinde. Rehberin öne çıkardığı beş risk alanı şunlar:

1. Halüsinasyon ve yanlışlık: Modelin gerçeğe dayanmayan veya hatalı yanıtlar üretmesi.
2. Karar alma süreçlerinde önyargı: Belirli kişi veya gruplar aleyhine taraflı sonuçlar ortaya çıkması.
3. İstenmeyen içerik: Zararlı, uygunsuz veya güvenlik politikalarını ihlal eden çıktıların üretilmesi.
4. Veri sızıntısı: Hassas ya da gizli bilgilerin istemeden açığa çıkması.
5. Güvenlik açıkları: Özellikle kötü niyetli girdiler ve saldırgan talimatlar karşısında sistemin savunmasız kalması.

Ücret alınmayacak, akreditasyon 12 ay sürecek

AI Verify Foundation, katılımın önündeki engelleri azaltmak ve yapay zekâ güvence hizmetleri pazarının gelişimini desteklemek amacıyla başvuru veya akreditasyon ücreti alınmayacağını açıkladı.

Akreditasyon 12 ay geçerli olacak. Şirketlerin daha sonra yenileme başvurusu yapması ve standartlar ile tehdit ortamındaki değişikliklere ayak uydurmaya devam ettiklerini göstermesi gerekecek.

İlk aşamada ilgi gösterdiği bildirilen şirketler arasında Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro ve Vulcan yer alıyor.

Sektör için olası etkisi ne?

Programın hedefi, yapay zekâ test hizmetleri için daha tutarlı ve güvenilir bir dış değerlendirme pazarı oluşturmak. Ortak yeterlilik beklentileri, kanıta dayalı ve belgelenmiş test sonuçları ile kuruluşun kullanım alanına ve risk kapsamına göre uyarlanmış değerlendirmeler bu yapının temel unsurları olacak.

Mevcut kaynaklarda sektör temsilcilerinin testlerin özelleştirilmesi, yönetişim veya yapay zekâ güvenliğine duyulan güven konusunda yaptığı ayrıntılı yorumlara yer verilmiyor. Bununla birlikte programın tasarımı, alıcıların yetkin test şirketlerini belirlemesini, test kapsamının açıkça ortaya konmasını ve bağımsız değerlendirmeler yoluyla ek güvence sağlanmasını destekliyor.

Sonuç olarak AI TAP, yapay zekâ sistemlerine doğrudan güvenlik garantisi vermekten çok, bu sistemleri sınayan şirketlerin yetkinliğini görünür ve karşılaştırılabilir hale getirmeyi amaçlıyor. Nihai risk yönetimi ve güvenli kullanım sorumluluğu ise sistemi geliştiren ve devreye alan kuruluşlarda kalmaya devam edecek.

AI Verify Foundation; sağlık, finans, işe alım ve kamu hizmetleri gibi alanlarda yapay zekâ sistemlerini değerlendirebilecek güvenilir şirketlerden oluşan bir ekosistem kurmayı ve teknik güvence testleri için uygulanabilir bir taban standart oluşturmayı hedefliyor.

Akredite edilen şirketler, belirli ve belgelenmiş bir test kapsamına sahip oldukları için tanınacak. Ayrıca bu şirketlerin, nitelikli test sağlayıcı arayan kuruluşlarla buluşturulabilmesi planlanıyor. Böylece yapay zekâyı devreye alan şirketlerin, paydaşların ve son kullanıcıların test süreçlerine duyduğu güvenin artırılması amaçlanıyor.

Ancak akreditasyon, belirli bir yapay zekâ sisteminin tamamen güvenli veya risksiz olduğu anlamına gelmeyecek. Sistemin kullanıldığı ortama, entegrasyonlara ya da sonradan ortaya çıkan tehditlere özgü riskler devam edebilir. Yönetişim kararları, hangi risklerin kabul edileceği ve ek önlemlerin uygulanması sorumluluğu yine sistemi kullanan kuruluşta kalacak.

Test şirketleri hangi zayıflıkları arayacak?

AI TAP kapsamındaki şirketler, yapay zekâ sistemlerine karşı düşmanca “red team” testleri uygulayabilecek. Bu testlerde amaç, sistemin güvenlik önlemlerini aşmaya ve politika ihlali ya da başka türde güvensiz davranışlar üretmeye çalışmak.

Buna iki yaygın saldırı türü de dahil olabilir:

• Prompt injection: Modele verilen kullanıcı girdisine veya modelin okuduğu dış içeriğe kötü niyetli talimatlar yerleştirerek sistemin asıl amacından saptırılması.
• Jailbreak: Modelin yerleşik güvenlik kurallarını aşmasını ve normalde üretmemesi gereken içerikleri oluşturmasını sağlamaya yönelik yönlendirmeler.

Değerlendirme kapsamı şu başlıkları içerebilir:

• Yanlış veya uydurma çıktılar gibi güvenlik ve güvenilirlik sorunları ile zararlı ya da istenmeyen içerik üretimi.
• Karar alma süreçlerinde önyargı dahil olmak üzere adalet ve tarafsızlık sorunları.
• Veri sızıntıları ve diğer güvenlik açıkları dahil olmak üzere mahremiyet ve siber güvenlik problemleri.
• Özellikle üretken yapay zekâ ve araç kullanabilen otonom yapay zekâ uygulamaları açısından prompt injection ve jailbreak saldırılarına dayanıklılık.

Akreditasyon için hangi şartlar aranacak?

Başvurular yalnızca şirketlerin test yapıp yapamadığına göre değil, bu hizmetleri sürdürülebilir ve güvenilir biçimde sunabilecek kurumsal kapasiteye sahip olup olmadıklarına göre de incelenecek. Öne çıkan kriterler şöyle:

• Teknik yeterlilik: Şirketin beyan ettiği belirli test hizmetlerini gerçekten sunabildiğini kanıtlaması. Değerlendirmede IMDA’nın Büyük Dil Modeli tabanlı uygulamaların güvenlik ve güvenilirlik testlerine yönelik Starter Kit gibi rehberlerden yararlanılacak.
• Yönetişim ve ticari itibar: İlgili geçmiş deneyim, iyi kurumsal itibar ve Singapur’da ticari faaliyet yürütme taahhüdü.
• Finansal sürdürülebilirlik: Faaliyetlerin sürdürülebilmesi için yeterli mali güce sahip olma.
• Operasyonel hazırlık: Önerilen hizmetleri sağlayabilecek yeterli ekip, süreç ve operasyon kapasitesi.
• Doğru hizmet kapsamı: Şirketin açıkladığı test kapsamının, kanıtlanmış yetenekleriyle örtüşmesi.

IMDA Starter Kit’teki beş temel risk

IMDA’nın Starter Kit’i, Büyük Dil Modeli tabanlı uygulamalarda temel güvenlik ve güvenilirlik testleri için gönüllü bir rehber niteliğinde. Rehberin öne çıkardığı beş risk alanı şunlar:

1. Halüsinasyon ve yanlışlık: Modelin gerçeğe dayanmayan veya hatalı yanıtlar üretmesi.
2. Karar alma süreçlerinde önyargı: Belirli kişi veya gruplar aleyhine taraflı sonuçlar ortaya çıkması.
3. İstenmeyen içerik: Zararlı, uygunsuz veya güvenlik politikalarını ihlal eden çıktıların üretilmesi.
4. Veri sızıntısı: Hassas ya da gizli bilgilerin istemeden açığa çıkması.
5. Güvenlik açıkları: Özellikle kötü niyetli girdiler ve saldırgan talimatlar karşısında sistemin savunmasız kalması.

Ücret alınmayacak, akreditasyon 12 ay sürecek

AI Verify Foundation, katılımın önündeki engelleri azaltmak ve yapay zekâ güvence hizmetleri pazarının gelişimini desteklemek amacıyla başvuru veya akreditasyon ücreti alınmayacağını açıkladı.

Akreditasyon 12 ay geçerli olacak. Şirketlerin daha sonra yenileme başvurusu yapması ve standartlar ile tehdit ortamındaki değişikliklere ayak uydurmaya devam ettiklerini göstermesi gerekecek.

İlk aşamada ilgi gösterdiği bildirilen şirketler arasında Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro ve Vulcan yer alıyor.

Sektör için olası etkisi ne?

Programın hedefi, yapay zekâ test hizmetleri için daha tutarlı ve güvenilir bir dış değerlendirme pazarı oluşturmak. Ortak yeterlilik beklentileri, kanıta dayalı ve belgelenmiş test sonuçları ile kuruluşun kullanım alanına ve risk kapsamına göre uyarlanmış değerlendirmeler bu yapının temel unsurları olacak.

Mevcut kaynaklarda sektör temsilcilerinin testlerin özelleştirilmesi, yönetişim veya yapay zekâ güvenliğine duyulan güven konusunda yaptığı ayrıntılı yorumlara yer verilmiyor. Bununla birlikte programın tasarımı, alıcıların yetkin test şirketlerini belirlemesini, test kapsamının açıkça ortaya konmasını ve bağımsız değerlendirmeler yoluyla ek güvence sağlanmasını destekliyor.

Sonuç olarak AI TAP, yapay zekâ sistemlerine doğrudan güvenlik garantisi vermekten çok, bu sistemleri sınayan şirketlerin yetkinliğini görünür ve karşılaştırılabilir hale getirmeyi amaçlıyor. Nihai risk yönetimi ve güvenli kullanım sorumluluğu ise sistemi geliştiren ve devreye alan kuruluşlarda kalmaya devam edecek.