AI TAP का उद्देश्य अलग-अलग क्षेत्रों में काम करने वाली विश्वसनीय परीक्षण कंपनियों का एक नेटवर्क तैयार करना है। इनमें स्वास्थ्य सेवा, वित्त, भर्ती और सार्वजनिक सेवाएं शामिल हैं। साथ ही, कार्यक्रम AI की तकनीकी जांच के लिए अच्छे और व्यावहारिक न्यूनतम मानक तय करने की कोशिश करेगा।

मान्यता प्राप्त कंपनियों को उनकी प्रमाणित क्षमताओं और स्पष्ट रूप से परिभाषित परीक्षण-क्षेत्र के आधार पर पहचाना जाएगा। जरूरत पड़ने पर AI अपनाने वाले संगठनों को योग्य टेस्टर खोजने में भी मदद मिल सकती है। इससे कंपनियों, अन्य हितधारकों और अंतिम उपयोगकर्ताओं का भरोसा बढ़ाने का लक्ष्य है।

हालांकि, AI TAP की मान्यता का अर्थ यह नहीं है कि किसी खास AI सिस्टम को पूरी तरह सुरक्षित या जोखिम-मुक्त घोषित कर दिया गया है। किसी सिस्टम के वास्तविक उपयोग, दूसरे सॉफ्टवेयर से उसके एकीकरण और नए उभरते खतरों से जुड़े जोखिम बने रह सकते हैं। जोखिम स्वीकार करने, गवर्नेंस लागू करने और अतिरिक्त सुरक्षा उपाय करने की जिम्मेदारी AI तैनात करने वाले संगठन की ही रहेगी।

टेस्टर AI सिस्टम में क्या जांचेंगे?

मान्यता प्राप्त या आवेदन करने वाली कंपनियां adversarial testing, जिसे आम तौर पर red-team testing कहा जाता है, कर सकती हैं। इसमें टेस्टर जानबूझकर ऐसे इनपुट या हमले आजमाते हैं जिनसे AI की सुरक्षा-व्यवस्थाओं को दरकिनार किया जा सके।

इसमें prompt injection और jailbreak प्रयास भी शामिल हो सकते हैं। आसान शब्दों में, टेस्टर यह देखने की कोशिश करते हैं कि क्या कोई व्यक्ति या बाहरी सामग्री मॉडल के निर्देशों को प्रभावित करके उसे अपनी सुरक्षा नीतियों के खिलाफ या असुरक्षित जवाब देने के लिए मजबूर कर सकती है।

जांच का दायरा इन जोखिमों तक हो सकता है:

• सुरक्षा और विश्वसनीयता की खामियां: गलत, भ्रामक या गढ़े हुए जवाब तथा हानिकारक या अवांछित सामग्री।
• निष्पक्षता से जुड़ी समस्याएं: निर्णय लेने में पक्षपात या bias।
• गोपनीयता और सुरक्षा जोखिम: संवेदनशील डेटा का लीक होना और सिस्टम की कमजोरियां।
• Prompt injection और jailbreak से बचाव: खासकर generative AI और ऐसे agentic AI ऐप्स के लिए, जो खुद कई काम या टूल संचालित कर सकते हैं।

कंपनियों को मान्यता पाने के लिए क्या साबित करना होगा?

AI TAP में आवेदन करने वाली कंपनियों का मूल्यांकन केवल उनकी तकनीकी क्षमता के आधार पर नहीं होगा। उनकी संस्थागत, वित्तीय और परिचालन क्षमता भी देखी जाएगी। प्रमुख मानदंड ये हैं:

• तकनीकी दक्षता: कंपनी को यह प्रमाणित करना होगा कि वह अपने घोषित विशिष्ट परीक्षण-क्षेत्र में प्रभावी जांच कर सकती है। इसके लिए IMDA के Starter Kit for Testing LLM-Based Applications for Safety and Reliability जैसे मार्गदर्शन का उपयोग किया जा सकता है।
• गवर्नेंस और कारोबारी विश्वसनीयता: संबंधित अनुभव, अच्छा कारोबारी रिकॉर्ड और सिंगापुर में कारोबारी गतिविधि के प्रति प्रतिबद्धता।
• वित्तीय स्थिरता: लंबे समय तक सेवाएं संचालित करने के लिए पर्याप्त वित्तीय क्षमता।
• परिचालन तैयारी: प्रस्तावित सेवाएं देने के लिए पर्याप्त टीम, प्रक्रिया और परिचालन क्षमता।
• घोषित दायरे की सटीकता: कंपनी जिस प्रकार की परीक्षण सेवाएं देने का दावा करे, उसकी वास्तविक क्षमता उसी के अनुरूप होनी चाहिए।

IMDA Starter Kit में बताए गए पांच प्रमुख LLM जोखिम

IMDA का Starter Kit बड़े भाषा मॉडल (LLM) आधारित ऐप्स की बुनियादी सुरक्षा और विश्वसनीयता जांच के लिए स्वैच्छिक मार्गदर्शन देता है। इसमें पांच प्रमुख जोखिम बताए गए हैं:

1. Hallucination और गलत जानकारी — मॉडल का तथ्य गढ़ना या गलत जवाब देना।
2. निर्णय लेने में पक्षपात — अलग-अलग लोगों या समूहों के साथ अनुचित भेदभावपूर्ण व्यवहार।
3. अवांछित सामग्री — हानिकारक, अनुचित या नीति-विरोधी आउटपुट।
4. डेटा लीक — निजी या संवेदनशील जानकारी का अनधिकृत रूप से सामने आना।
5. कमजोरियां — adversarial prompts, prompt injection या अन्य हमलों के जरिए सिस्टम को प्रभावित किया जाना।

क्या आवेदन या मान्यता शुल्क देना होगा?

AI Verify Foundation के अनुसार, AI TAP में आवेदन करने या मान्यता पाने के लिए कोई शुल्क नहीं लिया जाएगा। इसका उद्देश्य भागीदारी की बाधाएं कम रखना और AI assurance testing बाजार के विकास को बढ़ावा देना है।

मान्यता 12 महीने तक वैध होगी। इसके बाद कंपनियों को नवीनीकरण कराना होगा और यह दिखाना होगा कि बदलते मानकों और नए खतरों के बीच उनकी क्षमता अब भी बनी हुई है।

किन कंपनियों ने शुरुआती रुचि दिखाई है?

उपलब्ध जानकारी के अनुसार, Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro और Vulcan ने कार्यक्रम में शुरुआती रुचि दिखाई है।

AI उद्योग पर संभावित असर

AI TAP का घोषित लक्ष्य बाहरी AI परीक्षण के बाजार को अधिक व्यवस्थित और विश्वसनीय बनाना है। साझा अपेक्षाओं के कारण खरीदारों के लिए टेस्टर की क्षमता समझना आसान हो सकता है, जबकि लिखित और प्रमाण-आधारित रिपोर्टिंग से यह स्पष्ट हो सकता है कि किसी सिस्टम की किन परिस्थितियों में जांच की गई है।

कार्यक्रम का डिजाइन संगठनों को अपने खास उपयोग-क्षेत्र और जोखिमों के अनुरूप परीक्षण कराने में भी मदद कर सकता है। स्वतंत्र टेस्टरों की मान्यता से गवर्नेंस और AI सुरक्षा को लेकर अतिरिक्त भरोसा मिलने की उम्मीद है।

फिर भी, उपलब्ध स्रोतों में उद्योग प्रतिनिधियों की ओर से परीक्षण के बेहतर customization, governance या AI safety confidence पर कोई विशिष्ट टिप्पणी शामिल नहीं है। इसलिए इन लाभों को कार्यक्रम के घोषित उद्देश्य और संरचना से जुड़ी संभावित परिणतियों के रूप में समझना चाहिए, न कि पहले से सिद्ध परिणामों के रूप में।

AI TAP का उद्देश्य अलग-अलग क्षेत्रों में काम करने वाली विश्वसनीय परीक्षण कंपनियों का एक नेटवर्क तैयार करना है। इनमें स्वास्थ्य सेवा, वित्त, भर्ती और सार्वजनिक सेवाएं शामिल हैं। साथ ही, कार्यक्रम AI की तकनीकी जांच के लिए अच्छे और व्यावहारिक न्यूनतम मानक तय करने की कोशिश करेगा।

मान्यता प्राप्त कंपनियों को उनकी प्रमाणित क्षमताओं और स्पष्ट रूप से परिभाषित परीक्षण-क्षेत्र के आधार पर पहचाना जाएगा। जरूरत पड़ने पर AI अपनाने वाले संगठनों को योग्य टेस्टर खोजने में भी मदद मिल सकती है। इससे कंपनियों, अन्य हितधारकों और अंतिम उपयोगकर्ताओं का भरोसा बढ़ाने का लक्ष्य है।

हालांकि, AI TAP की मान्यता का अर्थ यह नहीं है कि किसी खास AI सिस्टम को पूरी तरह सुरक्षित या जोखिम-मुक्त घोषित कर दिया गया है। किसी सिस्टम के वास्तविक उपयोग, दूसरे सॉफ्टवेयर से उसके एकीकरण और नए उभरते खतरों से जुड़े जोखिम बने रह सकते हैं। जोखिम स्वीकार करने, गवर्नेंस लागू करने और अतिरिक्त सुरक्षा उपाय करने की जिम्मेदारी AI तैनात करने वाले संगठन की ही रहेगी।

टेस्टर AI सिस्टम में क्या जांचेंगे?

मान्यता प्राप्त या आवेदन करने वाली कंपनियां adversarial testing, जिसे आम तौर पर red-team testing कहा जाता है, कर सकती हैं। इसमें टेस्टर जानबूझकर ऐसे इनपुट या हमले आजमाते हैं जिनसे AI की सुरक्षा-व्यवस्थाओं को दरकिनार किया जा सके।

इसमें prompt injection और jailbreak प्रयास भी शामिल हो सकते हैं। आसान शब्दों में, टेस्टर यह देखने की कोशिश करते हैं कि क्या कोई व्यक्ति या बाहरी सामग्री मॉडल के निर्देशों को प्रभावित करके उसे अपनी सुरक्षा नीतियों के खिलाफ या असुरक्षित जवाब देने के लिए मजबूर कर सकती है।

जांच का दायरा इन जोखिमों तक हो सकता है:

• सुरक्षा और विश्वसनीयता की खामियां: गलत, भ्रामक या गढ़े हुए जवाब तथा हानिकारक या अवांछित सामग्री।
• निष्पक्षता से जुड़ी समस्याएं: निर्णय लेने में पक्षपात या bias।
• गोपनीयता और सुरक्षा जोखिम: संवेदनशील डेटा का लीक होना और सिस्टम की कमजोरियां।
• Prompt injection और jailbreak से बचाव: खासकर generative AI और ऐसे agentic AI ऐप्स के लिए, जो खुद कई काम या टूल संचालित कर सकते हैं।

कंपनियों को मान्यता पाने के लिए क्या साबित करना होगा?

AI TAP में आवेदन करने वाली कंपनियों का मूल्यांकन केवल उनकी तकनीकी क्षमता के आधार पर नहीं होगा। उनकी संस्थागत, वित्तीय और परिचालन क्षमता भी देखी जाएगी। प्रमुख मानदंड ये हैं:

• तकनीकी दक्षता: कंपनी को यह प्रमाणित करना होगा कि वह अपने घोषित विशिष्ट परीक्षण-क्षेत्र में प्रभावी जांच कर सकती है। इसके लिए IMDA के Starter Kit for Testing LLM-Based Applications for Safety and Reliability जैसे मार्गदर्शन का उपयोग किया जा सकता है।
• गवर्नेंस और कारोबारी विश्वसनीयता: संबंधित अनुभव, अच्छा कारोबारी रिकॉर्ड और सिंगापुर में कारोबारी गतिविधि के प्रति प्रतिबद्धता।
• वित्तीय स्थिरता: लंबे समय तक सेवाएं संचालित करने के लिए पर्याप्त वित्तीय क्षमता।
• परिचालन तैयारी: प्रस्तावित सेवाएं देने के लिए पर्याप्त टीम, प्रक्रिया और परिचालन क्षमता।
• घोषित दायरे की सटीकता: कंपनी जिस प्रकार की परीक्षण सेवाएं देने का दावा करे, उसकी वास्तविक क्षमता उसी के अनुरूप होनी चाहिए।

IMDA Starter Kit में बताए गए पांच प्रमुख LLM जोखिम

IMDA का Starter Kit बड़े भाषा मॉडल (LLM) आधारित ऐप्स की बुनियादी सुरक्षा और विश्वसनीयता जांच के लिए स्वैच्छिक मार्गदर्शन देता है। इसमें पांच प्रमुख जोखिम बताए गए हैं:

1. Hallucination और गलत जानकारी — मॉडल का तथ्य गढ़ना या गलत जवाब देना।
2. निर्णय लेने में पक्षपात — अलग-अलग लोगों या समूहों के साथ अनुचित भेदभावपूर्ण व्यवहार।
3. अवांछित सामग्री — हानिकारक, अनुचित या नीति-विरोधी आउटपुट।
4. डेटा लीक — निजी या संवेदनशील जानकारी का अनधिकृत रूप से सामने आना।
5. कमजोरियां — adversarial prompts, prompt injection या अन्य हमलों के जरिए सिस्टम को प्रभावित किया जाना।

क्या आवेदन या मान्यता शुल्क देना होगा?

AI Verify Foundation के अनुसार, AI TAP में आवेदन करने या मान्यता पाने के लिए कोई शुल्क नहीं लिया जाएगा। इसका उद्देश्य भागीदारी की बाधाएं कम रखना और AI assurance testing बाजार के विकास को बढ़ावा देना है।

मान्यता 12 महीने तक वैध होगी। इसके बाद कंपनियों को नवीनीकरण कराना होगा और यह दिखाना होगा कि बदलते मानकों और नए खतरों के बीच उनकी क्षमता अब भी बनी हुई है।

किन कंपनियों ने शुरुआती रुचि दिखाई है?

उपलब्ध जानकारी के अनुसार, Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro और Vulcan ने कार्यक्रम में शुरुआती रुचि दिखाई है।

AI उद्योग पर संभावित असर

AI TAP का घोषित लक्ष्य बाहरी AI परीक्षण के बाजार को अधिक व्यवस्थित और विश्वसनीय बनाना है। साझा अपेक्षाओं के कारण खरीदारों के लिए टेस्टर की क्षमता समझना आसान हो सकता है, जबकि लिखित और प्रमाण-आधारित रिपोर्टिंग से यह स्पष्ट हो सकता है कि किसी सिस्टम की किन परिस्थितियों में जांच की गई है।

कार्यक्रम का डिजाइन संगठनों को अपने खास उपयोग-क्षेत्र और जोखिमों के अनुरूप परीक्षण कराने में भी मदद कर सकता है। स्वतंत्र टेस्टरों की मान्यता से गवर्नेंस और AI सुरक्षा को लेकर अतिरिक्त भरोसा मिलने की उम्मीद है।

फिर भी, उपलब्ध स्रोतों में उद्योग प्रतिनिधियों की ओर से परीक्षण के बेहतर customization, governance या AI safety confidence पर कोई विशिष्ट टिप्पणी शामिल नहीं है। इसलिए इन लाभों को कार्यक्रम के घोषित उद्देश्य और संरचना से जुड़ी संभावित परिणतियों के रूप में समझना चाहिए, न कि पहले से सिद्ध परिणामों के रूप में।