وتسعى المؤسسة إلى بناء قاعدة من شركات الاختبار الموثوقة القادرة على تقييم أنظمة الذكاء الاصطناعي في قطاعات متعددة، بينها الرعاية الصحية والتمويل والتوظيف والخدمات العامة، مع وضع حد أدنى عملي لما ينبغي أن تتضمنه الاختبارات التقنية الجيدة.

وسيحصل مقدمو الخدمات المعتمدون على اعتراف بنطاق اختبار محدد وموثق، وقد تُتاح إمكانية ربطهم بالمؤسسات التي تبحث عن جهات اختبار مؤهلة. والهدف هو تعزيز ثقة الجهات التي تنشر أنظمة الذكاء الاصطناعي وأصحاب المصلحة والمستخدمين النهائيين.

لكن اعتماد شركة الاختبار لا يعني اعتماد نظام ذكاء اصطناعي بعينه أو ضمان خلوه من المخاطر. فقد تبقى مخاطر مرتبطة بعملية النشر أو التكامل مع أنظمة أخرى، إلى جانب مخاطر جديدة ناشئة. وتظل المؤسسة التي تستخدم النظام مسؤولة عن الحوكمة، وقبول المخاطر، وتطبيق وسائل التخفيف الإضافية عند الحاجة.

ما الذي سيختبره المقيمون؟

قد تجري الشركات المعتمدة اختبارات هجومية تُعرف باسم اختبارات الفريق الأحمر، وتشمل محاولات استخدام حقن التعليمات أو كسر حواجز الحماية (jailbreak) للالتفاف على الضوابط المدمجة في النموذج ودفعه إلى إنتاج سلوك مخالف للسياسات أو غير آمن.

ويمكن أن يغطي نطاق الاختبار ما يلي:

• السلامة والموثوقية: مثل الإجابات غير الدقيقة أو المختلقة، والمحتوى الضار أو غير المرغوب فيه.
• الإنصاف: مثل التحيز في عمليات اتخاذ القرار.
• الخصوصية والأمن: بما في ذلك تسريب البيانات والثغرات الأمنية.
• مقاومة حقن التعليمات وكسر الحماية: وهي مخاطر مهمة خصوصاً في تطبيقات الذكاء الاصطناعي التوليدي والأنظمة الوكيلة القادرة على تنفيذ مهام متعددة.

ما شروط الحصول على الاعتماد؟

سيُقيَّم المتقدمون على قدراتهم في الاختبار، وكذلك على جاهزيتهم المؤسسية والتشغيلية. وتشمل المعايير المعلنة:

• الكفاءة التقنية: تقديم أدلة على قدرة الشركة على تنفيذ خدمات الاختبار المحددة التي تعلنها، بالاستناد إلى إرشادات من بينها «الدليل التمهيدي لاختبار تطبيقات نماذج اللغة الكبيرة من أجل السلامة والموثوقية» الصادر عن IMDA.
• الحوكمة والوضع التجاري: امتلاك سجل ذي صلة، والتمتع بسمعة ووضع تجاري جيدين، والالتزام بممارسة نشاط تجاري في سنغافورة.
• الاستدامة المالية: امتلاك وضع مالي يسمح للشركة بالعمل بصورة مستدامة.
• الجاهزية التشغيلية: توافر القدرة التشغيلية والاستعداد لتقديم الخدمات المقترحة.
• دقة نطاق الخدمات: تطابق نطاق الخدمات الذي تعلنه الشركة مع قدراتها التي تثبتها خلال التقييم.

المخاطر الخمسة في دليل IMDA

يقدم دليل IMDA إرشادات طوعية لاختبار خط أساس للسلامة والموثوقية في تطبيقات نماذج اللغة الكبيرة. ويركز على خمسة مجالات رئيسية للمخاطر:

1. الهلوسة وعدم الدقة.
2. التحيز في اتخاذ القرار.
3. المحتوى غير المرغوب فيه.
4. تسريب البيانات.
5. الثغرات، بما في ذلك قابلية النظام للتأثر بالمطالبات أو التعليمات العدائية.

هل توجد رسوم؟ وما مدة الاعتماد؟

بحسب مؤسسة AI Verify Foundation، لن تُفرض رسوم على تقديم الطلب أو الحصول على الاعتماد، بهدف خفض عوائق المشاركة ودعم نمو سوق ضمان الذكاء الاصطناعي.

وسيظل الاعتماد سارياً لمدة 12 شهراً، ثم يتعين على الشركات تجديده وإثبات استمرار كفاءتها، خصوصاً مع تطور المعايير وتغير مشهد التهديدات.

وأبدت الشركات التالية اهتماماً مبكراً بالبرنامج، وفق ما أُعلن: Advai، وAIDX، وErnst & Young، وKnovel Engineering، وPwC، وResaro، وVulcan.

ما أثر البرنامج المتوقع على السوق؟

يهدف AI TAP إلى جعل سوق الاختبارات الخارجية أكثر اتساقاً ومصداقية من خلال وضع توقعات مشتركة بشأن كفاءة المختبرين، وتشجيع التقييمات الموثقة والقائمة على الأدلة، وربط الاختبارات بحالة استخدام الذكاء الاصطناعي ونطاق المخاطر الخاص بكل مؤسسة.

كما يمكن للاعتماد أن يساعد المؤسسات على معرفة الجهة المناسبة لاختبار أنظمتها، وأن يجعل نطاق الاختبار واضحاً قبل بدء المهمة، ويمنح الجهات التي تنشر حلول الذكاء الاصطناعي مستوى إضافياً من الاطمئنان عبر تقييم مستقل.

ومع ذلك، لا تتضمن الأدلة المتاحة تعليقات محددة من ممثلي القطاع بشأن تحسن التخصيص أو الحوكمة أو الثقة في سلامة الذكاء الاصطناعي. لذلك، فإن هذه الفوائد تُفهم باعتبارها نتائج تدعمها تصميمات البرنامج وأهدافه المعلنة، وليست نتائج مثبتة مسبقاً.

وتسعى المؤسسة إلى بناء قاعدة من شركات الاختبار الموثوقة القادرة على تقييم أنظمة الذكاء الاصطناعي في قطاعات متعددة، بينها الرعاية الصحية والتمويل والتوظيف والخدمات العامة، مع وضع حد أدنى عملي لما ينبغي أن تتضمنه الاختبارات التقنية الجيدة.

وسيحصل مقدمو الخدمات المعتمدون على اعتراف بنطاق اختبار محدد وموثق، وقد تُتاح إمكانية ربطهم بالمؤسسات التي تبحث عن جهات اختبار مؤهلة. والهدف هو تعزيز ثقة الجهات التي تنشر أنظمة الذكاء الاصطناعي وأصحاب المصلحة والمستخدمين النهائيين.

لكن اعتماد شركة الاختبار لا يعني اعتماد نظام ذكاء اصطناعي بعينه أو ضمان خلوه من المخاطر. فقد تبقى مخاطر مرتبطة بعملية النشر أو التكامل مع أنظمة أخرى، إلى جانب مخاطر جديدة ناشئة. وتظل المؤسسة التي تستخدم النظام مسؤولة عن الحوكمة، وقبول المخاطر، وتطبيق وسائل التخفيف الإضافية عند الحاجة.

ما الذي سيختبره المقيمون؟

قد تجري الشركات المعتمدة اختبارات هجومية تُعرف باسم اختبارات الفريق الأحمر، وتشمل محاولات استخدام حقن التعليمات أو كسر حواجز الحماية (jailbreak) للالتفاف على الضوابط المدمجة في النموذج ودفعه إلى إنتاج سلوك مخالف للسياسات أو غير آمن.

ويمكن أن يغطي نطاق الاختبار ما يلي:

• السلامة والموثوقية: مثل الإجابات غير الدقيقة أو المختلقة، والمحتوى الضار أو غير المرغوب فيه.
• الإنصاف: مثل التحيز في عمليات اتخاذ القرار.
• الخصوصية والأمن: بما في ذلك تسريب البيانات والثغرات الأمنية.
• مقاومة حقن التعليمات وكسر الحماية: وهي مخاطر مهمة خصوصاً في تطبيقات الذكاء الاصطناعي التوليدي والأنظمة الوكيلة القادرة على تنفيذ مهام متعددة.

ما شروط الحصول على الاعتماد؟

سيُقيَّم المتقدمون على قدراتهم في الاختبار، وكذلك على جاهزيتهم المؤسسية والتشغيلية. وتشمل المعايير المعلنة:

• الكفاءة التقنية: تقديم أدلة على قدرة الشركة على تنفيذ خدمات الاختبار المحددة التي تعلنها، بالاستناد إلى إرشادات من بينها «الدليل التمهيدي لاختبار تطبيقات نماذج اللغة الكبيرة من أجل السلامة والموثوقية» الصادر عن IMDA.
• الحوكمة والوضع التجاري: امتلاك سجل ذي صلة، والتمتع بسمعة ووضع تجاري جيدين، والالتزام بممارسة نشاط تجاري في سنغافورة.
• الاستدامة المالية: امتلاك وضع مالي يسمح للشركة بالعمل بصورة مستدامة.
• الجاهزية التشغيلية: توافر القدرة التشغيلية والاستعداد لتقديم الخدمات المقترحة.
• دقة نطاق الخدمات: تطابق نطاق الخدمات الذي تعلنه الشركة مع قدراتها التي تثبتها خلال التقييم.

المخاطر الخمسة في دليل IMDA

يقدم دليل IMDA إرشادات طوعية لاختبار خط أساس للسلامة والموثوقية في تطبيقات نماذج اللغة الكبيرة. ويركز على خمسة مجالات رئيسية للمخاطر:

1. الهلوسة وعدم الدقة.
2. التحيز في اتخاذ القرار.
3. المحتوى غير المرغوب فيه.
4. تسريب البيانات.
5. الثغرات، بما في ذلك قابلية النظام للتأثر بالمطالبات أو التعليمات العدائية.

هل توجد رسوم؟ وما مدة الاعتماد؟

بحسب مؤسسة AI Verify Foundation، لن تُفرض رسوم على تقديم الطلب أو الحصول على الاعتماد، بهدف خفض عوائق المشاركة ودعم نمو سوق ضمان الذكاء الاصطناعي.

وسيظل الاعتماد سارياً لمدة 12 شهراً، ثم يتعين على الشركات تجديده وإثبات استمرار كفاءتها، خصوصاً مع تطور المعايير وتغير مشهد التهديدات.

وأبدت الشركات التالية اهتماماً مبكراً بالبرنامج، وفق ما أُعلن: Advai، وAIDX، وErnst & Young، وKnovel Engineering، وPwC، وResaro، وVulcan.

ما أثر البرنامج المتوقع على السوق؟

يهدف AI TAP إلى جعل سوق الاختبارات الخارجية أكثر اتساقاً ومصداقية من خلال وضع توقعات مشتركة بشأن كفاءة المختبرين، وتشجيع التقييمات الموثقة والقائمة على الأدلة، وربط الاختبارات بحالة استخدام الذكاء الاصطناعي ونطاق المخاطر الخاص بكل مؤسسة.

كما يمكن للاعتماد أن يساعد المؤسسات على معرفة الجهة المناسبة لاختبار أنظمتها، وأن يجعل نطاق الاختبار واضحاً قبل بدء المهمة، ويمنح الجهات التي تنشر حلول الذكاء الاصطناعي مستوى إضافياً من الاطمئنان عبر تقييم مستقل.

ومع ذلك، لا تتضمن الأدلة المتاحة تعليقات محددة من ممثلي القطاع بشأن تحسن التخصيص أو الحوكمة أو الثقة في سلامة الذكاء الاصطناعي. لذلك، فإن هذه الفوائد تُفهم باعتبارها نتائج تدعمها تصميمات البرنامج وأهدافه المعلنة، وليست نتائج مثبتة مسبقاً.