המטרה היא ליצור מאגר של חברות בדיקה אמינות שיוכלו לבחון מערכות בתחומים כמו בריאות, פיננסים, גיוס עובדים ושירותים ציבוריים. במקביל, התוכנית מבקשת להגדיר רף מעשי ומסודר למה שנחשב בדיקה טכנית איכותית של מערכות AI.

חברות שיקבלו הסמכה יוכרו כבעלות יכולת לבצע שירותי בדיקה מוגדרים ומתועדים. הן עשויות גם להיות מקושרות לארגונים שמחפשים ספקי בדיקות מתאימים — צעד שנועד להקל על חברות שמטמיעות AI לבחור בודקים עצמאיים ולהגביר את האמון של ארגונים, בעלי עניין ומשתמשי קצה.

עם זאת, חשוב להבהיר: הסמכת הבודק אינה אישור לכך שמערכת AI מסוימת בטוחה לחלוטין או נטולת סיכונים. סיכונים הקשורים להטמעה מסוימת, לחיבורים למערכות אחרות ולאיומים חדשים עלולים להישאר. הארגון שמפעיל את המערכת ימשיך להיות אחראי על הממשל, קבלת הסיכונים והפעלת אמצעי הגנה נוספים.

אילו חולשות ינסו הבודקים למצוא?

החברות שיוסמכו יוכלו לבצע בדיקות יריבות, המכונות Red Teaming. במסגרתן הן ינסו לתקוף את המערכת באופן מבוקר, למשל באמצעות prompt injection — החדרת הוראות זדוניות לקלט או למידע שהמערכת מעבדת — או באמצעות jailbreak, ניסיון לעקוף את מנגנוני ההגנה של המודל ולגרום לו להפיק התנהגות אסורה או מסוכנת.

הבדיקות עשויות לכלול:

• כשלים בבטיחות ובאמינות: תשובות שגויות או מומצאות, תוכן מזיק ותוכן בלתי רצוי אחר.
• כשלים בהוגנות: הטיות בקבלת החלטות או בתוצאות שמפיקה המערכת.
• בעיות פרטיות ואבטחה: דליפת מידע, חשיפת נתונים וחולשות טכניות.
• עמידות בפני prompt injection ו-jailbreak: היבט חשוב במיוחד ביישומי AI גנרטיביים ובמערכות AI סוכניות, שמסוגלות לבצע פעולות או להשתמש בכלים חיצוניים.

באילו תנאים חברה תקבל הסמכה?

המועמדות ייבחנו לא רק לפי יכולתן הטכנית, אלא גם לפי היכולת הארגונית והעסקית שלהן לספק את השירות לאורך זמן. הקריטריונים כוללים:

• כשירות טכנית: הוכחה שהחברה מסוגלת לבצע את שירותי הבדיקה הספציפיים שהיא מציעה, בין היתר לאור ההנחיות של IMDA לבדיקת יישומים המבוססים על מודלי שפה גדולים.
• ממשל ומעמד עסקי: ניסיון רלוונטי, מעמד תקין ומחויבות לפעילות עסקית בסינגפור.
• יציבות פיננסית: איתנות כספית מספקת כדי לפעול באופן בר-קיימא.
• מוכנות תפעולית: כוח אדם, תהליכים ויכולת תפעולית שיאפשרו לספק את השירותים המוצעים.
• הגדרת היקף מדויקת: היקף השירותים שהחברה מצהירה עליו חייב להתאים ליכולות שהוכיחה בפועל.

חמשת הסיכונים המרכזיים לפי ערכת הבדיקה של IMDA

ה-Starter Kit for Testing LLM-Based Applications for Safety and Reliability היא ערכת הנחיות וולונטרית שנועדה לספק בסיס לבדיקת בטיחות ואמינות של יישומים המבוססים על מודלי שפה גדולים (LLMs). היא מתמקדת בחמישה תחומי סיכון:

1. הזיות ואי-דיוקים — הפקת מידע שגוי או מומצא.
2. הטיה בקבלת החלטות — תוצאות שאינן הוגנות או מושפעות מהטיות.
3. תוכן בלתי רצוי — הפקת תוכן מזיק או בלתי הולם.
4. דליפת מידע — חשיפת נתונים שאמורים להישאר מוגנים.
5. חולשות — פגיעויות, לרבות רגישות להוראות עוינות ולניסיונות לעקוף את מנגנוני ההגנה.

האם החברות יצטרכו לשלם?

לפי AI Verify Foundation, לא ייגבו דמי הגשת מועמדות או דמי הסמכה. ההחלטה נועדה לצמצם את חסמי הכניסה ולעודד את התפתחות שוק שירותי הבטחת האיכות והבטיחות של מערכות AI.

ההסמכה תהיה תקפה למשך 12 חודשים. לאחר מכן החברות יצטרכו לחדש אותה ולהוכיח שהן ממשיכות לעמוד בדרישות, בהתאם להתפתחות התקנים ולשינויים במפת האיומים.

החברות שדווח כי הביעו עניין מוקדם בתוכנית הן Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro ו-Vulcan.

מה עשויה להיות ההשפעה על התעשייה?

היעד המרכזי של AI TAP הוא ליצור שוק בדיקות חיצוני עקבי ואמין יותר: רף משותף לכשירות הבודקים, בדיקות מתועדות המבוססות על ראיות, והגדרה ברורה של היקף הבדיקה בהתאם לשימוש של הארגון ולרמת הסיכון שלו.

המקורות הזמינים אינם כוללים התייחסויות מפורטות של נציגי התעשייה לגבי שיפור ההתאמה האישית של הבדיקות, הממשל או האמון בבטיחות AI. עם זאת, מבנה התוכנית עצמו נועד לתמוך בתוצאות כאלה: הוא אמור לעזור לרוכשי השירות לזהות בודקים כשירים, להבהיר מראש מה בדיוק נבדק, ולספק לארגונים שכבת ביטחון נוספת באמצעות הערכה עצמאית.

המטרה היא ליצור מאגר של חברות בדיקה אמינות שיוכלו לבחון מערכות בתחומים כמו בריאות, פיננסים, גיוס עובדים ושירותים ציבוריים. במקביל, התוכנית מבקשת להגדיר רף מעשי ומסודר למה שנחשב בדיקה טכנית איכותית של מערכות AI.

חברות שיקבלו הסמכה יוכרו כבעלות יכולת לבצע שירותי בדיקה מוגדרים ומתועדים. הן עשויות גם להיות מקושרות לארגונים שמחפשים ספקי בדיקות מתאימים — צעד שנועד להקל על חברות שמטמיעות AI לבחור בודקים עצמאיים ולהגביר את האמון של ארגונים, בעלי עניין ומשתמשי קצה.

עם זאת, חשוב להבהיר: הסמכת הבודק אינה אישור לכך שמערכת AI מסוימת בטוחה לחלוטין או נטולת סיכונים. סיכונים הקשורים להטמעה מסוימת, לחיבורים למערכות אחרות ולאיומים חדשים עלולים להישאר. הארגון שמפעיל את המערכת ימשיך להיות אחראי על הממשל, קבלת הסיכונים והפעלת אמצעי הגנה נוספים.

אילו חולשות ינסו הבודקים למצוא?

החברות שיוסמכו יוכלו לבצע בדיקות יריבות, המכונות Red Teaming. במסגרתן הן ינסו לתקוף את המערכת באופן מבוקר, למשל באמצעות prompt injection — החדרת הוראות זדוניות לקלט או למידע שהמערכת מעבדת — או באמצעות jailbreak, ניסיון לעקוף את מנגנוני ההגנה של המודל ולגרום לו להפיק התנהגות אסורה או מסוכנת.

הבדיקות עשויות לכלול:

• כשלים בבטיחות ובאמינות: תשובות שגויות או מומצאות, תוכן מזיק ותוכן בלתי רצוי אחר.
• כשלים בהוגנות: הטיות בקבלת החלטות או בתוצאות שמפיקה המערכת.
• בעיות פרטיות ואבטחה: דליפת מידע, חשיפת נתונים וחולשות טכניות.
• עמידות בפני prompt injection ו-jailbreak: היבט חשוב במיוחד ביישומי AI גנרטיביים ובמערכות AI סוכניות, שמסוגלות לבצע פעולות או להשתמש בכלים חיצוניים.

באילו תנאים חברה תקבל הסמכה?

המועמדות ייבחנו לא רק לפי יכולתן הטכנית, אלא גם לפי היכולת הארגונית והעסקית שלהן לספק את השירות לאורך זמן. הקריטריונים כוללים:

• כשירות טכנית: הוכחה שהחברה מסוגלת לבצע את שירותי הבדיקה הספציפיים שהיא מציעה, בין היתר לאור ההנחיות של IMDA לבדיקת יישומים המבוססים על מודלי שפה גדולים.
• ממשל ומעמד עסקי: ניסיון רלוונטי, מעמד תקין ומחויבות לפעילות עסקית בסינגפור.
• יציבות פיננסית: איתנות כספית מספקת כדי לפעול באופן בר-קיימא.
• מוכנות תפעולית: כוח אדם, תהליכים ויכולת תפעולית שיאפשרו לספק את השירותים המוצעים.
• הגדרת היקף מדויקת: היקף השירותים שהחברה מצהירה עליו חייב להתאים ליכולות שהוכיחה בפועל.

חמשת הסיכונים המרכזיים לפי ערכת הבדיקה של IMDA

ה-Starter Kit for Testing LLM-Based Applications for Safety and Reliability היא ערכת הנחיות וולונטרית שנועדה לספק בסיס לבדיקת בטיחות ואמינות של יישומים המבוססים על מודלי שפה גדולים (LLMs). היא מתמקדת בחמישה תחומי סיכון:

1. הזיות ואי-דיוקים — הפקת מידע שגוי או מומצא.
2. הטיה בקבלת החלטות — תוצאות שאינן הוגנות או מושפעות מהטיות.
3. תוכן בלתי רצוי — הפקת תוכן מזיק או בלתי הולם.
4. דליפת מידע — חשיפת נתונים שאמורים להישאר מוגנים.
5. חולשות — פגיעויות, לרבות רגישות להוראות עוינות ולניסיונות לעקוף את מנגנוני ההגנה.

האם החברות יצטרכו לשלם?

לפי AI Verify Foundation, לא ייגבו דמי הגשת מועמדות או דמי הסמכה. ההחלטה נועדה לצמצם את חסמי הכניסה ולעודד את התפתחות שוק שירותי הבטחת האיכות והבטיחות של מערכות AI.

ההסמכה תהיה תקפה למשך 12 חודשים. לאחר מכן החברות יצטרכו לחדש אותה ולהוכיח שהן ממשיכות לעמוד בדרישות, בהתאם להתפתחות התקנים ולשינויים במפת האיומים.

החברות שדווח כי הביעו עניין מוקדם בתוכנית הן Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro ו-Vulcan.

מה עשויה להיות ההשפעה על התעשייה?

היעד המרכזי של AI TAP הוא ליצור שוק בדיקות חיצוני עקבי ואמין יותר: רף משותף לכשירות הבודקים, בדיקות מתועדות המבוססות על ראיות, והגדרה ברורה של היקף הבדיקה בהתאם לשימוש של הארגון ולרמת הסיכון שלו.

המקורות הזמינים אינם כוללים התייחסויות מפורטות של נציגי התעשייה לגבי שיפור ההתאמה האישית של הבדיקות, הממשל או האמון בבטיחות AI. עם זאת, מבנה התוכנית עצמו נועד לתמוך בתוצאות כאלה: הוא אמור לעזור לרוכשי השירות לזהות בודקים כשירים, להבהיר מראש מה בדיוק נבדק, ולספק לארגונים שכבת ביטחון נוספת באמצעות הערכה עצמאית.