סינגפור בונה תשתית פיקוח ל-AI עבור 150 אלף עובדי מדינה

הצורך בכך נובע מההבדל בין סוכן AI לבין כלי שמייצר טקסט בלבד. בהתאם להרשאות ולחיבורים שלו למערכות אחרות, סוכן עשוי לקבל החלטות, להפעיל כלים או לבצע משימות במהירות של מכונה. לכן המרשם מתפקד למעשה כמנגנון מצאי, אחריות וביקורת עבור "עובדים דיגיטליים" — ולא רק כרשימת תוכנות.

GovTech תיארה את ה-AI Assistant Desk כסביבה מאובטחת של עוזרים דיגיטליים לעובדי המדינה. בין השימושים הצפויים: ניסוח דוחות, ניהול לוחות זמנים, כתיבת קוד, מחקר ומשימות שגרתיות נוספות.

ההרשאות יוגבלו ברמת המערכת

המודל המוצע נשען על שכבת ההגנה שמקיפה את מודל ה-AI, ולא רק על מנגנוני הבטיחות המובנים במודל מסוים. בין הבקרות שעליהן דווח:

• כללים הניתנים להתאמה לפי משרד, סוכנות או תרחיש שימוש;
• כלי AI מאושרים בלבד;
• חסימת פעולות כמו מחיקת קבצים או שליחת דואר אלקטרוני לגורמים חיצוניים;
• הגבלת מספר הנמענים כדי לצמצם הפצה בלתי מבוקרת וספאם;
• בדיקות אוטומטיות של הנחיות המשתמש ושל התוצרים, בין היתר לאיתור שפה פוגענית ובעיות תוכן נוספות.

זהו יישום של עקרון ההרשאה המינימלית: סוכן צריך לקבל רק את הגישה ואת מרחב הפעולות הדרושים לביצוע המשימה שהוגדרה לו. העיקרון חשוב במיוחד כאשר משרדים משתמשים בכמה מודלים או מחברים סוכנים למערכות ממשלתיות רגישות.

שכבת הבטיחות אמורה להישאר יציבה גם כשהמודלים מתחלפים

פלטפורמת AI Guardian של GovTech מספקת שכבת ממשל נפרדת ליישומי AI. שני הרכיבים המרכזיים שלה פועלים בשלבים שונים של מחזור החיים: Litmus בוחן סיכוני בטיחות ואבטחה לפני ההשקה באמצעות בדיקות עוינות, ואילו Sentinel מספק ניטור תוכן וסינון תוצרים בזמן אמת לאחר שהיישום עולה לאוויר.

הפרדת הפונקציות האלה מהמודל עצמו עשויה לצמצם את התלות בספק יחיד. GovTech תיארה גם את ארכיטקטורת האבטחה של ה-AI Assistant Desk ככזו שנועדה לשמר את ההגנות גם כאשר מוסיפים או מחליפים כלי AI של צד שלישי.

המשמעות המעשית ברורה: המודל עשוי להשתנות, אך הדרישות הממשלתיות בנוגע להגנת מידע, פעולות מותרות, ניטור ובטיחות התוצרים צריכות להישאר יציבות. מסגרת ה-AI האחראי של GovTech מגדירה בטיחות, עמידות, אבטחה ופרטיות, יכולת הסבר ושקיפות כדרישות מרכזיות.

לא רק פריסה: גם בניית יכולות בתוך הממשלה

תוכנית ה-AI של המגזר הציבורי בסינגפור אינה מוגבלת לסוכנים אוטונומיים. עוזר ה-AI הממשלתי Pair כבר תומך בכתיבה, מחקר, סיכום וניתוח במכשירים שהונפקו לעובדי המדינה — כולל עבודה עם מידע ממשלתי רגיש, שאינו מתאים להזנה בצ'אטבוטים מסחריים.

GovTech מפתחת גם כלים להנדסת תוכנה בסיוע AI ולגישות Low-code, כדי שצוותים טכנולוגיים ועובדי מדינה יוכלו לבנות אבות-טיפוס או להפוך תהליכי עבודה לאוטומטיים במהירות רבה יותר. דיווחים קודמים של GovTech תיארו תוכניות לעוזרי קוד, להנדסה בסיוע AI ולכלים שיסייעו להעביר אבות-טיפוס לסביבות בטוחות יותר.

גם ההכשרה היא חלק מהתשתית. GovTech מספקת לעובדי המדינה חומרי לימוד בתחום הנתונים וה-AI, ובמקביל התוכניות הלאומיות הרחבות יותר של סינגפור כוללות הכשרות לעובדי טכנולוגיה בנושאים כמו אוטומציה של כתיבת קוד ובניית מערכות סוכנים.

המטרה היא לבנות יכולת פנימית: העובדים צריכים לדעת מתי נכון להשתמש ב-AI, הצוותים הטכנולוגיים צריכים לדעת להעריך ולאבטח את המערכות שהם בונים, והגופים הממשלתיים זקוקים לפלטפורמות משותפות — לא לאוסף ניסויים מנותקים.

פרויקטים ציבוריים מדגימים מדוע הערכה חשובה

העבודה של GovTech על LangBuddy ממחישה מדוע יש לבחון יישום AI מול המטרה האמיתית שלו. LangBuddy הוא צ'אטבוט קולי שנועד לסייע לתלמידים לתרגל שפות אם באמצעות שיחה.

במוצר כזה, הערכה רצינית אינה יכולה להסתפק בשאלה אם הצ'אטבוט מפיק תשובות שוטפות. עבודת ההערכה של GovTech בוחנת גם בטיחות, סיכון להזיות והאם התשובות עומדות בכללים הפדגוגיים שנקבעו.

העיקרון הזה נכון לכל שירות ציבורי: יש לבדוק אם המערכת מבצעת את המשימה שלשמה נבנתה, עומדת במגבלות שלה ומתנהגת באופן ראוי באינטראקציות מציאותיות — ולא רק אם היא נשמעת משכנעת.

סייבר הוא גם תנאי מוקדם וגם תחום שימוש ב-AI

אותה תפיסת ממשל מופיעה גם בעבודת הסייבר של GovTech. היכולות שעליהן מצהירה הסוכנות כוללות תכנון מאובטח של מערכות, תרגילי Red Team, בדיקות חדירה, תוכנית לדיווח קהילתי על חולשות ויכולות Blue Team לאיתור איומים ולתגובה להם.

GovTech בוחנת גם בדיקות חדירה בסיוע AI ומיון אוטומטי של אירועים במרכזי תפעול אבטחה. כך ה-AI מוצב בשני צדי התהליך: גם ככלי שמסייע לאתר חולשות וגם ככלי שמסייע למגינים לתעדף אירועים.

חלק מהדיווחים מתייחסים ליותר מ-2,000 מערכות דיגיטליות ממשלתיות בהקשר של הרחבת בדיקות האבטחה. החומר הזמין תומך בכיוון הכללי — Red Team, בדיקות חדירה ופעילות אבטחה בסיוע AI — אך אינו מוכיח שבדיקות AI רציפות כבר פועלות בכל אחת מהמערכות הללו.

שלוש מטרות אסטרטגיות

במבט רחב, היוזמות מתחברות לשלוש מטרות:

1. שיפור השירות הציבורי: עוזרים וסוכנים יכולים לטפל בניסוח, ניתוח, כתיבת קוד ותהליכי עבודה שגרתיים, ולאפשר לעובדים להקדיש יותר זמן למקרים מורכבים ולעבודה מול הציבור.
2. חיזוק היכולת הטכנולוגית העצמאית: פלטפורמות משותפות, כלי הערכה, שכבות אבטחה והכשרה מקצועית מסייעים לסינגפור לשמור ידע תפעולי בתוך הממשלה, במקום להיות תלויה לחלוטין בספק מודל או במוצר מסחרי אחד.
3. הגנה על אמון הציבור ועל מערכות המדינה: מרשמים, הרשאות, יכולת ביקורת, בדיקות בטיחות והגנת סייבר יוצרים פיקוח סביב ה-AI ככל שהוא מקבל גישה לעבודה ולנתונים ממשלתיים.

השיעור המרכזי של המהלך הסינגפורי הוא שהרחבה בטוחה של AI היא בעיית ארכיטקטורה לא פחות משהיא בעיית מודל. סינגפור מנסה להנגיש בינה מלאכותית למערך ציבורי שלם, אך במקביל לשמור על בעלות ברורה, הרשאות מוגבלות, בדיקות, שקיפות וניטור פעילות — אצל הגופים שאחראים על השירותים הציבוריים.