מכללים קשיחים לסוכני AI: כך התפתחה הבינה המלאכותית

2. בינה מלאכותית יוצרת: מחיזוי תוויות ליצירת תוכן

בינה מלאכותית יוצרת משנה את חוויית המשתמש משאלה כמו „לאיזו קטגוריה זה שייך?” לבקשה כמו „צור או שנה משהו בהתאם להנחיה הזו”. מודלים גדולים יכולים להפיק טקסט, תמונות, קול וקוד, ולסייע בכתיבת טיוטות לשירות לקוחות, בתרגום, בהוראה, בסיכום חומר משפטי, בפיתוח תוכנה ובעבודה יצירתית.

מערכות כאלה עשויות לקצר את הזמן והעלות של יצירת טיוטה ראשונה, לאפשר ממשק שיחה למידע מורכב ולסייע לאנשי מקצוע במקום רק להפוך החלטה קבועה לאוטומטית.

החולשה המרכזית: משכנע לא בהכרח אומר אמיתי

מודל יוצר עלול להפיק טענה, מקור, אסמכתה משפטית, מידע רפואי או קוד שנשמעים בטוחים — אך הם מומצאים או לא מדויקים. המכון האמריקאי הלאומי לתקנים ולטכנולוגיה (NIST) משתמש במונח confabulation, כלומר „הפקת תוכן שגוי או כוזב המוצג בביטחון”; בשיח המקובל תופעה זו מכונה לעיתים „הזיה” של המודל.

לכן, בכל מקום שבו הדיוק העובדתי חשוב, אימות הוא תנאי בסיס. אמצעי הגנה אפשריים כוללים שליפת מידע ממקורות מהימנים, הצגת ציטוטים, הערכה מובנית, בדיקות ייעודיות לתחום ובחינה של איש מקצוע. תשובה שוטפת ומשכנעת צריכה להיתפס כטיוטה או תחזית — לא כהוכחה שהטענה נכונה.

הסיכונים הרחבים יותר של מערכות יוצרות

בינה מלאכותית יוצרת מעלה גם שאלות של הגנת מידע, קניין רוחני, מידע כוזב ומקור התוצרים. הנחיות הנציבות האירופית לשימוש אחראי בינה יוצרת במחקר מדגישות את הסיכונים האלה ומבהירות שבני האדם נותרים אחראים לעבודה שהם מפרסמים, גם כאשר AI סייע בהכנתה.

בחינוך מתעוררת בעיה נוספת. אם תלמידים מעבירים באופן שגרתי את הכתיבה, החשיבה ופתרון הבעיות למערכת, הם עשויים לקבל תוצאה מלוטשת — אך לתרגל פחות את המיומנויות שמאחוריה. הנחיות בתחום החינוך מציינות סיכונים כמו תוכן לא מדויק או מוטה, חומר מזיק, דליפות מידע, הפרת קניין רוחני ואתגרים ליושרה האקדמית.

כשלי בטיחות עלולים להיות חמורים יותר בשיחות רגישות. מערכות יוצרות עלולות להפיק תוכן שונא, אלים, מיני או מניפולטיבי, או להגיב באופן לקוי לאדם שמביע כוונה לפגיעה עצמית. NIST מונה בין הסיכונים גם המלצות מסוכנות או אלימות, פגיעה בפרטיות והטיה מזיקה. במצבי סיכון, AI לא צריך להחליף טיפול מקצועי או מנגנוני הגנה אנושיים. נדרשות לו יכולות סירוב והסלמה, בקרות פרטיות ומסלול ברור לקבלת סיוע אנושי מיידי.

3. בינה מלאכותית סוכנית: תכנון, שימוש בכלים ופעולה

בינה מלאכותית סוכנית — Agentic AI — מוסיפה למודל לולאת פעולה. במקום להשיב פעם אחת להנחיה, סוכן יכול לפרש יעד, לפרק אותו לשלבים, להפעיל כלים כמו דפדפן, מריץ קוד, שירות דוא”ל או API, לבדוק את התוצאות, לעדכן את התוכנית ולהמשיך.

סטנפורד מתארת AI סוכנית כמערכות אוטונומיות או אוטונומיות למחצה שיכולות לפרש יעדים, לסדר פעולות ברצף, להשתמש בכלים, להגיב למשוב ולהסתגל כדי להשלים משימות — בתוך מגבלות מוגדרות.

ההבדל המעשי משמעותי:

• מערכת חיזוי מדרגת עסקה;
• מערכת יוצרת מנסחת תשובה לגביה; ו-
• סוכן, אם ניתנה לו הגישה הדרושה, יכול לחקור את העסקה, לעדכן תיק ולשלוח הודעה.

Jules של Google מדגים את השימוש בתחום פיתוח התוכנה. Google מתארת אותו כסוכן תכנות אסינכרוני שמתחבר למאגרי קוד, משכפל בסיס קוד למכונה וירטואלית בענן ועובד על משימות תכנות שאפשר לבדוק בהמשך. סוכנים פתוחים המשתמשים בכלים מייצגים גישה נוספת, ומוצרים לגיוס עובדים כמו Hiring Assistant של LinkedIn מדגימים כיצד תהליכים סוכנית יכולים להתרחב גם לאיתור מועמדים וגיוס.

המשיכה העיקרית של סוכנים היא היכולת להשלים עבודה מרובת שלבים במקום רק להציע את הצעד הבא. סוכן תכנות עשוי לחקור באג, לערוך כמה קבצים, להריץ בדיקות ולהכין בקשת מיזוג לבדיקה. סוכן תהליכים עשוי לאסוף מידע, לארגן אותו ולהכין הודעות לאישור.

למה אוטונומיה מגדילה את הסיכון?

תכנון אינו שקול להבנה אמינה. סוכן עלול לפרש דף אינטרנט בצורה שגויה, לבחור תוכנית בעייתית, לציית להנחיה זדונית או לצבור טעות קטנה לאורך שלבים רבים. דוח AI Index של סטנפורד לשנת 2026 מצא שסוכנים השתפרו מ־12% לכ־66% הצלחה במשימות ב־OSWorld, אמת מידה למשימות מחשב בעולם האמיתי, אך עדיין נכשלו בערך באחד מכל שלושה ניסיונות.

הזיה של צ’אטבוט עשויה להישאר בעיית תקשורת. סוכן שמחזיק בהרשאות, בגישה לדפדפן או בסמכות לבצע תשלום עלול להפוך את אותה טעות לפעולה חיצונית. לכן ממשל של סוכנים חייב לעסוק לא רק באיכות הפלט, אלא גם בהרשאות, ביכולת לבטל פעולה ובאחריותיות.

הסיכונים המרכזיים של סוכני AI

הסיכונים החשובים ביותר מופיעים כאשר סוכן יכול להשפיע על מערכות, כסף, מידע או אנשים אחרים:

• תשלומים ללא הרשאה: סוכן עלול לבחור פריט שגוי, לחרוג מתקציב או להיות מתומרן על ידי אתר זדוני.
• דליפת פרטיות וגניבת מידע: גישה לדוא”ל, קבצים, רשומות לקוחות, קוד מקור או מפתחות API יוצרת הזדמנויות לחשיפה, במיוחד באמצעות הזרקת הנחיות.
• פגיעה באבטחה ובתוכנה: סוכן עלול להכניס קוד לא מאובטח, לשנות תצורות, למחוק משאבים או לחשוף סודות ביומנים ובכלים חיצוניים.
• פערי אחריות: האחריות עלולה להתחלק באופן לא ברור בין ספק המודל, מפתח היישום, הארגון שמפעיל את הסוכן, ספק הכלים והמשתמש.
• מניפולציה: סוכנים שיחהיים ומתמשכים עלולים להשפיע על משתמשים יתר על המידה, במיוחד כאשר המשתמש פגיע או כאשר המערכת נראית מוכשרת ואמינה יותר מכפי שהיא באמת.

איך נראה ממשל אחראי?

הבקרות צריכות להתאים ליכולת של המערכת ולחומרת התוצאות של כשל.

במערכות חיזוי יש להגדיר מטרה, למדוד דיוק והוגנות, להגן על מידע אישי ולאפשר הסבר או ערעור על תוצאות בעלות השפעה משמעותית.

במערכות יוצרות יש לאמת טענות חשובות, לבדוק הזיות ותוצרים מזיקים, לשלוט בשימוש במידע רגיש, להתמודד עם שאלות של מקור וקניין רוחני, ולהשאיר בידי אנשי מקצוע מוסמכים את האחריות להחלטות משפטיות, רפואיות, פיננסיות והחלטות הנוגעות להגנה על אנשים.

אצל סוכנים נדרשות בקרות טכניות וארגוניות רחבות יותר:

1. להגדיר שימוש מוגבל. לקבוע מראש מה הסוכן רשאי ומה אסור לו לעשות.
2. להגביל גישה. להשתמש בהרשאות מינימליות, בכלים מוגבלים, בתקרות עסקה ובסביבות מבודדות.
3. לדרוש אישור בנקודות ביקורת משמעותיות. פעולות פיננסיות, משפטיות, רגישות לפרטיות או הקשורות לבטיחות לא צריכות להתבצע ללא הרשאה אנושית מתאימה.
4. לאפשר ביקורת על הפעילות. לשמור יומנים, לנטר התנהגות ולהגדיר בעלות ברורה על אירועים.
5. לבחון בתרחישים עוינים. לבדוק הזרקת הנחיות, הוצאת מידע, התנהגות מזיקה והתאוששות מכשלים לפני הפריסה ובמהלכה.
6. לשמר שליטה אנושית. אנשים צריכים להיות מסוגלים לעצור, לעקוף ולערער על פעולות בעלות השלכות.

הרשות לפיתוח התקשורת והמידע של סינגפור (IMDA) מציגה גישה מבוססת־סיכון זו במסגרת Model AI Governance Framework for Agentic AI, המיועדת לארגונים שמפתחים סוכנים בתוך הארגון או מטמיעים פתרונות של ספקים חיצוניים. הלקח המרכזי של המסגרת הוא שיש להרחיב את האוטונומיה בהדרגה: להתחיל בסיוע לקריאה בלבד, לעבור לפעולות בסיכון נמוך, ולשמור פעולות בלתי הפיכות או בעלות השפעה גבוהה לאישור מפורש.

לאן מתקדמים מכאן?

את התפתחות ה-AI נכון להבין כמערך יכולות מתרחב, ולא כשלוש תקופות נפרדות לחלוטין. מערכות מסורתיות חוזות ומסווגות. מערכות יוצרות מפיקות ומשנות תוכן. מערכות סוכנית מוסיפות תכנון, שימוש בכלים ופעולה.

גם הממשל צריך להתרחב באותו קצב. בקרות של דיוק והוגנות עדיין חיוניות, אך אינן מספיקות. מערכות יוצרות דורשות אימות חזק, שקיפות לגבי מקור התוכן ונוהלי בטיחות. סוכנים דורשים בנוסף גבולות הרשאה, נקודות אישור, ניטור אבטחה ואחריות ברורה.

ככל שמערכת AI יכולה לעשות יותר בכוחות עצמה, כך ארגונים חייבים להחליט בזהירות רבה יותר מה מותר לה לעשות.