הרעלת זיכרון הופכת את הזיכרון של סוכן AI למשטח תקיפה מושהה

זיכרון מתמשך הופך סוכן AI לשימושי יותר: הוא יכול לזכור העדפות, עבודה קודמת, נהלים והקשר בין משימות. אבל הוא גם יוצר בעיית אבטחה מסוג אחר. אם תוכן לא מהימן נשמר בזיכרון, תוקף אינו חייב לגרום לכשל מיידי. הוא יכול להמתין עד שהסוכן ישלוף את הרשומה המורעלת במשימה עתידית, שנראית כלל לא קשורה לאירוע המקורי. 15

איך פועלת מתקפת הרעלת זיכרון מושהית

הרעלת זיכרון היא מתקפת שלמות מידע: פגיעה במה שהסוכן יתייחס אליו בעתיד כאל ידע שצבר בעצמו. התהליך הבסיסי נראה כך:

1. הזרקה: הסוכן נתקל בתוכן מטעה או עוין דרך קלט רגיל או סביבה שמותר לו לקרוא.
2. התמדה: התוכן נכתב לזיכרון ארוך הטווח, לצד הערות לגיטימיות, עובדות או תיעוד של משימות קודמות.
3. תרדמה: הסוכן ממשיך לבצע עבודה תקינה, ולכן הכתיבה הראשונית עלולה לא לעורר חשד.
4. שליפה: שאילתה, משימה, ביטוי או הקשר דומה מבחינה סמנטית גורמים למערכת להחזיר את הרשומה המורעלת.
5. הפעלה: התוכן שנשלף משפיע על ההנמקה של הסוכן, על המלצה שלו או על שימוש בכלי. 125

ההבדל המרכזי לעומת הזרקת פרומפט רגילה הוא הזמן. כתיבה זדונית מוצלחת לזיכרון יכולה להשפיע על הפעלות עתידיות, גם אם השיחה שבה הוזן התוכן לא שינתה באופן גלוי את התנהגות הסוכן. 130

לא בכל תרחיש נדרשת גישה ישירה של התוקף למסד הנתונים של הזיכרון. מחקר על סוכני גלישה ברשת, למשל, מתאר תקיפה חוצת־הפעלות וחוצת־אתרים: דף אינטרנט שעבר מניפולציה נצפה במהלך פעולה רגילה, מזהם את הזיכרון, ומופעל במשימה עתידית. 2

מה בחנו החוקרים המזוהים עם אוניברסיטת קלגרי

חוקרים המזוהים עם אוניברסיטת קלגרי דיווחו כי ניתחו 2,614 מסלולי תקיפה מדומים ורב־שלביים של סוכני LLM בעלי זיכרון. במקום להסתפק בשאלה אם תקיפה הצליחה או נכשלה, הם בחנו כיצד הפגיעה מתפתחת לאורך זמן. העבודה כללה ארבע תבניות תקיפה: הרעלת שרשרת, שכתוב מדיניות, הפעלת דלת אחורית וסחיפה איטית. 14

הרעלת שרשרת

בהרעלת שרשרת נשתלת הנחת יסוד מזיקה בשלב מוקדם של תהליך רב־שלבי. ההנמקה המאוחרת יותר יכולה להתבסס עליה דרך החלטות ביניים שנראות לכאורה סבירות, עד לתוצאה לא בטוחה. מבחינת אבטחה, הבעיה היא שאף שלב בודד לא בהכרח ייראה זדוני כשבוחנים אותו בנפרד. 14

שכתוב מדיניות

שכתוב מדיניות משבש כללים, אישורים, סדרי עדיפויות או הנחות תפעוליות שנשמרו בזיכרון. במשימה עתידית, הסוכן עלול לשלוף את הרשומות ששונו ולפעול לפי המדיניות שהחליף התוקף במקום לפי המדיניות המקורית. 14

הפעלת דלת אחורית

רשומת זיכרון בסגנון דלת אחורית נשארת רדומה עד שמשימה עתידית כוללת טריגר מתאים — למשל ניסוח מסוים, הקשר משימתי או התאמה סמנטית. מחקרים קודמים הדגימו את הסיכון הרחב יותר: תצפית מזוהמת אחת שנשמרת יכולה להיות מופעלת בהמשך, בין הפעלות ובאתרים שונים. 214

סחיפה איטית

סחיפה איטית מתארת שינויים קטנים שמטים לאורך זמן את המלצות הסוכן או את דפוסי הפעולה שלו. מחקר על פגיעה בזיכרון מתמשך מצא שמשימות עתידיות הדומות מילולית או סמנטית יכולות להציף רשומות מורעלות ולגרום לדפוסים לא בטוחים לאורך כמה הפעלות. 29

מדוע בדיקה חד־פעמית של סוכן עלולה לפספס את התקיפה

הניתוח מקלגרי מדגיש בעיה כרונולוגית: בזמן ההזרקה, חלק מהתקיפות עשויות להיות קשות להבחנה מהתנהגות רגילה. הנזק מופרד בזמן מכתיבת הזיכרון, ועלול להתגלות רק לאחר שליפה עתידית. 14

לכן, הסיכון אינו בהכרח ליניארי. הוא עשוי להישאר שקט לאורך כמה אינטראקציות ואז לעלות כאשר משימה רלוונטית, הקשר מתאים או טריגר גורמים לזיכרון המורעל לקבל דירוג גבוה מספיק כדי להישלף. מחקר נוסף מתאר גם הוא את הרעלת הזיכרון כתהליך דו־שלבי: תחילה הזרקה, ובהמשך הפעלה בעקבות שליפה. 5

בדיקה ששואלת רק: "האם הסוכן נכשל מול הפרומפט הזה?" עלולה ליצור תחושת ביטחון שגויה. גם הערכה שלב־אחר־שלב שמאפסת הקשר, מדלגת על הפעלות ביניים או לא מפעילה משימה עתידית רלוונטית, עלולה שלא לשחזר את התנאים הנחוצים להפעלה.

יחידת הבדיקה המתאימה יותר היא המסלול המלא:

• הקלט הלא מהימן וההחלטה לשמור אותו בזיכרון;
• הפעלות ביניים תקינות;
• שאילתות עתידיות ווריאציות סמנטיות שעשויות לשלוף את הרשומה;
• ההנמקה של הסוכן לאחר השליפה; וכן
• כל פעולה שנעשית באמצעות כלים או מערכות חיצוניות. 214

למה זיכרון מתמשך מעלה את חומרת הסיכון בסוכנים אוטונומיים

ההשפעה המיידית של הרעלה יכולה להיות תשובה גרועה. החשש הגדול יותר מתחיל כאשר לסוכן יש סמכות לבצע פעולות אחרי שהתייעץ בזיכרון שלו. שליפה מאוחרת עשויה להשפיע על הודעת דוא״ל, תהליך עבודה בדפדפן, פעולה במסד נתונים או משימה אחרת שמתווכת באמצעות כלי. מחקר eTAMP מראה במפורש שהגנות המבוססות על הרשאות בלבד עלולות שלא לעצור איום שהוחדר בעקיפין דרך סביבה שהסוכן מורשה לבחון. 2

במילים אחרות, הזיכרון הוא חלק מגבול האבטחה התפעולי — לא רק תכונת נוחות. מערכת זיכרון שמקבלת חומר לא מהימן ואז מציגה אותו בהמשך כהקשר שימושי, עלולה להפוך אירוע מוקדם ודל־נראות לתקרית מאוחרת. 14

רשימת בדיקה מעשית להגנה ולבדיקה

המחקרים המצוטטים אינם מציגים הגנה אוניברסלית ואינם קובעים באיזו מידה ארגונים כבר אימצו תהליכי תגובה בשלים לאירועים כאלה. עם זאת, הם תומכים בהתייחסות לזיכרון מתמשך כמערכת רגישה לאבטחה, שדורשת בקרות מפורשות.

לבדוק לאורך זמן, ולא רק מול פרומפטים

יש לבצע הערכות יריביות הכוללות טריגרים מושהים, הפעלות חוזרות, משימות ביניים תקינות, ניסוחים מגוונים לשליפה והרשאות כלים מציאותיות. חשוב לבדוק גם אם הסוכן מסוגל להתאושש לאחר שמזוהה כתיבת זיכרון חשודה. 214

לתעד את מקורן של כתיבות זיכרון

יש לשמור מידע על מקור הזיכרון, הסיבה שבגללה נשמר ותנאי האמון שחלו בזמן הכתיבה. מחקר על הגנת זיכרון ארוך טווח מציע יומן כתיבות והחלטות הרשאה עמיד בפני שינוי, וממחיש את הערך של היסטוריית זיכרון שאפשר לבקר ולחקור. 31

להפריד בין זיכרון לסמכות

הערה שנשלפה מהזיכרון אינה אמורה לקבל אוטומטית את הסמכות של הוראה או מדיניות מאומתת. יש להגביל את הפעולות שסוכן יכול לבצע על בסיס זיכרונות בעלי רמת אמון נמוכה או כאלה שמקורם חיצוני, ולבודד אישורים ופעולות בעלות השפעה גבוהה.

לבחון גם כתיבות וגם שליפות

זיהוי אינו יכול להתמקד רק בפרומפטים נכנסים. צוותים צריכים לראות מה נכנס לזיכרון, מה נשלף מאוחר יותר ואילו פעולות במורד הזרם באות בעקבותיו. גישת זיהוי אחת שהוצעה מתבססת על מעברים נצפים משליפה לפעולה, אך תוצאותיה תלויות בארכיטקטורה ולכן אין לראות בה פתרון אוניברסלי. 18

להיערך לביטול ולשחזור

תהליך התגובה צריך לאפשר לאתר רשומות חשודות, להסגיר או למחוק אותן, לבטל תקצירים נגזרים ככל שניתן, ולבדוק פעולות שבוצעו לאחר שליפת זיכרון שעשוי להיות מורעל.

השורה התחתונה

הרעלת זיכרון משנה את השאלה מ־"האם הסוכן יכול להתנגד לפרומפט זדוני עכשיו?" ל־"האם הוא מסוגל לנהל בבטחה מידע שעשוי להשפיע עליו הרבה יותר מאוחר?" ניתוח 2,614 המסלולים מדגיש מדוע אי אפשר לענות על כך מאינטראקציה בודדת. בסוכנים בעלי זיכרון, בדיקות אבטחה צריכות לעקוב אחר כל הדרך: מקלט לא מהימן, דרך אחסון, שליפה מושהית ועד פעולה בעולם האמיתי. 14