המתקפה ניצלה תכונה מובנית של העוזר הקולי של Gemini באנדרואיד, במיוחד כלי בתוך סוכן ה-Android Utilities שקורא ומעבד התראות נכנסות. מכיוון שהכלי הזה מטפל במידע לא מהימן שמגיע מאפליקציות צד שלישי, הודעה מתוחכמת יכלה להטמיע הוראות זדוניות ישירות בתוך טקסט ההתראה. ברגע ש-Gemini קרא את ההתראה המורעלת, הוא היה מזריק בשקט את הפקודות הללו אל תוך ההקשר שלו, מוכן לבצע אותן באינטראקציה הבאה, התמימה לגמרי, שלכם מולו .
המשמעות היא שתוקף לא היה צריך גישה פיזית למכשיר, וגם לא הרשאות מיוחדות. די היה בהודעה בודדת שנשלחה דרך פלטפורמת מסרים נפוצה – וואטסאפ, סלאק, סיגנל, סמס, אינסטגרם, או מסנג׳ר – כדי לסכן את המכשיר .
גוגל כבר למדה ממחקרים קודמים. כאשר SafeBreach הדגימו בעבר איך הזמנה זדונית ביומן גוגל יכולה להשתלט על Gemini, גוגל הגיבה בתיקון שחסם שרשור של הפעלות כלים והשהיית הפעלת כלים – שתי אסטרטגיות נפוצות להזרקת מסרים. התיקון מנע מתוקפים להפעיל רצף של פעולות רגישות או להמתין לרגע שהמשתמש אינו מרוכז .
החוקר אור יאיר מ-SafeBreach מצא דרך יצירתית לעקוף את מנגנוני ההגנה החדשים. טכניקת ה-״Fake Context Alignment״ יצרה מציאות כפולה שעבדה על לוגיקת האבטחה של ה-AI .
השיטה פעלה כך:
הקסם התבסס על הסתרת הפקודות הזדוניות בתוך טקסט בשפה זרה, היפר-קישורים מושתקים (muted hyperlinks), או תבניות הסתרה אחרות. כעבור זמן-מה, כשהמשתמש הקליד או דיבר פקודה תמימה, מנגנון ההרשאה של Gemini פירש בטעות את הפעולה הזו כאישור להפעלת המשימות הרגישות שהוטמנו קודם לכן. באמצעות שילוב של טכניקות ערפול ותזמון למה שכינו החוקרים מתקפת ״Ultimate Combo״, הם הצליחו לעקוף את כל אמצעי ההגנה העדכניים של גוגל באמינות גבוהה .
SafeBreach לא הסתפקו בתיאור הסיכון התאורטי. הם הדגימו חמישה תרחישי תקיפה קונקרטיים שהמחישו את מלוא היקף ההשתלטות :
שליטה על הבית החכם: ברגע ש-Gemini נפרץ, תוקף יכול היה לשלוט מרחוק בכל מכשיר Google Home מחובר. זה כולל פתיחת חלונות חכמים, שליטה על דודי חימום, וניהול מערכות תאורה, והפיכת העוזר הקולי לפורץ דיגיטלי עם השלכות בעולם הפיזי .
שיחות זום בכפייה עם צילום חשאי: החוקרים הדגימו את היכולת להפעיל בשקט את אפליקציית זום (Zoom) על המכשיר, ולהתקשר למספר שמזרים את צילום המצלמה החיה של הטלפון. הם השיגו זאת באמצעות הפניית HTTP 301 מדומיין שאושר על ידי שירות Safe Browsing של גוגל, מה שגרם לחיבור להיראות לגיטימי. למשתמש לא הייתה שום אינדיקציה ויזואלית שהמצלמה שלו פעילה .
הרעלת זיכרון (Memory Poisoning) ברחבי מערכת גוגל: אולי המתקפה הערמומית מכולן. יכולת להזריק מידע כוזב לזיכרון ארוך-הטווח של Gemini. מכיוון שזיכרון זה מסתנכרן בין כל המכשירים בחשבון Google Workspace של המשתמש, התראה מורעלת בודדת יכלה להשחית את המידע ״הזכור״ לטאבלט, למחשב ולרמקולים החכמים – מה שהוביל לכך שה-AI יבצע בעתיד פעולות שגויות בכל המכשירים, בהתבסס על מידע שקרי .
הודעות מזויפות מאנשי קשר מהימנים: המתקפה יכלה להיות מתודלקת לקמפיין הנדסה חברתית רחב-היקף. החוקרים הצליחו לחלץ שמות אמיתיים של שולחים מתור ההתראות של המכשיר, ולייצר הודעות שנראו כאילו נשלחו מאיש קשר מהימן, כמו בוס או בן משפחה. פעולה זו לא דרשה כל ידע מוקדם על רשימת אנשי הקשר של הקורבן, ויכלה לשמש לניסיונות פישינג משכנעים במיוחד .
מעקב מתוזמן: כדי לאפשר הוצאת מידע מתמשכת, החוקרים קבעו משימה חוזרת בתוך ההקשר של ה-AI. משימה זו הורתה ל-Gemini לקרוא אוטומטית את ההודעות האחרונות של המשתמש מדי יום, תוך יצירת ערוץ מעקב קבוע המקיים את עצמו, ללא צורך באינטראקציה נוספת מצד התוקף .
המחקר התנהל בליווי תהליך גילוי אחראי (Responsible Disclosure) מול תוכנית התגמול על איתור פרצות (VRP) של גוגל:
בעוד שהפרצה הספציפית הזו טופלה, המחקר מציף מתח יסודי הקיים בעוזרי בינה מלאכותית: ככל שהם הופכים מועילים ומודעים יותר להקשר בכך שהם קוראים את ההתראות, היומנים והמיילים שלנו, כך הם חייבים לנהל בבטחה יותר צינורות מידע לא מהימנים. המחקר של SafeBreach משמש כתוכנית עבודה קריטית לחיזוק הדור הבא של סוכני AI אל מול איום שאינו דורש דבר מלבד הזמנה להקשיב.
Comments
0 comments