סוכן AI שפועל בעולם — למשל בסביבה ביתית מדומה — צריך לעשות יותר מלזהות את מה שנמצא מולו. עליו לזכור היכן ראה חפץ, לעדכן את המידע כשמישהו הזיז אותו, וללמוד מתוצאות הפעולות שלו. אמת המידה EmbodiedMemory-Bench, או בקיצור EMem-Bench, נועדה לבדוק את היכולת הזאת באמצעות משימות שבהן צריך לפעול בסביבה, ולא רק לענות על שאלות על העבר.
1
11
צוות OmniAI מאוניברסיטת ג׳ג׳יאנג הציג את אמת המידה, הכוללת 2,554 אפיזודות אינטראקטיביות בארבע משפחות משימות. המאמר הוגש ל־arXiv ב־23 בספטמבר 2026.
1
17
מה הסוכן נדרש לזכור?
בכל דוגמה הסוכן מקבל תחילה היסטוריה מולטימודלית של אינטראקציות, המסודרת לפי זמן, ורק אחר כך משימת המשך. עליו לבנות זיכרון או לעדכן אותו, ואז לפעול בסביבה על סמך המידע הרלוונטי.
1
11
ארבע משפחות המשימות בודקות אם הסוכן מסוגל:
- לזכור פרטים שנצפו: למשל, היכן נמצא חפץ שהופיע קודם בתמונה.
- לעקוב אחרי שינויים: לעדכן את המיקום או המצב של חפץ ולא להסתמך על מידע שכבר התיישן.
- לזכור מה קרה בעקבות פעולה: לשמר מידע שנחשף מתוצאת אינטראקציה, כמו האם פעולה הצליחה או איזה תנאי התגלה.
- להעביר ניסיון למשימה חדשה: להשתמש בכלל שנלמד או בתיקון שקיבל הסוכן גם כשמופיעים חפץ או סצנה אחרים.
11
16
כך נבדקת לא רק היכולת לשמור מידע, אלא גם השאלה אם הסוכן יודע להשתמש בו בזמן הפעולה הבאה.
1
אילו טעויות זיכרון נמצאו?
כדי לאפיין את הקושי, החוקרים בחנו 100 מסלולי כישלון של Gemini-3-Flash ושל Qwen3-VL-32B בשתי ערכות של EmbodiedBench: EB-ALF ו־EB-Hab. בניתוח זוהו ארבעה סוגים של כשלים הקשורים לזיכרון:
- פרטים חזותיים נשכחו — 35%: חפץ הופיע קודם, אך הסוכן לא זכר היכן ראה אותו וחיפש אותו שוב ושוב.
- שינוי בסביבה לא עודכן — 18%: החפץ הוזז או עבר שינוי, אבל הסוכן המשיך לפעול לפי המצב הקודם.
- משוב מהפעולה לא נשמר — 31%: תוצאת הפעולה גילתה מידע חדש, אך הסוכן לא זכר אותו להמשך.
- ניסיון קודם לא הועבר — 7%: הסוכן קיבל קודם הדגמה או תיקון, אך חזר על אותה טעות מול חפץ אחר.
הקטגוריות האלה היוו יחד 91% ממסלולי הכישלון שנבדקו. חשוב לסייג: מדובר במדגם שנבחר מתוך מקרי כישלון, ולא במדגם אקראי שממנו אפשר להסיק מהו שיעור הכישלון הכללי של כל אחד מהמודלים.
מערכת הזיכרון EMem
לצד אמת המידה הציג הצוות את Embodied-Memorizer, מערכת זיכרון חיצונית בשם EMem. היא מארגנת חוויות לשלושה סוגי זיכרון: זיכרון של סצנות, זיכרון מרחבי וזיכרון של אירועים. הצוות אימן גם את EMem-8B, מודל שנועד לנהל את הזיכרונות ולהשתמש בהם.
1
6
15
בהשוואה שבה GPT-5.4-mini שימש כמודל הבסיס לכל המערכות, שיעור ההצלחה הממוצע עלה מ־35.3% ללא EMem ל־58.9% עם EMem — שיפור של 23.6 נקודות אחוז. באותה השוואה הגיע TeleMem ל־37.8%.
6 התוצאות מתייחסות למבחן ולהגדרות שנבדקו; הן אינן מבטיחות שיפור בכל משימה או עם כל מודל.
תשומת לב תקשורתית — ומה עדיין לא נבדק
המאמר הוגש ל־arXiv ב־23 בספטמבר 2026. ב־18 באוקטובר פורסמו כתבות בסין על אמת המידה, וגם דף הצוות מציג סיקור תקשורתי של הפרויקט.
17
6
13 לפי אחד הדיווחים, כשלושה שבועות לאחר ההשקה התקרב מספר ההורדות של EMem-Bench ב־Hugging Face ל־30 אלף. זהו נתון שדווח באותה עת, ולא ספירה עדכנית שאומתה כעת.
6
EMem-Bench בודק זיכרון ופעולה בסביבות סימולציה.
1
4 לכן, תוצאות טובות בו מעידות על ביצועים במשימות שנבדקו, אך אינן מוכיחות שרובוט פיזי יפעל באותה אמינות בתנאים של רעש בחיישנים או שגיאות בביצוע. לשם כך נדרשת גם בדיקה של רובוטים בעולם האמיתי.