Zeva: זיכרון סיבתי שמאפשר לרובוטים ללמוד מניסיון בלי לעדכן משקלים

Zeva היא מסגרת הסתגלות בזמן פריסה למניפולציה רובוטית. במקום לעבור את המחזור המוכר של איסוף נתונים, תיוג ואימון-מחדש, היא משאירה את משקלי מדיניות ה-Cosmos3 קפואים ולומדת מן האינטראקציות של הרובוט עצמו: מה הוא עשה ומה השתנה בעולם בעקבות הפעולה. את הידע הזה היא מחזירה למדיניות כהקשר בזמן הסקת המסקנות — בלי עדכון פרמטרים ובלי גרדיאנטים. 15

העיקרון: לא רק לזכור מה קרה, אלא לקשור פעולה לתוצאה

לפי צוות המחקר של Tsinghua AIR ו-Domain Transform, Zeva מנסה לבודד את ההשפעה הפיזית של פעולה מן הרעש החזותי שמסביבה. כלומר, במקום לזכור רק תמונה או רצף תנועות, היא אמורה לייצג קשר כמו: סגירת התפסן כאן הרימה את המבחנה, או זווית הטיה מסוימת הובילה למזיגה. 14

המסגרת בנויה משלושה רכיבים:

• מקודד המעבר הסיבתי (Causal Transition Encoder, או CTE): לאחר פעולה, המקודד משלב את המצב החזותי, קידוד הפעולה והשינוי שנצפה במצב. הוא מפיק ייצוג אינטראקציה סיבתי במרחב חבוי, ומפריד בין אסימון של שלב המשימה לבין אות אינטראקציה שמתמקד בדינמיקה שנגרמה מהפעולה — ולא, למשל, בתאורה או ברקע. 14

• זיכרון בשני אופקי זמן:

  • Brief Interaction Trace ‏(BIT): זיכרון קצר של מה שקרה בניסיון הנוכחי. הוא רלוונטי, למשל, כדי לתקן טעות שאירעה זה עתה או להגיב לדינמיקה מקומית שהתגלתה במהלך הביצוע. 1
  • Persistent Interaction Memory ‏(PIM): זיכרון מתמשך שמאגד ומקבע ראיות רלוונטיות בין ניסיונות חוזרים באותו פרק עבודה. כך גם כישלונות וגם הצלחות עשויים להשפיע על ניסיון חוזר בהמשך. 1

• הזרקת מדיניות בהקשר (In-context policy injection): Zeva שולפת מן הזיכרונות ראיות סיבתיות שמתאימות לשלב הנוכחי במשימה, בונה מהן “הנחיה סיבתית” ומזריקה אותה למסלול יצירת הפעולות של מדיניות הבסיס הקפואה. המדיניות משנה את התנהגותה בעקבות ההקשר, לא בעקבות עדכון משקלים. 15

במונחים תפעוליים, מדובר בפוטנציאל להסתגלות מהירה יותר בשטח: אין צורך בתוויות חדשות, בהרצת אימון, בגרסת מודל חדשה או בהשבתה לאחר שהרובוט נתקל בתצורת אובייקטים או בהתנהגות פיזיקלית לא מוכרת. זו עדיין למידה במובן מעשי, אך היא למידה בהקשר מבוססת זיכרון, ולא למידה קבועה בפרמטרים של המודל. 16

התוצאות שדווחו

במבחן הסימולציה RoboCasa365-Atomic5, הכולל חמש משימות, Zeva דיווחה על 76.8% הצלחה ממוצעת, לעומת 72.4% ל-Fast-WAM ו-64.8% ל-Cosmos3-Nano. 1

במשימות Level 1 ב-ChemLab-Evo — סביבת מעבדה אמיתית על זרוע רובוטית ARX — דווח על שיפור לאורך ניסיונות חוזרים:

• הרמת מבחנה: מ-65% ל-100% הצלחה.
• הנחת כוס כימית (beaker): מ-25% ל-70%.
• מזיגת מים: מ-30% ל-80%. 1

בטבלת הסיכום של Level 1, Zeva השיגה 100% / 70% / 80% בשלוש המשימות הללו, ובממוצע 83.3%. לשם השוואה, Cosmos3-Nano השיגה 80% / 70% / 60%, ו-Fast-WAM השיגה 85% / 70% / 75%. 1

לעתים מצוטטת גם עלייה בהצלחה המצטברת מכ-26% בניסיון האבולוציה הראשון לכ-73% בניסיון הרביעי. עם זאת, במקור הראשי שסופק הגרף מסומן כ-RoboCasa365 ולא כ-ChemLab-Evo; לכן אין די בראיות שסופקו כדי לייחס בוודאות את עקומת 26%–73% ל-ChemLab-Evo. 1

ומה מוסיפה הדגמה אנושית אחת?

המערכת יכולה לקלוט ביצוע יחיד שמודרך פיזית בידי אדם כנקודת פתיחה. גם במקרה זה המדיניות נשארת קפואה; ההדגמה נכנסת לאותו מנגנון זיכרון של אינטראקציה, ובהמשך הרובוט משתמש בהקשר הסיבתי כדי לשחזר את הרצף. 6

המקורות שסופקו מאשרים את מנגנון ה-warm start מהדגמה בודדת, אך אינם מספקים תוצאות כמותיות מאומתות של לפני ואחרי, ספציפית עבור הנחת כוס כימית או מזיגה. לכן המסקנה הזהירה היא שהדגמה יחידה יכולה לשמש לחימום או לשיפור ראשוני של המשימות, אך לא ניתן לקבוע ממנה גודל שיפור מדויק. 6

למה מודל בסיס חלש עשוי להרוויח יותר?

ההסבר הסביר הוא “מרווח שיפור”: מדיניות מאומנת-מראש חלשה יותר מבצעת יותר טעויות שיטתיות כשהתנאים הפיזיים משתנים, ולכן יש יותר מקום לראיות מתקנות של פעולה-תוצאה לשפר את ביצועיה. מדיניות חזקה יותר מצליחה מלכתחילה בחלק גדול יותר מהמקרים, ולכן נותר פחות כשל שניתן לתקן באמצעות ההקשר שנשלף מהזיכרון.

עם זאת, זו פרשנות סבירה ולא חוק כללי מוכח. הראיות הראשיות מציגות השוואות ביצועים ושיפור בזמן פריסה, אך אינן מוכיחות שכל מודל בסיס חלש יותר תמיד יפיק תועלת גדולה יותר מזיכרון סיבתי. 1

למה דווקא משימות כימיה?

ChemLab-Evo נבחרה משום שעבודת מעבדה כוללת שונות פיזיקלית מובנית ובעלת משמעות: גאומטריית אחיזה, מכלים קטנים, דיוק בהנחה, הטיה ומזיגה, רצפים רב-שלביים וכשלים שאפשר לאבחן דרך השפעתם הפיזית. המאגר כולל שבע משימות על מניפולטור ARX, החל מפעולות בסיס כמו הרמת מבחנה, הנחת כוס כימית ומזיגה, ועד רצפים קצרים ופרוצדורות ארוכות יותר כגון טיטרציה, הכנת תמיסת מלח, שקילה במאזניים ומיצוי. 1

זהו מבחן מתאים לשאלה אם קשרי פעולה-תוצאה שנשמרו בזיכרון, ולא רק חיקוי חזותי, מסוגלים לעבור בין ניסיונות ובין מיומנויות קרובות.

המחירים, המגבלות והשאלות הפתוחות

• עלות הקשר והסקה: שליפת הזיכרון והזרקת ההנחיה הסיבתית מוסיפות עיבוד ועלות חישובית. היסטוריה ארוכה יותר עשויה לסייע רק עד לנקודה שבה איכות השליפה, ההשהיה או קיבולת ההקשר הופכות לגורם מגביל. התוצאות שסופקו אינן מדגימות קנה מידה לפריסות ארוכות מאוד. 1

• איכות הזיכרון וזיהום מידע: קידוד סיבתי שגוי, התאמה חלשה של שלב המשימה או ניסיון כושל ומטעה עלולים להחזיר ראיה מזיקה. ההפרדה בין BIT ל-PIM אמורה לצמצם את הסיכון, אבל אינה מבטיחה שהידע המאוחד בזיכרון יהיה בטוח או נכון. 1

• היקף פיזי מוגבל: המשימות בעולם האמיתי מתמקדות בעיקר באובייקטים קשיחים ובנוזלים. עדיין לא הוכחה הכללה לחומרים מתעוותים מאוד — בד, כבלים, מזון או אריזות רכות — או למשימות מגע עשירות שדורשות משוב כוח ומישוש. 1

• אתר עבודה מבוקר: בהערכה מאפסים את הסביבה בין ניסיונות, ושומרים את PIM בתוך אותו פרק עבודה. זה אינו מוכיח פעולה בלתי מוגבלת במתקן שמשתנה לאורך זמן, עם כיול מצלמות שזז, בלאי, אנשים, עומס חזותי או מדיניות ניהול לזיכרון ארוך-טווח. 1

• העברה בין רובוטים וחומרה: הניסוי הפיזי נעשה עם מניפולטור ARX במרחב עבודה מסוים של 80 × 60 ס״מ. עדיין לא ברור אם המקודד ומנגנון ההנחיה יעברו היטב לזרועות אחרות, תפסנים שונים, רובוטים ניידים, מערכות דו-זרועיות, חיישנים אחרים, קצבי בקרה שונים ומגבלות בטיחות אחרות. 1

• סיווג המשימות: השיטה נבחנה על קבוצה נבחרת של משימות מטבח וכימיה. ההעברה בין משימות דומות תפקודית — כמו סגירת תפסן, הרמה או הטיית מכל — נראית מבטיחה, אבל העברה רחבה בין סוגי משימות בלתי קשורים והוראות סמנטיות מגוונות נותרת שאלה אמפירית פתוחה. 1

• בשלות הראיות: אלו תוצאות שדווחו במאמר ובחומרי הפרויקט, לא שכפול בלתי תלוי. תיאור השיטה נתמך במקורות, אך העמידות שלה לאורך אופקי זמן ארוכים, מול חומרה מגוונת, חומרים רכים ואתרי ייצור לא מבוקרים עדיין זקוקה לראיות חזקות יותר. 1