רובוט שמבצע משימה ארוכה אינו יכול להסתפק במה שהמצלמה מראה לו ברגע זה: הוא צריך לזכור מה כבר עשה, לזהות כשהפעולה סוטה מהתכנון ולהחליט איך להמשיך. לשם כך הציגה Songyan Dynamics, באמצעות המותג Scalabot, את HERON-CRA — המודל השני בסדרת HERON, אחרי HERON-World Model. זהו תכנון שנועד להתמודד עם הבעיה, לא הוכחה לכך שהיא נפתרה בכל סביבה.
6
14
15
מזיכרון לתיקון פעולה
זיכרון של רצף המשימה. רכיב Context Expert מקודד מידע מרחבי ומשמעותי משלבים קודמים ליחידות מידע מובנות לאורך זמן. הכינוי ״4D״ מתייחס כאן למרחב תלת־ממדי בתוספת ממד הזמן. כך בחירת הפעולה הבאה אמורה להתבסס גם על מה שהשתנה במהלך המשימה, ולא רק על התמונה העדכנית.
6
9
תיקון במקום התחלה מחדש. רכיב למידת החיזוק, RL Engine, מתואר כמנגנון קל יחסית המבוסס על גישת actor–critic שיורית: הוא לומד תיקונים למדיניות הפעולה הבסיסית, במקום להחליף אותה. מודל להערכת התקדמות המשימה אמור לסייע לו לזהות סטיות ולכוון את התיקון. המידע שסופק אינו מאפשר לקבוע כמה מהשיפור המדווח נובע דווקא מהרכיב הזה.
5
9
ניסיון שאפשר להעביר ולתרגל. אימון מקדים על רובוטים בעלי מבנה גוף שונה נועד לעזור למיומנויות לעבור ביניהם. בנפרד, מצבים שנאספו מהצלחות ומכישלונות בעולם הפיזי יכולים לשמש נקודת מוצא ל־HERON-World Model, שייצר מסלולי פעולה עתידיים מדומיינים לצורכי למידה נוספת. זהו מעגל הלמידה המוצע בין שני המודלים — לא ראיה לכך שהתרחישים המדומיינים חוזים בעקביות מה יקרה לרובוט אמיתי.
7
14
15
מה ההדגמות מלמדות?
לפי Scalabot, שיעור ההצלחה בקיפול גרביים בניסוי שלה עלה מ־38.5% ל־97.8%. זהו שיפור מדווח במשימה מסוימת, ולא שיעור הצלחה כללי של רובוטים המשתמשים במודל. החומר שסופק אינו מבסס מספר ניסיונות, תנאי בדיקה או נקודת השוואה שנבדקו באופן עצמאי.
12
הדגמת הכנת הקפה ממחישה למה זיכרון עשוי להועיל במשימה מרובת שלבים. הדגמות נוספות של העברת מיומנות בין רובוטים ושל תגובה להפרעות ממחישות את יכולות התיקון וההעברה שהמערכת מכוונת אליהן. הן אינן קובעות, בפני עצמן, באיזו תדירות המערכת תצליח בסביבות לא מוכרות, על גופים רובוטיים אחרים או לנוכח שיבושים שונים.
4
6
15
השורה התחתונה: ל־HERON-CRA יש מבנה שמחבר בין זיכרון, תיקון פעולות ותרגול באמצעות מודל עולם. כדי לדעת עד כמה החיבור הזה עובד מחוץ להדגמות, נחוצות בדיקות עצמאיות ובנות השוואה — ובהן בדיקות שיבחנו בנפרד את תרומתו של כל רכיב.
4
14
15