AnswersPublished16 sources
רובוט לומד מיומנות חדשה מסרטון בן 29 שניות — בלי אימון מחדש
לפי דיווחי החוקרים, HOST רכשה מיומנויות מניפולציה מסרטון אנושי יחיד בן 29 שניות והשיגה שיעור הצלחה ממוצע של 62% בניסיון הראשון, לעומת 38% בשיטת השוואה שדרשה כ 50 הדגמות רובוטיות וכארבע שעות כיוונון. במקום להעתיק את תנועות האדם או לעדכן את משקלי המודל, HOST חוזה את תוצאת המשימה מנקודת המבט של הרובוט ומייצרת את הפעולו...
פורסם על ידינערך באמצעות GPT-5.6 Lunaהתמונות נוצרו באמצעות GPT Image 1.5
Research answer
Key takeaways
- לפי דיווחי החוקרים, HOST רכשה מיומנויות מניפולציה מסרטון אנושי יחיד בן 29 שניות והשיגה שיעור הצלחה ממוצע של 62% בניסיון הראשון, לעומת 38% בשיטת השוואה שדרשה כ 50 הדגמות רובוטיות וכארבע שעות כיוונון.
- במקום להעתיק את תנועות האדם או לעדכן את משקלי המודל, HOST חוזה את תוצאת המשימה מנקודת המבט של הרובוט ומייצרת את הפעולות הדרושות להשגתה.
- הגישה עשויה לקדם מודלים רובוטיים שאומנו מראש ומסתגלים בזמן ההפעלה, תוך צמצום הצורך בהפעלה מרחוק, באיסוף נתונים ובאימון מחדש לכל משימה.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does X Square Robot’s open-sourced HOST framework change embodied-AI training by enabling a humanoid robot to watch a 29-second human de. Article summary: HOST’s important shift is from task-specific retraining to inference-time skill acquisition: rather than gathering a new teleoperation dataset and updating model weights, the robot conditions on one human video, translat. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
החידוש המרכזי של HOST — ראשי תיבות של Human-to-robot One-Shot Skill AcquisiTion — אינו בכך שרובוט כבר יודע לבצע כל מטלה ביתית. החידוש הוא באופן שבו מגדירים רכישת מיומנות חדשה: במקום לפתוח פרויקט אימון חדש לכל משימה, מציגים לרובוט סרטון אחד של אדם, והוא מנסה להבין את התוצאה הרצויה דרך הגוף, המצלמות ונקודת המבט שלו עצמו — בלי לעדכן את משקלי המודל. 18
34
בניסוי שדווח, עיבוד הדגמה בת 29 שניות הוביל לשיעור הצלחה ממוצע של 62%. לשם השוואה, מערכת המבוססת על Pi-0.5 הגיעה לפי הדיווח ל-38% לאחר כ-50 הדגמות של הרובוט וארבע שעות של כיוונון. מדובר בנתונים ממערך הניסוי של מחברי המחקר, ולא במדד לאמינות של רובוט בסביבת עבודה אמיתית. 18
34
מאימון מחדש להסתגלות בזמן ההפעלה
בתהליכי למידה מחיקוי המקובלים, כל משימה חדשה דורשת בדרך כלל הדגמות נוספות, איסוף נתונים ולאחר מכן אופטימיזציה או כיוונון של המודל. התהליך גוזל זמן הפעלה מרחוק, משבית רובוטים לצורך איסוף הדוגמאות, ועלול להקשות על שימור מיומנויות שנרכשו בעבר.
HOST מעבירה את נקודת ההסתגלות. המודל המאומן מראש נשאר קבוע, ואילו סרטון ההדגמה הופך להקשר ספציפי למשימה שמוזן למערכת בזמן ההפעלה. זה דומה יותר ללמידה בתוך ההקשר — התאמת ההתנהגות לפי המידע שנמצא בקלט — מאשר ללימוד קבוע של התנהגות חדשה באמצעות עדכון משקלים. מחקרים בתחום למידת רובוטים בחנו אפשרות דומה: התאמת התנהגות מהקשר של תצפיות ופעולות, ללא שינוי במשקלי המודל. 20
ההבטחה המעשית ברורה: לקצר את הדרך מ״הראה לרובוט מה לעשות״ ל״תן לו לנסות״. עם זאת, הרובוט אינו לומד את כל חוקי הפיזיקה מאפס בתוך 29 שניות. תיאור מדויק יותר הוא שמדובר במודל בעל בסיס רחב של מיומנויות, שמשתמש בסרטון אחד כדי לבחור את המשימה, למקם אותה במערכת התפיסה שלו ולבצע אותה.
מדוע הרובוט אינו פשוט מעתיק את האדם
לאדם ולרובוט אין אותה נקודת צילום, צורת ידיים, מבנה מפרקים, טווח הגעה או מהירות תנועה. העתקה ישירה של פיקסלים או של מסלולי מפרקים הייתה לכן עלולה להיות לא יציבה.
HOST משתמשת במקום זאת בשרשרת של חיזוי המעוגן בעצמי. תחילה המערכת מעריכה את ההתקדמות בתוך המשימה שהודגמה; לאחר מכן היא חוזה כיצד ההמשך ייראה מנקודת המבט של הרובוט; לבסוף היא מפיקה פעולות מתוך התצפיות החזויות הללו. 18
לכל אחד מרכיבי המערכת תפקיד אחר בתרגום בין האדם לרובוט:
- ראייה מפרשת את המשימה ואת התוצאה הרצויה במסגרת תפיסתית שמותאמת לרובוט.
- יצירת פעולות מתרגמת את התוצאה החזויה להתנהגות שהרובוט יכול לבצע.
- Dynamic Time Warping, או עיוות זמן דינמי, מסייע ליישר בין שלבים מקבילים כאשר האדם והרובוט מבצעים אותם במהירויות שונות.
ההבדל חשוב: הרובוט אינו אמור לשחזר בדיוק את מכניקת הגוף של המדגים. עליו להבין את רצף השינויים המשמעותיים במצב ולמצוא דרך משלו להגיע לתוצאה.
שילוב של סימולציה, למידה בתוך ההקשר ומדע קוגניטיבי
העיצוב של HOST משקף תפיסה מכוונת-מטרה של חיקוי. הצופה מנסה להבין למה נועדה הפעולה, ואז בוחר תוכנית מוטורית שמתאימה לגוף שלו. זו גישה שונה מהתייחסות לסרטון כמסלול תנועה שיש להפעיל מחדש פריים אחר פריים.
סימולציות ואימון מקדים בקנה מידה גדול יכולים לספק למודל מגוון רחב של מצבים עוד לפני שהוא פוגש את העולם האמיתי. סרטון קצר מהשטח מוסיף בזמן ההפעלה את המידע הספציפי למשימה. חלוקת העבודה הזו מצביעה על מתכון אפשרי לבינה מלאכותית גופנית: ללמוד מראש עקרונות פיזיים והתנהגותיים רחבים, ואז להתמחות במהירות באמצעות ההקשר שמספקת הדגמה.
הכיוון משתלב במגמה רחבה יותר של מאגרי רובוטיקה פתוחים ומודלי בסיס שאומנו על גבי רובוטים בעלי גופים שונים. במקרים כאלה, ניסיון שנאסף מפלטפורמה אחת עשוי לסייע לאחרות. 25
מדוע הקוד הפתוח משמעותי
הפרסום הפתוח של HOST מאפשר לחוקרים ולמפתחים אחרים לבדוק, לשחזר ולהרחיב את הגישה. מימושים פתוחים יכולים להראות עד כמה העברת מידע מסרטון לפעולה עובדת עם מצלמות, זרועות, סביבות ומשימות שונות — ולא להשאיר את הטענה נעולה בתוך הדגמה קניינית יחידה.
X Square Robot פרסמה גם קוד וכלים לאקוסיסטם של מודלי ה-WALL שלה, לרבות רכיבים לאימון, להרצה, להכנת נתונים ולהערכה. 26
27 מבחינת החברה, קוד פתוח יכול לשרת שתי מטרות במקביל: להאיץ ניסויים חיצוניים ולבנות היכרות עם המודלים והחומרה שסביבם.
המהלך אינו מוכיח כשלעצמו שהמדד של HOST תקף בכל תנאי. הוא כן הופך את ההשערה המרכזית לבדיקה יותר: האם ניתן להתאים יכולות שרובוט רכש באימון מקדים באמצעות הדגמה קצרה, במקום לבצע כיוונון חוזר לכל משימת מניפולציה חדשה.
מה 62% כן מראים — ומה לא
שיעור הצלחה של 62% הוא תוצאה מחקרית מעניינת, במיוחד לצד הירידה המדווחת בכמות ההדגמות ובזמן האימון. אבל אין פירוש הדבר אוטונומיה אמינה. לפי הנתון הזה, כמעט שניים מתוך כל חמישה ניסיונות נכשלו בניסוי המתואר.
התוצאה גם אינה מוכיחה ביצועים יציבים בכל תנאי שבו רובוט ביתי עשוי להיתקל: שינויי תאורה, עומס חפצים, מראה שונה של עצמים, דינמיקת מגע, התאוששות מטעויות, מגבלות בטיחות, רצפים ארוכים יותר וגופים שונים של רובוטים. נדרשות גם הערכות בלתי תלויות, במיוחד משום שמדובר במאמר מחקרי שטרם עבר את כל שלבי האימות ושכל ההשוואות בו תלויות במערך המדדים שנבחר. 18
34
המסקנה הסבירה — והחשובה יותר — אינה שדמויי-אדם כבר למדו לבצע מטלות בית מסרטון יחיד. HOST מצביעה על כיוון אפשרי שבו רובוטים מאומנים מראש באופן רחב, רוכשים מיומנויות במהירות מהדגמות אנושיות ומסתגלים בזמן ההפעלה בלי עדכון משקלים לכל משימה. אם התוצאה תישמר גם מחוץ למדד של המחברים, רכישת מיומנויות בזמן ההפעלה עשויה להפוך לחלופה רצינית למעגל היקר של הפעלה מרחוק, איסוף נתונים וכיוונון חוזר.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "רובוט לומד מיומנות חדשה מסרטון בן 29 שניות — בלי אימון מחדש"?
לפי דיווחי החוקרים, HOST רכשה מיומנויות מניפולציה מסרטון אנושי יחיד בן 29 שניות והשיגה שיעור הצלחה ממוצע של 62% בניסיון הראשון, לעומת 38% בשיטת השוואה שדרשה כ 50 הדגמות רובוטיות וכארבע שעות כיוונון.
What are the key points to validate first?
לפי דיווחי החוקרים, HOST רכשה מיומנויות מניפולציה מסרטון אנושי יחיד בן 29 שניות והשיגה שיעור הצלחה ממוצע של 62% בניסיון הראשון, לעומת 38% בשיטת השוואה שדרשה כ 50 הדגמות רובוטיות וכארבע שעות כיוונון. במקום להעתיק את תנועות האדם או לעדכן את משקלי המודל, HOST חוזה את תוצאת המשימה מנקודת המבט של הרובוט ומייצרת את הפעולות הדרושות להשגתה.
What should I do next in practice?
הגישה עשויה לקדם מודלים רובוטיים שאומנו מראש ומסתגלים בזמן ההפעלה, תוך צמצום הצורך בהפעלה מרחוק, באיסוף נתונים ובאימון מחדש לכל משימה.
Sources
arxiv.orgHOST: Robots Acquire Manipulation Skills in Seconds from ...
letsdatascience.comHOST Paper Reports Robot Skill Learning from One Video in 29 Seconds
robotics-transformer-x.github.ioOpen X-Embodiment: Robotic Learning Datasets and RT-X Models
github.comREADME.md - X-Square-Robot/wall-x