RéponsesPublié16 sources
HOST : un robot apprend une nouvelle compétence à partir d’une seule vidéo
Selon les auteurs, HOST a obtenu un taux de réussite moyen de 62 % après une démonstration humaine de 29 secondes, contre 38 % pour une méthode fondée sur environ 50 démonstrations robotiques et quatre heures d’ajuste... Le système ne copie pas directement les mouvements humains et ne modifie pas les poids du modèle...
Publié parModifié avec GPT-5.6 LunaImages générées avec GPT Image 1.5
Réponse de recherche
Points clés à retenir
- Selon les auteurs, HOST a obtenu un taux de réussite moyen de 62 % après une démonstration humaine de 29 secondes, contre 38 % pour une méthode fondée sur environ 50 démonstrations robotiques et quatre heures d’ajuste...
- Le système ne copie pas directement les mouvements humains et ne modifie pas les poids du modèle : il prédit le résultat depuis le point de vue du robot, puis génère les actions nécessaires pour l’atteindre.
- Cette approche pourrait orienter l’IA incarnée vers des modèles préentraînés capables de s’adapter rapidement au moment de l’exécution, tout en réduisant le recours à la téléopération et au réentraînement tâche par tâ...
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How does X Square Robot’s open-sourced HOST framework change embodied-AI training by enabling a humanoid robot to watch a 29-second human de. Article summary: HOST’s important shift is from task-specific retraining to inference-time skill acquisition: rather than gathering a new teleoperation dataset and updating model weights, the robot conditions on one human video, translat. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
L’idée la plus importante de HOST — l’acronyme de Human-to-robot One-Shot Skill AcquisiTion — n’est pas qu’un robot saurait désormais effectuer toutes les tâches ménagères. C’est plutôt qu’une nouvelle compétence physique pourrait être traitée comme un contexte ou une consigne : montrer au robot une seule démonstration humaine, lui laisser interpréter le résultat recherché depuis sa propre caméra et avec son propre corps, puis le faire essayer sans modifier les paramètres du modèle sous-jacent. 18
34
Dans l’évaluation rapportée, une vidéo de démonstration de 29 secondes a conduit à un taux de réussite moyen de 62 %. À titre de comparaison, une méthode reposant sur le système Pi-0.5 aurait atteint 38 % après environ 50 démonstrations réalisées avec le robot et quatre heures d’ajustement. Ces chiffres proviennent du protocole expérimental des auteurs : ils ne correspondent pas encore à un niveau de fiabilité suffisant pour un déploiement réel. 18
34
Du réentraînement à l’adaptation au moment de l’exécution
Les méthodes classiques d’apprentissage par imitation demandent généralement de recueillir de nouvelles démonstrations pour chaque tâche, puis d’optimiser ou d’ajuster le modèle. Ce cycle mobilise des opérateurs pour la téléopération, immobilise les robots et peut compliquer la conservation des compétences déjà acquises.
HOST déplace le lieu de l’adaptation. Le modèle préentraîné reste fixe ; la vidéo devient un contexte spécifique à la tâche, fourni au moment de l’exécution. Le principe se rapproche donc de l’apprentissage « en contexte » (in-context learning) davantage que d’un apprentissage permanent obtenu par mise à jour des poids. Des travaux antérieurs sur l’apprentissage robotique ont déjà étudié cette possibilité : adapter le comportement à partir d’un historique d’observations et d’actions sans modifier les paramètres du modèle. 20
La promesse pratique est claire : raccourcir le chemin entre « montre-lui quoi faire » et « laisse-le essayer ». Mais le robot ne découvre pas toutes les lois de la physique en 29 secondes. Une description plus précise serait celle d’un modèle disposant de larges préalables de compétences, qui utilise une vidéo pour sélectionner, ancrer et exécuter une nouvelle tâche.
Pourquoi HOST ne se contente pas de copier l’humain
Un humain et un robot n’ont ni la même position de caméra, ni la même forme de main, ni les mêmes articulations, ni la même portée ou vitesse de mouvement. Transférer directement les pixels ou les trajectoires articulaires serait donc fragile.
HOST utilise à la place une cascade de prédictions ancrées dans le point de vue du robot. Le framework estime d’abord la progression dans la tâche montrée, prédit ensuite à quoi cette progression devrait ressembler depuis la perspective propre du robot, puis déduit les actions à partir de ces observations prédites. 18
Ses différents composants répondent à des étapes distinctes de cette traduction :
- La vision interprète la tâche présentée et le résultat recherché dans un cadre perceptif centré sur le robot.
- La génération d’actions transforme le résultat prédit en comportements exécutables.
- Le dynamic time warping (DTW), ou alignement temporel dynamique, aide à faire correspondre les différentes étapes lorsque l’humain et le robot les réalisent à des vitesses différentes.
La nuance est essentielle. Le robot n’a pas à reproduire exactement la mécanique corporelle du démonstrateur ; il doit comprendre la séquence significative des changements d’état et trouver sa propre manière de produire le résultat attendu.
Une recette qui combine simulation et imitation orientée vers le but
La conception de HOST rejoint une vision orientée vers l’objectif de l’imitation : l’observateur identifie ce qu’une action cherche à accomplir, puis choisit un plan moteur adapté à son propre corps. Cette logique diffère d’une simple relecture image par image d’une trajectoire humaine.
La simulation et le préentraînement à grande échelle peuvent fournir une grande diversité de situations avant le déploiement. Une courte vidéo réelle apporte ensuite l’information spécifique à la tâche qui manque au robot sur le moment. Cette répartition des rôles dessine une piste possible pour l’IA incarnée : apprendre hors ligne des capacités physiques et comportementales générales, puis se spécialiser rapidement grâce au contexte fourni lors de l’exécution.
Cette orientation s’inscrit dans un mouvement plus large en faveur des jeux de données robotiques ouverts et des modèles fondamentaux entraînés sur plusieurs types de robots. L’expérience acquise avec une plateforme peut ainsi, au moins en théorie, bénéficier à d’autres robots dotés d’incarnations différentes. 25
L’intérêt stratégique de l’ouverture du code
La mise à disposition de HOST par X Square Robot permet à d’autres chercheurs et développeurs d’examiner, de reproduire et de tester l’approche. Des implémentations ouvertes peuvent notamment révéler dans quelle mesure le transfert vidéo-action fonctionne avec d’autres caméras, manipulateurs, environnements et tâches, au lieu de laisser la démonstration confinée à un système propriétaire.
L’entreprise a également publié du code et des outils pour son écosystème de modèles incarnés WALL, notamment des composants dédiés à l’entraînement, à l’inférence, à la préparation des données et à l’évaluation. 26
27 Pour X Square Robot, l’open source peut donc remplir deux fonctions : accélérer les expérimentations extérieures et familiariser les développeurs avec les modèles et le matériel associés à son approche.
Cette ouverture ne valide pas, à elle seule, les résultats de HOST. Elle rend toutefois l’hypothèse centrale plus facile à vérifier : les capacités préentraînées d’un robot peuvent-elles réellement être adaptées à partir d’une démonstration compacte, plutôt que par un nouvel ajustement pour chaque tâche de manipulation ?
Ce que montre — et ne montre pas — le résultat de 62 %
Un taux de réussite de 62 % constitue un résultat de recherche notable, surtout lorsqu’il est associé à une baisse annoncée du nombre de démonstrations et du temps d’entraînement. Ce n’est pas encore synonyme d’autonomie fiable : dans l’évaluation décrite, près de deux tentatives sur cinq échouaient toujours.
Le résultat ne prouve pas non plus que le système resterait robuste dans toutes les conditions auxquelles un robot domestique devrait faire face. Il faudrait encore l’évaluer avec des variations d’éclairage, du désordre, des objets d’apparence différente, des interactions de contact imprévisibles, des mécanismes de récupération après erreur, des contraintes de sécurité, des séquences plus longues et d’autres morphologies robotiques. Une évaluation indépendante sera également importante, car l’article est un préprint de recherche et les comparaisons dépendent du benchmark utilisé. 18
34
La conclusion la plus crédible — et la plus utile — est donc plus limitée que l’affirmation selon laquelle les humanoïdes sauraient désormais apprendre les tâches ménagères à partir d’une seule vidéo. HOST pointe vers un système d’IA incarnée préentraîné de manière générale, capable de s’adapter rapidement à une démonstration humaine et d’éviter les mises à jour des poids pour chaque tâche. Si ce résultat se confirme au-delà du benchmark des auteurs, l’acquisition de compétences au moment de l’exécution pourrait devenir une alternative sérieuse au cycle coûteux de téléopération, de collecte de données et de réentraînement répété.
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « HOST : un robot apprend une nouvelle compétence à partir d’une seule vidéo » ?
Selon les auteurs, HOST a obtenu un taux de réussite moyen de 62 % après une démonstration humaine de 29 secondes, contre 38 % pour une méthode fondée sur environ 50 démonstrations robotiques et quatre heures d’ajuste...
Quels sont les points clés à valider en premier ?
Selon les auteurs, HOST a obtenu un taux de réussite moyen de 62 % après une démonstration humaine de 29 secondes, contre 38 % pour une méthode fondée sur environ 50 démonstrations robotiques et quatre heures d’ajuste... Le système ne copie pas directement les mouvements humains et ne modifie pas les poids du modèle : il prédit le résultat depuis le point de vue du robot, puis génère les actions nécessaires pour l’atteindre.
Que dois-je faire ensuite en pratique ?
Cette approche pourrait orienter l’IA incarnée vers des modèles préentraînés capables de s’adapter rapidement au moment de l’exécution, tout en réduisant le recours à la téléopération et au réentraînement tâche par tâ...
Sources
arxiv.orgHOST: Robots Acquire Manipulation Skills in Seconds from ...
letsdatascience.comHOST Paper Reports Robot Skill Learning from One Video in 29 Seconds
robotics-transformer-x.github.ioOpen X-Embodiment: Robotic Learning Datasets and RT-X Models
github.comREADME.md - X-Square-Robot/wall-x