RespuestasPublicado16 fuentes
Cómo HOST cambia el entrenamiento de la IA encarnada
HOST habría aprendido habilidades de manipulación a partir de un único vídeo humano de 29 segundos y alcanzado una tasa media de éxito del 62 %, frente al 38 % de una referencia ajustada con unas 50 demostraciones y c... En lugar de copiar los movimientos humanos o actualizar los pesos del modelo, HOST predice el re...
Publicado porEditado con GPT-5.6 LunaImágenes generadas con GPT Image 1.5
Respuesta de investigación
Conclusiones clave
- HOST habría aprendido habilidades de manipulación a partir de un único vídeo humano de 29 segundos y alcanzado una tasa media de éxito del 62 %, frente al 38 % de una referencia ajustada con unas 50 demostraciones y c...
- En lugar de copiar los movimientos humanos o actualizar los pesos del modelo, HOST predice el resultado de la tarea desde la perspectiva del robot y genera las acciones necesarias para alcanzarlo.
- El enfoque podría orientar la IA encarnada hacia modelos de habilidades preentrenados que se adapten durante la inferencia, reduciendo la necesidad de teleoperación y reajustes específicos para cada tarea.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How does X Square Robot’s open-sourced HOST framework change embodied-AI training by enabling a humanoid robot to watch a 29-second human de. Article summary: HOST’s important shift is from task-specific retraining to inference-time skill acquisition: rather than gathering a new teleoperation dataset and updating model weights, the robot conditions on one human video, translat. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
La idea central de HOST —siglas de Human-to-robot One-Shot Skill AcquisiTion, o adquisición de habilidades de humano a robot en un solo intento— no es que un robot haya aprendido de repente a encargarse de todas las tareas domésticas. Su importancia está en plantear una nueva habilidad física más como una instrucción contextual que como un proyecto de entrenamiento desde cero: se muestra al robot un único vídeo de una persona, el sistema interpreta el objetivo desde la perspectiva de su propio cuerpo y sus cámaras, y después intenta realizar la tarea sin modificar los pesos subyacentes del modelo. 18
34
En la evaluación comunicada por los autores, una demostración de 29 segundos produjo una tasa media de éxito del 62 %. Como comparación, un sistema basado en Pi-0.5 habría alcanzado el 38 % después de unas 50 demostraciones robóticas y cuatro horas de ajuste fino. Son cifras obtenidas en la configuración experimental de los investigadores y no deben confundirse con una fiabilidad apta para el despliegue real. 18
34
Del reentrenamiento a la adaptación durante la inferencia
Los flujos tradicionales de aprendizaje por imitación suelen exigir nuevas demostraciones para cada tarea. Después, esos datos se utilizan para optimizar o reajustar el modelo. El proceso consume tiempo de teleoperación, mantiene a los robots ocupados y puede dificultar la conservación de comportamientos aprendidos con anterioridad.
HOST desplaza el punto en el que ocurre la adaptación. El modelo preentrenado permanece congelado y el vídeo de demostración se convierte en contexto específico de la tarea, proporcionado en el momento de la inferencia. El planteamiento se parece más al aprendizaje dentro de contexto (in-context learning) que a enseñar de forma permanente una conducta nueva mediante actualizaciones basadas en gradientes. La investigación en aprendizaje robótico ya ha explorado esta posibilidad más amplia: adaptar el comportamiento a partir del contexto de observaciones y acciones sin cambiar los pesos del modelo. 20
La promesa práctica es acortar el trayecto entre «muéstrale al robot qué debe hacer» y «deja que lo intente». Pero el robot no está aprendiendo todas las leyes de la física desde cero en 29 segundos. Una descripción más precisa sería la de un modelo con un amplio conocimiento previo de habilidades que utiliza un vídeo para seleccionar, situar y ejecutar una tarea nueva.
Por qué HOST no se limita a copiar a la persona
Una persona y un robot no comparten la posición de la cámara, la forma de las manos, las articulaciones, el alcance ni la velocidad de movimiento. Transferir directamente los píxeles o las trayectorias articulares sería, por tanto, poco robusto.
HOST emplea en su lugar una cascada de predicciones ancladas en el propio robot. Primero estima el progreso dentro de la tarea mostrada; después predice cómo debería verse ese progreso desde el punto de vista del robot; por último, deriva las acciones a partir de esas observaciones previstas. 18
Sus componentes abordan distintos aspectos de esa traducción:
- Visión: interpreta la tarea demostrada y el resultado que se pretende lograr desde un marco perceptivo centrado en el robot.
- Generación de acciones: convierte el resultado previsto en un comportamiento que el robot puede ejecutar.
- Alineamiento temporal dinámico: ayuda a hacer corresponder las distintas etapas cuando la persona y el robot realizan la tarea a velocidades diferentes.
La diferencia es importante. El robot no tiene que reproducir exactamente la mecánica corporal de quien hace la demostración; debe inferir la secuencia relevante de cambios de estado y encontrar su propia manera de producirla.
Simulación y ciencia cognitiva apuntan a una receta más amplia
El diseño también refleja una visión orientada a objetivos de la imitación: quien observa identifica qué pretende conseguir una acción y después elige un plan motor adecuado para su propio cuerpo. Es algo distinto de tratar la demostración como una trayectoria que debe repetirse fotograma a fotograma.
La simulación y el preentrenamiento a gran escala pueden aportar variación general antes del despliegue, mientras que un vídeo breve del mundo real proporciona la información específica que falta en ese momento. Esta división del trabajo sugiere una posible receta para la IA encarnada: aprender previamente amplios conocimientos físicos y conductuales y especializarse después con rapidez mediante contexto durante la inferencia.
La dirección encaja con el movimiento hacia conjuntos de datos robóticos abiertos y modelos fundacionales entrenados con múltiples tipos de robots. En ese escenario, la experiencia compartida puede transferirse entre plataformas con cuerpos y capacidades diferentes. 25
Por qué importa que HOST sea de código abierto
La publicación abierta de HOST por parte de X Square Robot facilita que otros investigadores y desarrolladores examinen, reproduzcan y pongan a prueba el enfoque. Las implementaciones abiertas pueden mostrar hasta qué punto funciona la transferencia de vídeo a acción con cámaras, manipuladores, entornos y tareas diferentes, en lugar de dejar la afirmación encerrada en una única demostración propietaria.
La empresa también ha publicado código y herramientas para su ecosistema de modelos encarnados WALL, incluidos componentes de entrenamiento, inferencia, preparación de datos y evaluación. 26
27 Para X Square, el código abierto puede cumplir así dos objetivos: acelerar la experimentación externa y familiarizar a la comunidad con los modelos y el hardware asociados al marco.
Eso no valida por sí solo el resultado de HOST. Sí hace más comprobable su hipótesis principal: que las capacidades preentrenadas de un robot pueden adaptarse mediante una demostración breve, en vez de reajustarse repetidamente para cada nueva tarea de manipulación.
Qué demuestra —y qué no— el resultado del 62 %
Una tasa de éxito del 62 % es un resultado de investigación relevante, sobre todo al combinarse con la reducción comunicada en demostraciones y tiempo de entrenamiento. No equivale a autonomía fiable: en la evaluación descrita, casi dos de cada cinco intentos fallaron.
El resultado tampoco demuestra un rendimiento sólido en todas las condiciones que tendría que afrontar un robot doméstico. Harían falta más pruebas con cambios de iluminación, desorden, apariencia de los objetos, dinámicas de contacto, recuperación ante errores, restricciones de seguridad, secuencias más largas y cuerpos robóticos distintos. También será importante contar con evaluaciones independientes, ya que el trabajo es un preprint de investigación y las comparaciones dependen del banco de pruebas empleado. 18
34
La conclusión más sólida —y también la más útil— es más concreta que afirmar que los humanoides ya pueden aprender las tareas del hogar a partir de un solo vídeo. HOST apunta hacia sistemas de IA encarnada preentrenados de forma amplia, capaces de adaptarse rápidamente a partir de demostraciones humanas y sin actualizar sus pesos para cada tarea. Si el resultado se generaliza más allá del banco de pruebas de los autores, la adquisición de habilidades durante la inferencia podría convertirse en una alternativa seria al costoso ciclo de teleoperación, recopilación de datos y ajuste fino repetido.
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
La gente también pregunta
¿Cuál es la respuesta corta a "Cómo HOST cambia el entrenamiento de la IA encarnada"?
HOST habría aprendido habilidades de manipulación a partir de un único vídeo humano de 29 segundos y alcanzado una tasa media de éxito del 62 %, frente al 38 % de una referencia ajustada con unas 50 demostraciones y c...
¿Cuáles son los puntos clave a validar primero?
HOST habría aprendido habilidades de manipulación a partir de un único vídeo humano de 29 segundos y alcanzado una tasa media de éxito del 62 %, frente al 38 % de una referencia ajustada con unas 50 demostraciones y c... En lugar de copiar los movimientos humanos o actualizar los pesos del modelo, HOST predice el resultado de la tarea desde la perspectiva del robot y genera las acciones necesarias para alcanzarlo.
¿Qué debo hacer a continuación en la práctica?
El enfoque podría orientar la IA encarnada hacia modelos de habilidades preentrenados que se adapten durante la inferencia, reduciendo la necesidad de teleoperación y reajustes específicos para cada tarea.
Fuentes
arxiv.orgHOST: Robots Acquire Manipulation Skills in Seconds from ...
letsdatascience.comHOST Paper Reports Robot Skill Learning from One Video in 29 Seconds
robotics-transformer-x.github.ioOpen X-Embodiment: Robotic Learning Datasets and RT-X Models
github.comREADME.md - X-Square-Robot/wall-x