RespuestasPublicado11 fuentes
Omega-0 coordina el movimiento, la visión y la manipulación en robots humanoides
Omega 0 es un modelo unificado de acción para robots humanoides: predice las consecuencias visuales de una acción antes de generar movimientos coordinados para las piernas, el torso, la cámara y las manos. Su arquitectura se organiza en tres etapas: compresión de movimientos de cuerpo completo, predicción de represe...
Publicado porEditado con GPT-5.6 LunaImágenes generadas con GPT Image 1.5
Respuesta de investigación
Conclusiones clave
- Omega 0 es un modelo unificado de acción para robots humanoides: predice las consecuencias visuales de una acción antes de generar movimientos coordinados para las piernas, el torso, la cámara y las manos.
- Su arquitectura se organiza en tres etapas: compresión de movimientos de cuerpo completo, predicción de representaciones visuales futuras a partir de visión, lenguaje y propiocepción, y ajuste final con datos de robot...
- El conjunto de datos Omega HOME reúne 40,3 horas de información, 4.827 episodios teleoperados y 24 tareas domésticas, con imágenes desde la perspectiva del robot y cámaras externas, profundidad, lenguaje y datos de mo...
- En 11 tareas domésticas reales, los autores informan de una tasa media de éxito del 81,8% para un único modelo, aunque el resultado no demuestra todavía una autonomía doméstica general y sin supervisión.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Omega-0, the whole-body latent-prediction world action model released on August 21, 2026 by researchers from Nanyang Technological U. Article summary: Omega-0 (ω-0) is a single, whole-body “world action model” for humanoid robots: it takes a language instruction, visual observations, and robot state, predicts a future visual representation, then generates controller-co. Topic tags: general, academic, general web, user generated, government. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, wate
Omega-0 (ω-0) es un modelo unificado de acción para todo el cuerpo —o whole-body world action model— diseñado para robots humanoides. En lugar de tratar caminar y manipular objetos como problemas independientes, intenta coordinarlos dentro de una misma política: el robot puede mover su base, cambiar de postura y de ángulo de visión, mantener el equilibrio y utilizar las manos como parte de una única tarea. 1
La idea central no consiste en generar de una vez una trayectoria larga y predeterminada. Omega-0 predice primero qué características visuales debería observar el robot después de actuar y utiliza esa previsión para escoger movimientos compatibles. Dicho de forma sencilla: no solo calcula cómo moverse, sino también a qué situación perceptiva quiere llegar.
Los resultados proceden de un trabajo de investigación y deben interpretarse como afirmaciones de sus autores, no como un benchmark confirmado de forma independiente. 1
Cómo funciona la arquitectura de tres etapas
1. Compresión de los movimientos de todo el cuerpo
La primera etapa transforma los movimientos de alta dimensión de todo el cuerpo en action tokens o representaciones latentes más compactas mediante un Whole-Body FAST tokenizer. Esta compresión ofrece al modelo una forma más manejable de representar acciones complejas, como coordinar las piernas, el torso y los brazos en un mismo movimiento. 1
Al mismo tiempo, los investigadores adaptan al entorno robótico un modelo de visión y lenguaje Qwen3-VL-2B-Instruct. Durante el entrenamiento, el sistema utiliza tokens aprendibles que distinguen entre la vista egocéntrica —la perspectiva en primera persona de la cámara del robot— y la vista exocéntrica, captada por una cámara externa.
Así, Omega-0 puede aprovechar durante el aprendizaje una visión más amplia del entorno desde una cámara externa, pero operar posteriormente a partir de lo que ve el propio robot. 1
2. Predicción de lo que el robot verá después
En la segunda etapa, Omega-0 emplea un objetivo de predicción latente inspirado en V-JEPA. El modelo combina información visual, una instrucción en lenguaje y la propiocepción, es decir, las mediciones internas sobre la postura y el estado del robot, para predecir características visuales futuras en lugar de reconstruir cada píxel. 1
Después, un transformador de difusión utiliza esas representaciones previstas para generar una secuencia de latentes de acción de todo el cuerpo que el controlador del robot pueda ejecutar.
La intención es que la acción no se elija únicamente porque sea posible desde el punto de vista cinemático, sino porque se espera que conduzca a una situación visual útil. Por ejemplo, el robot puede desplazarse hasta una posición adecuada, orientar el cuerpo y la cámara, mantener el equilibrio y, a continuación, extender el brazo hacia un objeto. 1
3. Adaptación al robot y ajuste con datos de hogares reales
En la tercera etapa, demostraciones públicas de personas se trasladan mediante un proceso de grounding basado en simulación al espacio de acciones latentes del robot. Después, el sistema se ajusta con datos reales de robots humanoides realizando tareas domésticas. 1
Durante la ejecución, Omega-0 no intenta comprometerse con toda la trayectoria de una tarea larga. Genera un bloque corto de acciones (action chunk), lo ejecuta, vuelve a observar el entorno y planifica de nuevo.
Este funcionamiento de horizonte recedente permite corregir el movimiento con la nueva información visual y propioceptiva, en lugar de seguir de forma rígida una trayectoria completamente open loop. En la práctica, el robot puede modificar su comportamiento si el objeto se ha movido o si su posición no resulta tan adecuada como esperaba. 1
Qué contiene el conjunto de datos Omega-HOME
Para entrenar y evaluar el sistema, el trabajo presenta Omega-HOME, un conjunto de datos de interacciones domésticas reales realizadas por robots humanoides. Incluye 40,3 horas de datos, 4.827 episodios teleoperados y 24 tareas domésticas, registrados a 30 Hz. 1
Los datos están sincronizados e incluyen:
- instrucciones en lenguaje;
- imágenes RGB egocéntricas de la cámara del robot;
- imágenes RGB-D exocéntricas de una cámara ZED;
- estados propioceptivos del robot;
- referencias de movimiento de todo el cuerpo;
- latentes de acción compatibles con el controlador.
1
Las tareas se agrupan en ocho áreas de capacidad:
- recuperación de objetos;
- limpieza de superficies;
- interacción con electrodomésticos;
- traslado de objetos entre recipientes;
- manipulación de tejidos;
- organización de objetos en espacios de almacenamiento;
- manipulación móvil;
- uso de herramientas para tareas en el suelo.
El alcance va más allá de recoger objetos sobre una mesa. Muchas actividades exigen mover la base del robot, ajustar la postura y el torso, mantener el equilibrio y manipular muebles, objetos o herramientas a lo largo de secuencias más extensas. 1
Cómo se intentó evitar la contaminación del benchmark
En el protocolo descrito por el trabajo, los 11 tipos de tareas utilizados en la evaluación se eliminaron de los datos de entrenamiento de Omega-HOME. El resto de los datos del robot se combinó con demostraciones públicas de personas para el preentrenamiento, mientras que los datos reales de hogares se utilizaron para el grounding y el entrenamiento posterior. 1
Esta separación reduce el riesgo de que el modelo se limite a memorizar las mismas demostraciones que aparecen en el conjunto de prueba. Sin embargo, no constituye una garantía absoluta de generalización. Todavía pueden existir similitudes entre entrenamiento y evaluación en las habitaciones, los objetos, la estructura de las tareas, el hardware o la forma de recopilar los datos.
Una prueba más exigente sería reproducir los resultados en hogares completamente nuevos y con otras plataformas de robots humanoides.
El resultado comunicado en hogares reales
En 11 tareas reales de locomoción y manipulación doméstica, los autores informan de una tasa media de éxito del 81,8% para Omega-0. El resultado se obtuvo con un único modelo, en lugar de utilizar políticas independientes para cada tarea, distintos módulos de acción o sistemas separados para caminar y manipular. 1
Las pruebas incluían actividades de manipulación sobre mesas, limpieza, lavandería, traslado de objetos, interacción con electrodomésticos y manipulación móvil. El trabajo también afirma que Omega-0 superó a las líneas base comparadas π-0.5, EgoVLA, GR00T-N1.7 y ψ-0 en ese conjunto de pruebas. 1
El material disponible no documenta con suficiente claridad los porcentajes agregados exactos de cada línea base. Por tanto, la conclusión prudente es la clasificación comunicada por los autores y el 81,8% de Omega-0, no una comparación numérica detallada que no aparece en la información disponible.
Qué significa el 81,8% para la IA incorporada
La principal aportación de Omega-0 es arquitectónica. El sistema apunta a una dirección en la que la predicción de representaciones perceptivas futuras sirve de puente entre las demostraciones humanas, el lenguaje, la visión, la propiocepción y el control de todo el cuerpo del robot. 1
En vez de aprender únicamente qué movimiento corresponde a una imagen concreta, el modelo intenta relacionar cada movimiento con el estado al que conducirá. Esto resulta especialmente relevante en tareas en las que el robot debe decidir al mismo tiempo dónde colocarse, hacia dónde mirar y cómo utilizar las manos.
Aun así, el resultado no significa que los robots humanoides estén preparados para funcionar de forma autónoma y general en cualquier hogar. Todavía quedan varios desafíos importantes:
- Fiabilidad a largo plazo: una tasa de éxito en 11 tareas no demuestra que el robot pueda trabajar durante horas, recuperarse de errores acumulados o completar cadenas de subtareas dependientes.
- Seguridad: interactuar con personas, objetos frágiles, escaleras, desorden, mascotas y movimientos imprevistos exige medidas de seguridad explícitas, gestión de la incertidumbre y verificación a nivel de hardware.
- Generalización: los resultados con objetos y escenas reservados para la evaluación son prometedores, pero no resuelven el traslado a otros hogares, condiciones de iluminación, distribuciones, formas de colocar los objetos o morfologías robóticas.
- Adaptación: un hogar cambia constantemente. Un sistema práctico debe detectar fallos, pedir ayuda cuando sea necesario, aprender de forma segura y adaptarse sin requerir un reentrenamiento costoso.
La conclusión más precisa es que Omega-0 representa un paso relevante hacia la coordinación unificada de la locomoción y la manipulación en robots humanoides. El 81,8% constituye un resultado de investigación sólido dentro de ese benchmark concreto, pero no demuestra que un robot pueda realizar de forma fiable cualquier tarea doméstica sin supervisión.
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
La gente también pregunta
¿Cuál es la respuesta corta a "Omega-0 coordina el movimiento, la visión y la manipulación en robots humanoides"?
Omega 0 es un modelo unificado de acción para robots humanoides: predice las consecuencias visuales de una acción antes de generar movimientos coordinados para las piernas, el torso, la cámara y las manos.
¿Cuáles son los puntos clave a validar primero?
Omega 0 es un modelo unificado de acción para robots humanoides: predice las consecuencias visuales de una acción antes de generar movimientos coordinados para las piernas, el torso, la cámara y las manos. Su arquitectura se organiza en tres etapas: compresión de movimientos de cuerpo completo, predicción de representaciones visuales futuras a partir de visión, lenguaje y propiocepción, y ajuste final con datos de robot...
¿Qué debo hacer a continuación en la práctica?
El conjunto de datos Omega HOME reúne 40,3 horas de información, 4.827 episodios teleoperados y 24 tareas domésticas, con imágenes desde la perspectiva del robot y cámaras externas, profundidad, lenguaje y datos de mo...