RespostasPublicado11 fontes
Omega-0: o modelo que coordena caminhada, visão e manipulação em robôs humanoides
O Omega 0 é um modelo unificado de ação do mundo para robôs humanoides: ele coordena pernas, tronco, câmera, braços e mãos em uma mesma política. Sua arquitetura tem três etapas: compressão de movimentos de corpo inteiro, previsão de características visuais futuras e ajuste em dados de robôs realizando tarefas em ca...
Publicado porEditado com GPT-5.6 LunaImagens geradas com GPT Image 1.5
Resposta de pesquisa
Principais conclusões
- O Omega 0 é um modelo unificado de ação do mundo para robôs humanoides: ele coordena pernas, tronco, câmera, braços e mãos em uma mesma política.
- Sua arquitetura tem três etapas: compressão de movimentos de corpo inteiro, previsão de características visuais futuras e ajuste em dados de robôs realizando tarefas em casas reais.
- O dataset Omega HOME reúne 40,3 horas de dados, 4.827 episódios teleoperados e 24 tarefas domésticas, com imagens em primeira e terceira pessoa, profundidade, linguagem e estados do robô.
- Nos testes descritos pelos pesquisadores, o modelo atingiu 81,8% de sucesso médio em 11 tarefas reais e superou os baselines π 0.5, EgoVLA, GR00T N1.7 e ψ 0.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Omega-0, the whole-body latent-prediction world action model released on August 21, 2026 by researchers from Nanyang Technological U. Article summary: Omega-0 (ω-0) is a single, whole-body “world action model” for humanoid robots: it takes a language instruction, visual observations, and robot state, predicts a future visual representation, then generates controller-co. Topic tags: general, academic, general web, user generated, government. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, wate
O Omega-0 (ω-0) é um modelo unificado de ação de corpo inteiro para robôs humanoides. Em vez de tratar caminhar e manipular objetos como problemas separados, ele tenta coordenar deslocamento, postura, equilíbrio, visão e uso das mãos dentro da mesma tarefa. 1
A ideia central é prever as consequências visuais de uma ação antes de executá-la. Em termos simples, o robô estima o que deverá enxergar depois de se mover e usa essa previsão para escolher movimentos compatíveis. Assim, pode caminhar até um objeto, reposicionar o corpo e a câmera, manter o equilíbrio e só então estender o braço para pegá-lo. 1
Os resultados são apresentados em um trabalho de pesquisa e devem ser entendidos como alegações dos autores, não como um benchmark independentemente confirmado.
Como funciona a arquitetura do Omega-0
1. Compressão dos movimentos e aprendizado visual-linguístico
A primeira etapa usa um Whole-Body FAST tokenizer para transformar trajetórias de alta dimensão — envolvendo pernas, tronco e braços — em representações mais compactas, chamadas action tokens ou latents. Isso reduz a complexidade de descrever movimentos coordenados de todo o corpo. 1
Ao mesmo tempo, os pesquisadores adaptam o modelo de visão e linguagem Qwen3-VL-2B-Instruct ao ambiente robótico. Tokens treináveis identificam se uma imagem vem da perspectiva egocêntrica, ou seja, da câmera do próprio robô, ou da perspectiva exocêntrica, captada por uma câmera externa. 1
Essa distinção permite usar uma visão mais ampla, em terceira pessoa, durante o treinamento, enquanto o robô opera principalmente com as imagens de sua própria câmera na hora da execução.
2. Previsão da situação visual futura
Na segunda etapa, o Omega-0 segue um objetivo de previsão latente inspirado no V-JEPA. O modelo combina visão, instruções de linguagem e propriocepção — as medições internas sobre posição, movimento e estado do robô — para prever características visuais futuras, em vez de tentar reconstruir cada pixel da cena. 1
Um diffusion transformer usa essas representações previstas para gerar uma sequência de action latents de corpo inteiro compatível com o controlador do robô. A ação, portanto, não é escolhida apenas por parecer possível do ponto de vista mecânico: ela também precisa ter boas chances de levar o robô a uma situação visual útil. 1
Na prática, isso pode significar combinar deslocamento, orientação do tronco, ajuste do ângulo da câmera e alcance do braço em uma sequência única.
3. Adaptação ao robô e a casas reais
Na terceira etapa, demonstrações públicas de seres humanos são transferidas para o espaço de ações do robô por meio de um processo de grounding baseado em simulação. Depois, o sistema é ajustado com dados reais de robôs humanoides executando tarefas domésticas. 1
Durante a execução, o Omega-0 não planeja necessariamente toda uma tarefa longa de uma só vez. Ele gera um pequeno bloco de ações, executa esse trecho, observa novamente o ambiente e recalcula o próximo passo. Esse funcionamento, conhecido como planejamento em horizonte recuante (receding horizon), ajuda o robô a corrigir sua trajetória quando surgem novas informações visuais ou proprioceptivas. 1
O que há no dataset Omega-HOME
Para treinar e avaliar o sistema, o estudo apresenta o Omega-HOME, um conjunto de dados de interações domésticas reais com robôs humanoides. Ele reúne 40,3 horas de dados, 4.827 episódios teleoperados e 24 tarefas domésticas, registrados a 30 Hz. 1
Os dados sincronizados incluem:
- instruções em linguagem;
- imagens RGB em primeira pessoa, captadas pela câmera do robô;
- imagens RGB-D em terceira pessoa, obtidas com uma câmera ZED;
- estados proprioceptivos do robô;
- referências de movimento de corpo inteiro;
- action latents compatíveis com o controlador.
1
As tarefas foram organizadas em oito grupos de capacidades:
- buscar objetos;
- limpar superfícies;
- interagir com eletrodomésticos e outros dispositivos;
- transferir objetos entre recipientes;
- manipular tecidos;
- organizar itens em espaços de armazenamento;
- realizar manipulação móvel;
- usar ferramentas em tarefas no chão.
O foco vai além de pegar objetos sobre uma mesa. Muitas atividades exigem que o robô mova a base, ajuste a postura e o tronco, preserve o equilíbrio e manipule móveis, objetos ou ferramentas durante sequências mais longas. 1
Como o estudo tentou evitar contaminação do benchmark
No protocolo descrito pelos pesquisadores, os 11 tipos de tarefa usados na avaliação foram retirados dos dados de treinamento do Omega-HOME. Os demais dados robóticos foram combinados com demonstrações humanas públicas para o pré-treinamento, enquanto dados reais de casas foram usados no grounding e no treinamento posterior. 1
A separação reduz o risco de o modelo simplesmente memorizar as mesmas demonstrações presentes no conjunto de teste. Ela não garante, porém, uma generalização completa. Ainda podem existir semelhanças entre treinamento e teste em aspectos como cômodos, objetos, estrutura das tarefas, hardware ou método de coleta.
Uma avaliação mais rigorosa exigiria reproduções independentes em casas novas e em outras plataformas humanoides.
Desempenho de 81,8% em tarefas domésticas reais
Em 11 tarefas reais de locomoção e manipulação em casas, os autores relatam 81,8% de sucesso médio para o Omega-0. O resultado foi obtido com um único modelo, em vez de políticas separadas por tarefa, cabeças de ação diferentes ou módulos independentes para caminhar e manipular. 1
Os testes incluíram atividades como manipulação sobre mesas, limpeza, lavanderia, transferência de objetos, interação com dispositivos e manipulação móvel. O trabalho também afirma que o Omega-0 superou os baselines comparados — π-0.5, EgoVLA, GR00T-N1.7 e ψ-0 — nesse conjunto específico de testes. 1
O material disponível não apresenta com clareza os percentuais agregados exatos de cada baseline. Portanto, a conclusão mais segura é registrar a classificação relatada pelos autores e os 81,8% do Omega-0, sem transformar a comparação em uma tabela numérica que não foi fornecida.
O que o resultado representa para a IA incorporada
A principal contribuição do Omega-0 é arquitetural. O sistema aponta para uma abordagem em que a previsão de representações perceptivas futuras conecta demonstrações humanas, linguagem, visão, propriocepção e controle de corpo inteiro. 1
Em vez de aprender apenas qual movimento corresponde a uma imagem, o modelo tenta relacionar a ação ao estado para o qual ela deverá levar o robô. Isso é especialmente relevante quando o robô precisa decidir ao mesmo tempo onde ficar, para onde olhar e como usar as mãos.
Ainda assim, os 81,8% não significam que robôs humanoides já estejam prontos para operar de forma geral e sem supervisão dentro de casas. Os principais desafios continuam abertos:
- Confiabilidade em horizontes longos: uma taxa de sucesso em 11 tarefas não comprova funcionamento por várias horas, recuperação de erros acumulados ou execução de cadeias extensas de subtarefas dependentes.
- Segurança: interagir com pessoas, objetos frágeis, escadas, ambientes desorganizados, animais de estimação e movimentos inesperados exige barreiras explícitas, tratamento de incerteza e verificação no nível do hardware.
- Generalização: resultados com objetos e cenas reservados para teste são promissores, mas não resolvem a transferência para outras casas, condições de iluminação, layouts, formas de organizar objetos ou morfologias de robôs.
- Adaptação: uma casa muda continuamente. Um sistema prático precisa detectar falhas, pedir ajuda quando necessário, aprender com segurança e se adaptar sem depender de um novo treinamento caro.
A leitura mais precisa é que o Omega-0 representa um avanço relevante na coordenação integrada entre locomoção e manipulação em robôs humanoides. O índice de 81,8% é um resultado forte no benchmark apresentado, mas ainda não prova que um robô consiga executar qualquer tarefa doméstica de modo confiável e sem supervisão.
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "Omega-0: o modelo que coordena caminhada, visão e manipulação em robôs humanoides"?
O Omega 0 é um modelo unificado de ação do mundo para robôs humanoides: ele coordena pernas, tronco, câmera, braços e mãos em uma mesma política.
Quais são os pontos-chave para validar primeiro?
O Omega 0 é um modelo unificado de ação do mundo para robôs humanoides: ele coordena pernas, tronco, câmera, braços e mãos em uma mesma política. Sua arquitetura tem três etapas: compressão de movimentos de corpo inteiro, previsão de características visuais futuras e ajuste em dados de robôs realizando tarefas em casas reais.
O que devo fazer a seguir na prática?
O dataset Omega HOME reúne 40,3 horas de dados, 4.827 episódios teleoperados e 24 tarefas domésticas, com imagens em primeira e terceira pessoa, profundidade, linguagem e estados do robô.