AnswersPublished11 sources
Omega-0 leert humanoïde robots tegelijk lopen, kijken en grijpen
Omega 0 is een zogenoemd whole body world action model dat lopen, houding, camerastandpunt, balans en handelingen in één beleid probeert te coördineren. De architectuur bestaat uit drie stappen: het comprimeren van lichaamsbewegingen, het voorspellen van toekomstige visuele kenmerken en het trainen op echte robotdat...
Gepubliceerd doorBewerkt met GPT-5.6 LunaAfbeeldingen gegenereerd met GPT Image 1.5
Research answer
Key takeaways
- Omega 0 is een zogenoemd whole body world action model dat lopen, houding, camerastandpunt, balans en handelingen in één beleid probeert te coördineren.
- De architectuur bestaat uit drie stappen: het comprimeren van lichaamsbewegingen, het voorspellen van toekomstige visuele kenmerken en het trainen op echte robotdata uit huishoudelijke omgevingen.
- De dataset Omega HOME bevat 40,3 uur aan data, 4.827 op afstand bestuurde episodes en 24 huishoudelijke taken, verdeeld over acht vaardigheidscategorieën.
- Op 11 taken in echte woningen rapporteren de auteurs een gemiddelde single model succesratio van 81,8%, maar dat bewijst nog niet dat robots zelfstandig en langdurig elk huishouden aankunnen.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Omega-0, the whole-body latent-prediction world action model released on August 21, 2026 by researchers from Nanyang Technological U. Article summary: Omega-0 (ω-0) is a single, whole-body “world action model” for humanoid robots: it takes a language instruction, visual observations, and robot state, predicts a future visual representation, then generates controller-co. Topic tags: general, academic, general web, user generated, government. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, wate
Omega-0 (ω-0) is één geïntegreerd whole-body world action model voor humanoïde robots. In plaats van lopen en objecten manipuleren als twee afzonderlijke problemen te behandelen, probeert het model beide vaardigheden binnen één beleid te combineren. De robot kan daardoor zijn onderstel verplaatsen, van houding en kijkrichting veranderen, zijn evenwicht bewaren en zijn handen gebruiken als onderdeel van dezelfde taak. 1
De kern van Omega-0 is niet het vooraf uitwerken van één lange, vaste bewegingsbaan. Het model voorspelt eerst welke visuele toestand na een handeling zal ontstaan. Op basis daarvan kiest het bewegingen die waarschijnlijk bij het gewenste resultaat passen. Denk bijvoorbeeld aan een robot die eerst dichter bij een voorwerp gaat staan, zijn lichaam en camera goed richt en daarna zijn arm uitstrekt. 1
De resultaten komen uit een onderzoeksartikel en moeten daarom worden gelezen als claims van de auteurs, niet als onafhankelijk bevestigde benchmarkresultaten. 1
Hoe werkt de architectuur van Omega-0?
1. Complexe lichaamsbewegingen comprimeren
In de eerste fase worden bewegingen van het hele lichaam — van benen en romp tot armen en handen — omgezet in compactere action tokens of latente representaties. Daarvoor gebruiken de onderzoekers een Whole-Body FAST-tokenizer. Die compressie maakt het voor het model eenvoudiger om complexe, gecoördineerde bewegingen te leren en weer te geven. 1
Daarnaast passen de onderzoekers een Qwen3-VL-2B-Instruct vision-language-backbone aan voor robotgebruik. Met speciale, aanleerbare tokens maakt het model onderscheid tussen een egocentrisch beeld, dus het perspectief van de camera op de robot zelf, en een exocentrisch beeld, zoals dat van een externe camera. 1
Tijdens de training kan Omega-0 zo gebruikmaken van een breder overzicht vanuit de derde persoon. Tijdens het daadwerkelijke gebruik werkt het model vanuit de eigen waarnemingen van de robot.
2. De toekomstige visuele toestand voorspellen
In de tweede fase gebruikt Omega-0 een doelstelling die is geïnspireerd op V-JEPA. Het model combineert beeldinformatie, een taalopdracht en proprioceptie: metingen van de interne toestand van de robot, zoals houding en gewrichtsposities. Vervolgens voorspelt het toekomstige visuele kenmerken, in plaats van elk toekomstig beeld pixel voor pixel te reconstrueren. 1
Een diffusion transformer gebruikt die voorspellingen daarna om een reeks whole-body action latents te genereren die met de robotcontroller uitvoerbaar zijn. De robot kiest een beweging dus niet alleen omdat die fysiek mogelijk lijkt, maar ook omdat ze naar verwachting tot een nuttige visuele situatie leidt. 1
Dat principe moet het gelijktijdig bewegen en handelen ondersteunen: de robot verplaatst zich, richt zijn lichaam en camera, bewaart zijn balans en voert vervolgens een handeling uit.
3. Het model afstemmen op echte robots en woningen
In de derde fase worden openbare menselijke demonstraties via simulatiegebaseerde grounding vertaald naar de actieruimte van de robot. Daarna wordt het systeem verder getraind met echte data van humanoïde robots die huishoudelijke taken uitvoeren. 1
Tijdens het gebruik legt Omega-0 zich niet vast op de volledige route van een lange taak. Het model maakt telkens een korte action chunk, voert die uit, kijkt opnieuw naar de omgeving en plant vervolgens verder. Deze aanpak, ook wel receding-horizon control genoemd, maakt het mogelijk om bewegingen bij te sturen wanneer nieuwe visuele of proprioceptieve informatie beschikbaar komt. 1
Wat zit er in de dataset Omega-HOME?
Voor training en evaluatie presenteren de onderzoekers Omega-HOME, een dataset met echte interacties tussen humanoïde robots en huishoudelijke omgevingen. De dataset bevat 40,3 uur aan data, 4.827 op afstand bestuurde episodes en 24 huishoudelijke taken, opgenomen met 30 beelden per seconde. 1
De gegevens zijn op elkaar afgestemd en omvatten:
- taalopdrachten;
- egocentrische RGB-beelden vanuit de robotcamera;
- exocentrische RGB-D-beelden vanuit een ZED-camera;
- proprioceptieve toestandsgegevens;
- bewegingsreferenties voor het hele lichaam;
- action latents die geschikt zijn voor de robotcontroller.
1
De taken zijn onderverdeeld in acht vaardigheidscategorieën:
- voorwerpen ophalen;
- oppervlakken schoonmaken;
- apparaten bedienen;
- voorwerpen tussen bakken verplaatsen;
- textiel hanteren;
- spullen opbergen;
- mobile manipulation, waarbij de robot zich tijdens het manipuleren verplaatst;
- gereedschap gebruiken voor taken op de vloer.
Het gaat dus niet alleen om statische grijptaken aan een tafel. De robot moet zich verplaatsen, zijn houding en romp aanpassen, zijn evenwicht bewaren en over langere reeksen meubels, voorwerpen of gereedschappen bedienen. 1
Hoe werd benchmarkvervuiling beperkt?
Voor het beschreven evaluatieprotocol werden de 11 taaktypen uit de test verwijderd uit de trainingsdata van Omega-HOME. De overgebleven robotdata werden gecombineerd met openbare menselijke demonstraties voor de voortraining. Echte data uit woningen werden vervolgens gebruikt voor grounding en verdere training. 1
Daarmee verkleinen de onderzoekers het risico dat Omega-0 simpelweg dezelfde demonstraties uit het testmateriaal heeft onthouden. Het is echter geen absolute garantie voor generalisatie. Kamers, voorwerpen, taakstructuren, hardware en de manier waarop data zijn verzameld kunnen nog steeds overeenkomsten vertonen.
Een strengere test zou bestaan uit onafhankelijke reproducties in nieuwe woningen en op andere humanoïde robotplatforms.
Een gerapporteerde succesratio van 81,8%
Op 11 loco-manipulatietaken in echte woningen rapporteren de auteurs voor Omega-0 een gemiddelde succesratio van 81,8%. Daarbij werd één model gebruikt, in plaats van afzonderlijke beleidsmodellen per taak, verschillende action heads of losse modules voor lopen en manipulatie. 1
De taken omvatten onder meer tafelmanipulatie, schoonmaken, wasgoed hanteren, voorwerpen verplaatsen, apparaten bedienen en mobile manipulation. Volgens het artikel presteerde Omega-0 in deze specifieke testreeks beter dan de vergeleken baselines π-0.5, EgoVLA, GR00T-N1.7 en ψ-0. 1
De beschikbare informatie vermeldt niet betrouwbaar genoeg de exacte totaalscores van elk afzonderlijk baseline-model. De voorzichtige conclusie is daarom de door de auteurs gerapporteerde rangschikking en de score van 81,8% voor Omega-0 — niet een gedetailleerde numerieke vergelijking die hier niet wordt onderbouwd.
Wat betekent dit voor embodied AI?
De belangrijkste bijdrage van Omega-0 is architectonisch. Het onderzoek laat een route zien waarbij voorspellingen van toekomstige visuele kenmerken een schakel vormen tussen menselijke demonstraties, taal, beeldwaarneming, proprioceptie en besturing van het volledige robotlichaam. 1
Het model probeert dus niet alleen te leren welke beweging bij een bepaald beeld hoort. Het legt ook een verband tussen een beweging en de toestand die daardoor ontstaat. Dat is vooral relevant wanneer een robot tegelijk moet beslissen waar hij gaat staan, waar hij naar kijkt en hoe hij zijn handen inzet.
De score van 81,8% betekent niet dat humanoïde robots klaar zijn om zonder toezicht algemene huishoudelijke taken uit te voeren. Er blijven belangrijke open problemen:
- Betrouwbaarheid over lange tijd: een succesratio over 11 taken zegt niets over meerdere uren autonoom werken, herstellen van opeenstapelende fouten of het uitvoeren van lange ketens van afhankelijke deeltaken.
- Veiligheid: interactie met mensen, breekbare spullen, trappen, rommel, huisdieren en onverwachte bewegingen vraagt om expliciete veiligheidsmechanismen, onzekerheidsmanagement en controle op hardwareniveau.
- Generalisatie: goede resultaten op achtergehouden objecten en scènes zijn bemoedigend, maar bewijzen niet dat het systeem even goed werkt in andere woningen, bij andere verlichting en indelingen, of met andere robotlichamen.
- Aanpassing: een woning verandert voortdurend. Een bruikbaar systeem moet fouten herkennen, om hulp kunnen vragen, veilig kunnen leren en zich kunnen aanpassen zonder telkens een dure volledige hertraining.
De meest nauwkeurige conclusie is daarom dat Omega-0 een belangrijke stap vormt richting geïntegreerde besturing van lopen en manipulatie bij humanoïde robots. De 81,8% is een sterk onderzoeksresultaat binnen deze specifieke benchmark, maar geen bewijs dat een robot al elke huishoudelijke taak betrouwbaar en zonder toezicht kan uitvoeren.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Omega-0 leert humanoïde robots tegelijk lopen, kijken en grijpen"?
Omega 0 is een zogenoemd whole body world action model dat lopen, houding, camerastandpunt, balans en handelingen in één beleid probeert te coördineren.
What are the key points to validate first?
Omega 0 is een zogenoemd whole body world action model dat lopen, houding, camerastandpunt, balans en handelingen in één beleid probeert te coördineren. De architectuur bestaat uit drie stappen: het comprimeren van lichaamsbewegingen, het voorspellen van toekomstige visuele kenmerken en het trainen op echte robotdata uit huishoudelijke omgevingen.
What should I do next in practice?
De dataset Omega HOME bevat 40,3 uur aan data, 4.827 op afstand bestuurde episodes en 24 huishoudelijke taken, verdeeld over acht vaardigheidscategorieën.