AnswersPublished11 sources
Omega-0 samler gange, syn og håndtering i én robotmodell
Omega 0 er en samlet «world action model» for humanoide roboter som koordinerer føtter, overkropp, kamera og hender i én politikk. Modellen komprimerer helkroppsbevegelser, forutsier fremtidige visuelle egenskaper og lager deretter korte handlingssekvenser som kan korrigeres underveis.
Publisert avRedigert med GPT-5.6 LunaBilder generert med GPT Image 1.5
Research answer
Key takeaways
- Omega 0 er en samlet «world action model» for humanoide roboter som koordinerer føtter, overkropp, kamera og hender i én politikk.
- Modellen komprimerer helkroppsbevegelser, forutsier fremtidige visuelle egenskaper og lager deretter korte handlingssekvenser som kan korrigeres underveis.
- Datasettet Omega HOME består av 40,3 timer med data, 4 827 fjernstyrte episoder og 24 oppgaver i hjemmemiljøer.
- Forskerne rapporterer 81,8 prosent gjennomsnittlig suksess i 11 oppgaver i virkelige hjem, men resultatet er ikke bevis på at robotene er klare for generell, uovervåket drift.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Omega-0, the whole-body latent-prediction world action model released on August 21, 2026 by researchers from Nanyang Technological U. Article summary: Omega-0 (ω-0) is a single, whole-body “world action model” for humanoid robots: it takes a language instruction, visual observations, and robot state, predicts a future visual representation, then generates controller-co. Topic tags: general, academic, general web, user generated, government. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, wate
En robot som ikke må velge mellom å gå og å gripe
Humanoide roboter må ofte løse flere fysiske problemer samtidig: De må finne en god plassering, holde balansen, rette kameraet mot riktig område og bruke hendene til å flytte eller manipulere en gjenstand. Omega-0, eller ω-0, er utviklet som én samlet whole-body world action model for nettopp denne typen oppgaver. 1
I stedet for å behandle gange og håndtering som to separate problemer, forsøker modellen å samordne hele kroppen i én politikk. Roboten kan dermed flytte basen, endre kroppsstilling og synsvinkel, holde balansen og bruke hendene som deler av samme arbeidssekvens. 1
Resultatene er hentet fra forskernes egen studie og bør leses som rapporterte forskningspåstander – ikke som uavhengig bekreftede benchmarkresultater. 1
Slik er Omega-0 bygget opp
1. Helkroppsbevegelser gjøres om til håndterlige representasjoner
Først komprimerer en Whole-Body FAST-tokenizer komplekse bevegelser til mer kompakte «action tokens» eller latente representasjoner. Det gir modellen en enklere måte å beskrive samspillet mellom bein, overkropp og armer på. 1
Forskerne tilpasser samtidig et Qwen3-VL-2B-Instruct-basert syn- og språkfundament til robotens miljø. Lærbare tokens markerer om bildet kommer fra robotens eget førstepersonsperspektiv, kalt egosentrisk syn, eller fra et eksternt tredjepersonskamera, kalt eksosentrisk syn. 1
På den måten kan modellen bruke bredere tredjepersonsinformasjon under treningen, mens den ved faktisk bruk hovedsakelig baserer seg på kameraet som sitter på roboten.
2. Modellen forutsier hva roboten vil se etterpå
I neste trinn bruker Omega-0 et mål inspirert av V-JEPA. Modellen kombinerer syn, språk og propriosepsjon – målinger av robotens egen kroppstilstand – for å forutsi fremtidige visuelle egenskaper. Den prøver altså ikke å gjenskape hvert eneste piksel i et fremtidig bilde. 1
En diffusion-transformer bruker deretter disse forutsigelsene til å lage en sekvens med helkroppsbevegelser som robotens kontrollsystem kan utføre. Tanken er at en bevegelse ikke bare skal være fysisk mulig, men også føre til en nyttig fremtidig synssituasjon.
I praksis kan det bety at roboten først flytter seg til riktig sted, vrir kroppen og kameraet mot objektet og deretter strekker ut hånden – i stedet for å forsøke å gripe fra en dårlig posisjon. 1
3. Fra menneskedemonstrasjoner til ekte hjem
I det tredje trinnet overføres offentlige menneskedemonstrasjoner til robotens handlingsrom gjennom simulering. Systemet finjusteres deretter med virkelige data fra humanoide roboter som utfører oppgaver i hjem. 1
Under kjøringen planlegger ikke modellen nødvendigvis hele oppgaven på én gang. Den lager et kort action chunk, utfører det, observerer omgivelsene på nytt og planlegger neste del. Denne såkalte receding-horizon-metoden gjør det mulig å korrigere kursen når roboten får ny visuell eller proprioseptiv informasjon, i stedet for å følge en lang, forhåndsbestemt bane uten tilbakemelding. 1
Omega-HOME: data fra virkelige husholdningsoppgaver
For treningen og evalueringen presenterer forskerne datasettet Omega-HOME. Det inneholder 40,3 timer med data, 4 827 fjernstyrte episoder og 24 husholdningsoppgaver, samlet inn med en bildefrekvens på 30 Hz. 1
Datasettet inneholder synkroniserte:
- språkbaserte instruksjoner
- RGB-video fra robotens eget kamera
- eksosentrisk RGB-D-video fra et ZED-kamera
- proprioseptive tilstander
- referanser for helkroppsbevegelser
- handlingsrepresentasjoner tilpasset robotens kontrollsystem.
1
Oppgavene er fordelt på åtte ferdighetsområder:
- hente gjenstander
- rengjøre overflater
- samhandle med apparater
- flytte ting mellom beholdere
- håndtere tekstiler
- rydde og plassere ting i oppbevaring
- mobil manipulering
- bruke verktøy til oppgaver på gulvet.
Dette er dermed mer enn stillestående gripeoppgaver ved et bord. Roboten må flytte seg, endre kroppsholdning, holde balansen og håndtere møbler, gjenstander eller verktøy over lengre sekvenser. 1
Hvordan forskerne forsøkte å unngå datasettlekkasje
I evalueringsoppsettet som beskrives i studien, ble de 11 oppgavetypene som skulle testes, fjernet fra treningsdataene i Omega-HOME. De resterende robotdataene ble kombinert med offentlige menneskedemonstrasjoner i forhåndstreningen, mens virkelige hjemmedata ble brukt til grounding og videre trening. 1
Dette reduserer risikoen for at modellen bare har memorert demonstrasjonene som senere dukker opp i testen. Det er likevel ikke en full garanti for generalisering. Rom, gjenstander, oppgavestruktur, maskinvare og innsamlingsmetoder kan fortsatt ha likheter mellom trening og test.
En strengere prøve ville være uavhengige tester i helt nye hjem og på andre humanoide robotplattformer.
Rapportert suksessrate: 81,8 prosent
På 11 oppgaver med mobil manipulering i virkelige hjem rapporterer forskerne en gjennomsnittlig suksessrate på 81,8 prosent for Omega-0. Resultatet ble oppnådd med én samlet modell, i stedet for separate modeller for hver oppgave eller uavhengige moduler for gange og håndtering. 1
Testene omfattet blant annet manipulering ved bord, rengjøring, klesvask, flytting av gjenstander, bruk av apparater og mobil manipulering. Studien oppgir også at Omega-0 presterte bedre enn de sammenlignede grunnmodellene π-0.5, EgoVLA, GR00T-N1.7 og ψ-0 i dette testoppsettet. 1
Det tilgjengelige materialet gir ikke tilstrekkelig grunnlag for å oppgi nøyaktige samlede prosenter for hver av grunnmodellene. Det tryggeste er derfor å gjengi den rapporterte rangeringen og Omega-0s 81,8 prosent – ikke å lage en mer detaljert tallmessig sammenligning enn kildematerialet støtter.
Hva betyr dette for fysisk kunstig intelligens?
Omega-0s viktigste bidrag er arkitekturen. Studien peker mot en modelltype der forutsigelser av fremtidige visuelle tilstander kobler sammen menneskedemonstrasjoner, språk, syn, propriosepsjon og kontroll av hele robotkroppen. 1
I stedet for bare å lære «hvilken bevegelse passer til dette bildet», forsøker modellen å knytte bevegelsen til situasjonen den vil føre til. Det er særlig relevant når roboten må avgjøre hvor den skal stå, hva den skal se på og hvordan hendene skal brukes – samtidig.
Men 81,8 prosent betyr ikke at humanoide roboter nå er klare til å arbeide selvstendig i hjem uten tilsyn. Flere utfordringer står fortsatt igjen:
- Pålitelighet over lang tid: En gjennomsnittlig suksessrate på 11 oppgaver sier ikke nødvendigvis noe om flere timers drift, håndtering av oppsamlede feil eller lange kjeder av avhengige delmål.
- Sikkerhet: Samspill med mennesker, skjøre gjenstander, trapper, rot, kjæledyr og uforutsigbare bevegelser krever tydelige sikkerhetsmekanismer, usikkerhetshåndtering og kontroll på maskinvarenivå.
- Generalisering: Tester med utelatte gjenstander og scener er lovende, men avgjør ikke om modellen fungerer like godt i andre hjem, under annen belysning, med andre planløsninger eller på roboter med en annen kropp.
- Tilpasning: Et hjem er i stadig endring. Et praktisk system må oppdage når noe går galt, be om hjelp ved behov, lære på en trygg måte og tilpasse seg uten kostbar ny trening.
Den mest presise konklusjonen er derfor at Omega-0 representerer et viktig skritt mot bedre samordning av gange og håndtering i humanoide roboter. De rapporterte 81,8 prosentene er et sterkt forskningsresultat på dette bestemte testsettet – ikke et bevis på at en robot allerede kan utføre alle huslige oppgaver pålitelig og uten tilsyn.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Omega-0 samler gange, syn og håndtering i én robotmodell"?
Omega 0 er en samlet «world action model» for humanoide roboter som koordinerer føtter, overkropp, kamera og hender i én politikk.
What are the key points to validate first?
Omega 0 er en samlet «world action model» for humanoide roboter som koordinerer føtter, overkropp, kamera og hender i én politikk. Modellen komprimerer helkroppsbevegelser, forutsier fremtidige visuelle egenskaper og lager deretter korte handlingssekvenser som kan korrigeres underveis.
What should I do next in practice?
Datasettet Omega HOME består av 40,3 timer med data, 4 827 fjernstyrte episoder og 24 oppgaver i hjemmemiljøer.