Omega-0: il modello che coordina cammino, vista e mani dei robot umanoidi

Omega-0 (ω-0) è un whole-body world action model per robot umanoidi. Invece di considerare il cammino e la manipolazione degli oggetti come compiti distinti, cerca di coordinarli attraverso un’unica politica: il robot può spostare la base, cambiare postura e punto di vista, mantenere l’equilibrio e usare le mani all’interno della stessa attività. 1

Il principio centrale è la previsione di future caratteristiche visive, non la generazione diretta di una traiettoria lunga e già definita. In pratica, il modello stima che cosa il robot potrebbe vedere dopo una certa azione e usa questa previsione per scegliere movimenti compatibili. I risultati provengono dal lavoro di ricerca degli autori e vanno quindi letti come risultati riportati nello studio, non come benchmark verificati indipendentemente. 1

Come funziona l’architettura in tre fasi

1. Movimenti full-body più compatti e rappresentazioni visivo-linguistiche

La prima fase trasforma i movimenti ad alta dimensionalità dell’intero corpo in rappresentazioni più compatte, chiamate action token o latent, attraverso un Whole-Body FAST tokenizer. In questo modo il modello può rappresentare più facilmente sequenze complesse, come il coordinamento tra gambe, busto e braccia. 1

Parallelamente, i ricercatori adattano al contesto robotico il modello visivo-linguistico Qwen3-VL-2B-Instruct. L’addestramento utilizza token apprendibili che distinguono la visuale egocentrica, cioè quella della telecamera montata sul robot, dalla visuale esocentrica, ripresa da una telecamera esterna. Il sistema può così sfruttare una supervisione più ampia durante l’addestramento, pur basandosi sulla propria visuale quando viene impiegato. 1

2. Prevedere ciò che il robot vedrà prima di agire

Nella seconda fase, Omega-0 adotta un obiettivo di previsione dei latenti ispirato a V-JEPA. Il modello fonde informazioni visive, istruzioni linguistiche e propriocezione, cioè le misurazioni che descrivono lo stato del robot, e prevede future caratteristiche visive invece di ricostruire ogni singolo pixel. 1

Un diffusion transformer usa poi queste rappresentazioni previste per generare una sequenza di latenti d’azione full-body compatibili con il controller del robot. L’obiettivo è scegliere un movimento non soltanto perché è cinematicamente possibile, ma perché dovrebbe condurre a una situazione visiva utile. Per esempio, il robot può spostarsi, orientare il corpo e la telecamera e solo dopo allungare il braccio verso un oggetto. 1

3. Adattamento al robot e addestramento in case reali

Nella terza fase, dimostrazioni pubbliche realizzate da esseri umani vengono trasferite, tramite un processo di grounding basato sulla simulazione, nello spazio dei latenti d’azione del robot. Il sistema viene quindi adattato con dati reali raccolti da robot umanoidi impegnati in attività domestiche. 1

Durante l’esecuzione, Omega-0 non pianifica necessariamente l’intero percorso di un’attività lunga in un’unica soluzione. Produce un breve action chunk, lo esegue, osserva di nuovo l’ambiente e pianifica la sequenza successiva. Questo approccio, detto receding horizon, consente al robot di correggere la propria traiettoria sulla base delle nuove informazioni visive e propriocettive, invece di seguire una sequenza completamente open-loop. 1

Che cosa contiene il dataset Omega-HOME

Per l’addestramento e la valutazione, lo studio presenta Omega-HOME, un dataset di interazioni domestiche reali con robot umanoidi. Comprende 40,3 ore di dati, 4.827 episodi teleoperati e 24 attività domestiche, registrati a 30 Hz. 1

I dati sincronizzati includono:

• istruzioni in linguaggio naturale;
• immagini RGB egocentriche dalla telecamera del robot;
• immagini RGB-D esocentriche da una telecamera ZED;
• stati propriocettivi del robot;
• riferimenti di movimento dell’intero corpo;
• latenti d’azione compatibili con il controller. 1

Le attività sono organizzate in otto gruppi di capacità:

• recupero di oggetti;
• pulizia delle superfici;
• interazione con elettrodomestici e altri dispositivi;
• trasferimento di oggetti tra contenitori;
• manipolazione di tessuti;
• sistemazione degli oggetti negli spazi di stoccaggio;
• manipolazione mobile, cioè movimento e uso delle mani combinati;
• utilizzo di strumenti per attività sul pavimento. 1

Non si tratta quindi soltanto di afferrare oggetti su un tavolo. Le attività richiedono di spostare la base, modificare postura e busto, mantenere l’equilibrio e manipolare mobili, oggetti o strumenti lungo sequenze più articolate. 1

Come è stata affrontata la possibile contaminazione del benchmark

Nel protocollo descritto dallo studio, gli 11 tipi di attività usati per la valutazione sono stati rimossi dai dati di addestramento di Omega-HOME. I dati rimanenti del robot sono stati combinati con dimostrazioni umane pubbliche per il pretraining, mentre i dati reali raccolti nelle case sono stati impiegati per il grounding e il post-training. 1

Questa separazione riduce il rischio che il modello abbia semplicemente memorizzato le stesse dimostrazioni presenti nel test. Non rappresenta però una garanzia assoluta di generalizzazione: possono restare somiglianze tra ambienti, oggetti, struttura delle attività, hardware o modalità di raccolta dei dati. La verifica più severa consisterebbe nel replicare l’esperimento in case nuove e su piattaforme umanoidi differenti.

L’81,8% di successo nelle attività domestiche reali

In 11 attività reali di loco-manipolazione domestica, gli autori riportano per Omega-0 un successo medio dell’81,8%, utilizzando un unico modello invece di politiche separate per ogni attività, teste d’azione differenti o moduli indipendenti per camminata e manipolazione. 1

Le prove comprendevano attività su tavolo, pulizia, gestione del bucato, trasferimento di oggetti, interazione con dispositivi e manipolazione mobile. Lo studio riferisce inoltre che Omega-0 ha superato i baseline confrontati — π-0.5, EgoVLA, GR00T-N1.7 e ψ-0 — nello specifico insieme di test. 1

Il materiale disponibile non documenta con sufficiente chiarezza le percentuali aggregate esatte di ogni baseline. Il confronto più prudente è quindi quello tra la posizione riportata nello studio e l’81,8% ottenuto da Omega-0, senza aggiungere una comparazione numerica dettagliata che qui non è disponibile.

Che cosa significa per l’AI incarnata

Il contributo principale di Omega-0 è architetturale. Il sistema indica una direzione in cui la previsione dei latenti percettivi futuri fa da collegamento tra dimostrazioni umane, linguaggio, visione, propriocezione e controllo full-body del robot. 1

Invece di imparare soltanto quale movimento corrisponde a una determinata immagine, il modello cerca di collegare ogni movimento allo stato futuro che dovrebbe produrre. Questo è particolarmente importante quando il robot deve decidere contemporaneamente dove posizionarsi, che cosa osservare e come usare le mani.

L’81,8% non significa però che i robot umanoidi siano pronti a operare in casa senza supervisione. Restano aperte diverse questioni:

• Affidabilità su orizzonti lunghi: il successo in 11 attività non dimostra che il robot possa funzionare per molte ore, recuperare da errori accumulati o completare catene di sotto-obiettivi dipendenti l’uno dall’altro.
• Sicurezza: l’interazione con persone, oggetti fragili, scale, disordine, animali domestici e movimenti imprevisti richiede protezioni esplicite, gestione dell’incertezza e verifiche anche a livello hardware.
• Generalizzazione: i risultati su oggetti e scene esclusi dall’addestramento sono incoraggianti, ma non risolvono il trasferimento a case, illuminazione, disposizioni, abitudini di collocazione degli oggetti o morfologie robotiche differenti. 1
• Adattamento: una casa cambia continuamente. Un sistema pratico deve riconoscere i fallimenti, chiedere aiuto quando necessario, imparare in sicurezza e adattarsi senza un costoso nuovo addestramento.

La conclusione più accurata è quindi che Omega-0 rappresenta un passo rilevante verso il coordinamento unificato di movimento e manipolazione nei robot umanoidi. L’81,8% è un risultato di ricerca forte nello specifico benchmark, non la prova che un robot sappia già svolgere in modo affidabile qualsiasi faccenda domestica senza supervisione.