Omega-0: Πώς ένα ενιαίο μοντέλο συντονίζει βάδισμα, όραση και χειρισμό

Το Omega-0 (ω-0) είναι ένα ενιαίο whole-body world action model για humanoid robots. Αντί να αντιμετωπίζει το περπάτημα και τον χειρισμό αντικειμένων ως ξεχωριστά προβλήματα, προσπαθεί να τα συντονίσει σε μία πολιτική: το robot μπορεί να μετακινεί τη βάση του, να αλλάζει στάση και οπτική γωνία, να διατηρεί την ισορροπία του και να χρησιμοποιεί τα χέρια του στο πλαίσιο της ίδιας εργασίας. 1

Στον πυρήνα της προσέγγισης βρίσκεται η πρόβλεψη μελλοντικών οπτικών χαρακτηριστικών, όχι η άμεση παραγωγή μιας μεγάλης, προκαθορισμένης τροχιάς. Με απλά λόγια, το μοντέλο εκτιμά τι θα «δει» το robot μετά από μια ενέργεια και χρησιμοποιεί αυτή την πρόβλεψη για να επιλέξει συμβατές κινήσεις. Τα αποτελέσματα προέρχονται από ερευνητική εργασία και πρέπει να διαβάζονται ως claims των συγγραφέων, όχι ως ανεξάρτητα επιβεβαιωμένο benchmark. 1

Πώς λειτουργεί η τριφασική αρχιτεκτονική του Omega-0

1. Συμπίεση whole-body κινήσεων και εκμάθηση αναπαραστάσεων

Το πρώτο στάδιο μετατρέπει τις υψηλής διάστασης κινήσεις ολόκληρου του σώματος σε πιο συμπαγή action tokens ή latents μέσω ενός Whole-Body FAST tokenizer. Αυτή η συμπίεση δίνει στο μοντέλο έναν πιο διαχειρίσιμο τρόπο να αναπαριστά σύνθετες κινήσεις, όπως τη συνδυασμένη μετακίνηση ποδιών, κορμού και χεριών. 1

Παράλληλα, οι ερευνητές προσαρμόζουν ένα Qwen3-VL-2B-Instruct vision-language backbone στο περιβάλλον του robot. Η εκπαίδευση χρησιμοποιεί learnable tokens που διακρίνουν την egocentric, δηλαδή first-person, θέαση του robot από την exocentric, δηλαδή third-person, θέαση μιας εξωτερικής κάμερας. Έτσι, το μοντέλο μπορεί να αξιοποιεί ευρύτερη third-person εποπτεία κατά την εκπαίδευση, ενώ στη χρήση του βασίζεται στην οπτική του ίδιου του robot. 1

2. Πρόβλεψη μελλοντικών visual latents πριν από την ενέργεια

Στο δεύτερο στάδιο, το Omega-0 ακολουθεί έναν V-JEPA-inspired στόχο latent prediction. Συνδυάζει οπτικές πληροφορίες, γλωσσική εντολή και proprioception — τις μετρήσεις δηλαδή της κατάστασης του robot — και προβλέπει μελλοντικά visual features αντί να προσπαθεί να ανακατασκευάσει κάθε μελλοντικό pixel. 1

Ένας diffusion transformer χρησιμοποιεί στη συνέχεια αυτές τις προβλεπόμενες αναπαραστάσεις για να παράγει μια ακολουθία whole-body action latents συμβατή με τον controller. Η λογική είναι ότι η κίνηση δεν επιλέγεται μόνο επειδή φαίνεται κινηματικά πιθανή, αλλά επειδή αναμένεται να οδηγήσει σε χρήσιμη οπτική κατάσταση: για παράδειγμα, το robot μπορεί να μετακινηθεί, να προσανατολίσει το σώμα και την κάμερα και μετά να απλώσει το χέρι του προς ένα αντικείμενο. 1

3. Grounding σε robot και fine-tuning σε πραγματικά σπίτια

Στο τρίτο στάδιο, δημόσιες ανθρώπινες επιδείξεις μεταφέρονται μέσω simulation-based grounding στον action-latent χώρο του robot. Το σύστημα προσαρμόζεται έπειτα σε πραγματικά δεδομένα από humanoid robots που εκτελούν οικιακές εργασίες. 1

Κατά την εκτέλεση, το Omega-0 δεν δεσμεύεται σε ολόκληρη την πορεία μιας μακράς εργασίας. Παράγει ένα σύντομο action chunk, το εκτελεί, παρατηρεί ξανά το περιβάλλον και σχεδιάζει εκ νέου. Αυτός ο receding-horizon τρόπος λειτουργίας επιτρέπει στο robot να διορθώνει την πορεία του με βάση νέα οπτική και proprioceptive πληροφορία, αντί να ακολουθεί μια πλήρως open-loop τροχιά. 1

Τι περιλαμβάνει το dataset Omega-HOME

Για την εκπαίδευση και την αξιολόγηση, η εργασία παρουσιάζει το Omega-HOME, ένα dataset πραγματικών οικιακών αλληλεπιδράσεων από humanoid robots. Περιλαμβάνει 40,3 ώρες δεδομένων, 4.827 tele-operated επεισόδια και 24 household tasks, καταγεγραμμένα στα 30 Hz. 1

Τα δεδομένα είναι συγχρονισμένα και περιλαμβάνουν:

• γλωσσικές οδηγίες,
• egocentric RGB από την κάμερα του robot,
• exocentric RGB-D από κάμερα ZED,
• proprioceptive states,
• whole-body motion references,
• controller-compatible action latents. 1

Οι εργασίες οργανώνονται σε οκτώ ομάδες δυνατοτήτων:

• ανάκτηση αντικειμένων,
• καθαρισμός επιφανειών,
• αλληλεπίδραση με συσκευές,
• μεταφορά αντικειμένων μεταξύ δοχείων,
• χειρισμός υφασμάτων,
• τακτοποίηση σε χώρους αποθήκευσης,
• mobile manipulation,
• χρήση εργαλείων για εργασίες στο πάτωμα. 1

Το σημαντικό στοιχείο είναι ότι οι δραστηριότητες δεν περιορίζονται σε στατικό tabletop grasping. Απαιτούν μετακίνηση της βάσης, αλλαγές στη στάση και στον κορμό, διατήρηση ισορροπίας και χειρισμό επίπλων, αντικειμένων ή εργαλείων σε μεγαλύτερες ακολουθίες. 1

Πώς αντιμετωπίστηκε η πιθανή επιμόλυνση του benchmark

Στο πρωτόκολλο που περιγράφεται στην εργασία, οι 11 τύποι εργασιών της αξιολόγησης αφαιρέθηκαν από τα training data του Omega-HOME. Τα υπόλοιπα δεδομένα του robot συνδυάστηκαν με δημόσιες ανθρώπινες επιδείξεις για pretraining, ενώ πραγματικά δεδομένα από σπίτια χρησιμοποιήθηκαν για το grounding και το post-training. 1

Αυτό περιορίζει τον κίνδυνο το μοντέλο να απομνημονεύει απλώς τις ίδιες επιδείξεις που εμφανίζονται στο test set. Δεν αποτελεί, όμως, απόλυτη εγγύηση γενίκευσης. Μπορεί να παραμένουν ομοιότητες σε δωμάτια, αντικείμενα, δομή εργασιών, hardware ή στον τρόπο συλλογής των δεδομένων. Η πιο αυστηρή δοκιμή θα ήταν ανεξάρτητη αναπαραγωγή σε νέα σπίτια και σε διαφορετικές πλατφόρμες humanoid robots.

Η αναφερόμενη επίδοση σε πραγματικές οικιακές εργασίες

Σε 11 real-home loco-manipulation tasks, οι συγγραφείς αναφέρουν 81,8% μέση επιτυχία για το Omega-0, χρησιμοποιώντας ένα ενιαίο μοντέλο αντί για ξεχωριστές πολιτικές ανά εργασία, διαφορετικά action heads ή ανεξάρτητα modules για βάδισμα και χειρισμό. 1

Οι δοκιμές κάλυπταν εργασίες όπως tabletop manipulation, καθαρισμό, laundry, μεταφορά αντικειμένων, αλληλεπίδραση με συσκευές και mobile manipulation. Η εργασία αναφέρει επίσης ότι το Omega-0 ξεπέρασε τα συγκρινόμενα baselines π-0.5, EgoVLA, GR00T-N1.7 και ψ-0 στο συγκεκριμένο test suite. 1

Το διαθέσιμο υλικό δεν τεκμηριώνει με αρκετή σαφήνεια τα ακριβή συνολικά ποσοστά κάθε baseline. Επομένως, το ασφαλές συμπέρασμα είναι η αναφερόμενη κατάταξη και το 81,8% του Omega-0 — όχι μια λεπτομερής αριθμητική σύγκριση που δεν παρουσιάζεται εδώ.

Τι σημαίνει το 81,8% για την embodied AI

Η βασική συμβολή του Omega-0 είναι αρχιτεκτονική. Δείχνει μια κατεύθυνση στην οποία η πρόβλεψη μελλοντικών perceptual latents λειτουργεί ως σύνδεσμος ανάμεσα σε ανθρώπινες επιδείξεις, γλώσσα, όραση, proprioception και whole-body robot control. 1

Αντί να μαθαίνει μόνο «ποια κίνηση αντιστοιχεί σε αυτή την εικόνα», το μοντέλο προσπαθεί να συνδέσει την κίνηση με την κατάσταση στην οποία θα οδηγήσει. Αυτό είναι ιδιαίτερα χρήσιμο για εργασίες όπου το robot πρέπει να αποφασίσει ταυτόχρονα πού θα σταθεί, τι θα κοιτάξει και πώς θα χρησιμοποιήσει τα χέρια του.

Το αποτέλεσμα δεν σημαίνει ότι τα humanoid robots είναι έτοιμα για ανεξέλεγκτη, γενικού σκοπού λειτουργία σε σπίτια. Παραμένουν κρίσιμες αρκετές προκλήσεις:

• Αξιοπιστία σε μεγάλους ορίζοντες: το ποσοστό επιτυχίας σε 11 εργασίες δεν αποδεικνύει λειτουργία πολλών ωρών, ανάκαμψη από συσσωρευμένα λάθη ή επιτυχή εκτέλεση αλυσίδων εξαρτώμενων υποστόχων.
• Ασφάλεια: η αλληλεπίδραση με ανθρώπους, εύθραυστα αντικείμενα, σκάλες, ακαταστασία, κατοικίδια και απρόβλεπτες κινήσεις απαιτεί ρητές δικλίδες ασφαλείας, διαχείριση αβεβαιότητας και επαλήθευση σε επίπεδο hardware.
• Γενίκευση: η επίδοση σε held-out αντικείμενα και σκηνές είναι ενθαρρυντική, αλλά δεν λύνει τη μεταφορά σε διαφορετικά σπίτια, φωτισμούς, διαρρυθμίσεις, συνήθειες τοποθέτησης αντικειμένων ή μορφολογίες robot. 1
• Προσαρμογή: ένα πραγματικό σπίτι αλλάζει συνεχώς. Ένα πρακτικό σύστημα πρέπει να εντοπίζει αποτυχίες, να ζητά βοήθεια όταν χρειάζεται, να μαθαίνει με ασφάλεια και να προσαρμόζεται χωρίς δαπανηρό retraining.

Το πιο ακριβές συμπέρασμα είναι ότι το Omega-0 αποτελεί σημαντικό βήμα προς τον ενιαίο συντονισμό κίνησης και χειρισμού στα humanoid robots. Το 81,8% είναι ισχυρό ερευνητικό αποτέλεσμα στο συγκεκριμένο benchmark, όχι απόδειξη ότι ένα robot μπορεί ήδη να εκτελεί αξιόπιστα κάθε οικιακή εργασία χωρίς επίβλεψη.