AntwortenVeröffentlicht11 Quellen
Omega-0 koordiniert Gehen und Manipulation in einem einzigen Robotermodell
Omega 0 ist ein einheitliches Whole Body World Action Modell, das Fortbewegung, Körperhaltung, Kamerablick und Handmanipulation in einer Richtlinie verbindet. Die dreistufige Architektur komprimiert Ganzkörperbewegungen, sagt künftige visuelle Merkmale voraus und verankert die Aktionen anschließend in realen Roboter...
Veröffentlicht vonBearbeitet mit GPT-5.6 LunaBilder erstellt mit GPT Image 1.5
Forschungsantwort
Wichtige Erkenntnisse
- Omega 0 ist ein einheitliches Whole Body World Action Modell, das Fortbewegung, Körperhaltung, Kamerablick und Handmanipulation in einer Richtlinie verbindet.
- Die dreistufige Architektur komprimiert Ganzkörperbewegungen, sagt künftige visuelle Merkmale voraus und verankert die Aktionen anschließend in realen Roboterdaten aus Haushalten.
- Der Datensatz Omega HOME umfasst 40,3 Stunden Daten, 4.827 teleoperierte Episoden und 24 Haushaltsaufgaben in acht Fähigkeitsgruppen.
- Auf 11 realen Loco Manipulation Aufgaben berichten die Autoren eine durchschnittliche Erfolgsquote von 81,8 Prozent mit einem einzigen Modell.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Omega-0, the whole-body latent-prediction world action model released on August 21, 2026 by researchers from Nanyang Technological U. Article summary: Omega-0 (ω-0) is a single, whole-body “world action model” for humanoid robots: it takes a language instruction, visual observations, and robot state, predicts a future visual representation, then generates controller-co. Topic tags: general, academic, general web, user generated, government. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, wate
Omega-0 (ω-0) ist ein einheitliches Whole-Body-World-Action-Modell für humanoide Roboter. Es behandelt Gehen und das Greifen beziehungsweise Bewegen von Gegenständen nicht als zwei getrennte Probleme, sondern versucht, beides in einer gemeinsamen Richtlinie zu koordinieren: Der Roboter kann seine Basis bewegen, seine Körperhaltung und den Kamerablick verändern, das Gleichgewicht halten und gleichzeitig seine Hände einsetzen. 1
Im Zentrum steht nicht die direkte Ausgabe einer langen, vollständig festgelegten Bewegungsbahn. Stattdessen sagt das Modell voraus, welche visuellen Merkmale der Roboter nach einer Aktion voraussichtlich wahrnehmen wird. Diese Vorhersage hilft ihm, Bewegungen auszuwählen, die zu einem sinnvollen nächsten Zustand führen. Die Ergebnisse stammen aus einer Forschungsarbeit und sind als Angaben der Autoren zu lesen – nicht als unabhängig bestätigter Benchmark. 1
So funktioniert die dreistufige Architektur
1. Ganzkörperbewegungen komprimieren und Repräsentationen lernen
Zunächst wandelt ein Whole-Body-FAST-Tokenizer hochdimensionale Ganzkörperbewegungen in kompaktere Action-Tokens beziehungsweise latente Repräsentationen um. Dadurch kann das Modell komplexe Kombinationen aus Beinen, Oberkörper und Armen handhabbarer darstellen. 1
Zusätzlich passen die Forscher ein Qwen3-VL-2B-Instruct-Vision-Language-Modell an die Robotik-Umgebung an. Lernbare Tokens kennzeichnen dabei, ob ein Bild aus der egozentrischen Perspektive des Roboters – also aus der Ich-Perspektive – oder aus einer exozentrischen Drittpersonensicht stammt. So kann das Modell während des Trainings zusätzliche Aufnahmen von außen nutzen, während es sich beim Einsatz auf die eigene Kamera des Roboters stützt. 1
2. Den künftigen visuellen Zustand vor der Bewegung vorhersagen
In der zweiten Phase verfolgt Omega-0 ein von V-JEPA inspiriertes Lernziel. Es verbindet Bildinformationen, eine sprachliche Anweisung und die Propriozeption, also Messwerte über den eigenen Zustand des Roboters. Anschließend sagt es künftige visuelle Merkmale voraus – nicht jedes einzelne Pixel eines späteren Bildes. 1
Ein Diffusion-Transformer nutzt diese vorhergesagten Repräsentationen anschließend, um eine für den Roboter-Controller ausführbare Folge von Ganzkörper-Aktionslatenzen zu erzeugen. Die Bewegung soll damit nicht nur physikalisch möglich sein, sondern voraussichtlich auch zu einer nützlichen visuellen Situation führen: etwa indem der Roboter zunächst seine Position und den Kamerablick anpasst und erst danach nach einem Gegenstand greift. 1
3. Die Aktionen am Roboter verankern
In der dritten Phase werden öffentliche menschliche Demonstrationen über eine simulationsbasierte Verankerung in den Aktionsraum des Roboters übertragen. Danach wird das System mit realen Daten humanoider Roboter bei Haushaltsaufgaben weiter angepasst. 1
Während des Einsatzes plant Omega-0 nicht zwingend eine komplette lange Aufgabe im Voraus. Stattdessen erzeugt es ein kurzes Action Chunk, führt dieses aus, beobachtet die Umgebung erneut und plant den nächsten Abschnitt. Dieses Vorgehen wird als Receding-Horizon-Planung bezeichnet. Es ermöglicht dem Roboter, auf neue Bild- und Zustandsinformationen zu reagieren, statt einer vollständig vorab festgelegten Open-Loop-Bahn zu folgen. 1
Was im Datensatz Omega-HOME steckt
Für Training und Auswertung stellen die Forscher Omega-HOME vor, einen Datensatz realer Interaktionen humanoider Roboter in Haushalten. Er umfasst 40,3 Stunden Daten, 4.827 teleoperierte Episoden und 24 Haushaltsaufgaben, die mit 30 Hertz aufgezeichnet wurden. 1
Die synchronisierten Daten enthalten:
- sprachliche Anweisungen,
- egozentrische RGB-Bilder von der Roboterkamera,
- exozentrische RGB-D-Aufnahmen einer ZED-Kamera,
- propriozeptive Zustandsdaten,
- Referenzen für Ganzkörperbewegungen,
- mit dem Controller kompatible Aktionslatenzen.
1
Die Aufgaben sind acht Fähigkeitsgruppen zugeordnet:
- Gegenstände holen,
- Oberflächen reinigen,
- Haushaltsgeräte bedienen,
- Gegenstände zwischen Behältern umfüllen,
- Textilien handhaben,
- Dinge in Stauraum einordnen,
- mobile Manipulation,
- Werkzeuge für Arbeiten am Boden einsetzen.
Damit geht es nicht nur um statisches Greifen an einem Tisch. Die Aufgaben verlangen, dass der Roboter seine Basis bewegt, Haltung und Oberkörper anpasst, das Gleichgewicht hält und über längere Bewegungsfolgen hinweg mit Möbeln, Gegenständen oder Werkzeugen interagiert. 1
Wie eine mögliche Verunreinigung des Benchmarks begrenzt wurde
Im beschriebenen Evaluationsprotokoll wurden die 11 Aufgabentypen der Auswertung aus den Trainingsdaten von Omega-HOME entfernt. Die übrigen Roboterdaten wurden für das Vortraining mit öffentlichen menschlichen Demonstrationen kombiniert. Reale Haushaltsdaten dienten anschließend der Verankerung und dem weiteren Training. 1
Das verringert das Risiko, dass das Modell einfach dieselben Demonstrationen auswendig gelernt hat, die später im Test auftauchen. Eine vollständige Garantie für Generalisierung ist es jedoch nicht. Räume, Gegenstände, Aufgabenstrukturen, Hardware oder die Art der Datenerhebung können sich zwischen Training und Test weiterhin ähneln. Strengere Prüfungen wären unabhängige Wiederholungen in neuen Wohnungen und mit anderen humanoiden Robotern.
Die gemeldete Leistung in realen Wohnungen
Bei 11 realen Loco-Manipulation-Aufgaben in Haushalten berichten die Autoren für Omega-0 eine durchschnittliche Erfolgsquote von 81,8 Prozent. Dabei kam ein einheitliches Modell zum Einsatz – nicht jeweils eine eigene Richtlinie pro Aufgabe und auch keine getrennten Module für Gehen und Manipulation. 1
Die Tests umfassten unter anderem Tischaufgaben, Reinigung, Wäsche, das Transportieren von Gegenständen, die Bedienung von Geräten und mobile Manipulation. Laut der Arbeit übertraf Omega-0 in diesem Testszenario die verglichenen Baselines π-0.5, EgoVLA, GR00T-N1.7 und ψ-0. 1
Das vorliegende Material belegt die exakten aggregierten Prozentwerte der einzelnen Baselines jedoch nicht ausreichend. Belastbar ist daher die von den Autoren angegebene Rangfolge sowie die Erfolgsquote von 81,8 Prozent für Omega-0 – nicht eine detaillierte Zahlenrangliste, deren Werte hier nicht vorliegen.
Was die 81,8 Prozent für Embodied AI bedeuten
Die wichtigste mögliche Beiträge von Omega-0 liegt in der Architektur. Das Modell zeigt eine Richtung, in der die Vorhersage künftiger Wahrnehmungszustände als Bindeglied zwischen menschlichen Demonstrationen, Sprache, visuellen Daten, Propriozeption und der Ganzkörpersteuerung eines Roboters dient. 1
Statt nur zu lernen, welche Bewegung zu einem bestimmten Bild passt, versucht das Modell, eine Bewegung mit dem Zustand zu verknüpfen, in den sie den Roboter voraussichtlich bringt. Das ist besonders relevant für Aufgaben, bei denen gleichzeitig entschieden werden muss, wo der Roboter steht, worauf er blickt und wie er seine Hände einsetzt.
Die Zahl von 81,8 Prozent bedeutet allerdings nicht, dass humanoide Roboter bereits für einen unbeaufsichtigten, universellen Einsatz im Haushalt bereit sind. Mehrere Fragen bleiben offen:
- Zuverlässigkeit über lange Zeiträume: Eine Erfolgsquote über 11 Aufgaben belegt noch keinen mehrstündigen stabilen Betrieb, keine zuverlässige Fehlerkorrektur nach aufeinanderfolgenden Fehlentscheidungen und keine robuste Ausführung langer Ketten voneinander abhängiger Teilziele.
- Sicherheit: Der Umgang mit Menschen, zerbrechlichen Gegenständen, Treppen, Unordnung, Haustieren und unerwarteten Bewegungen erfordert ausdrückliche Schutzmechanismen, einen Umgang mit Unsicherheit und Überprüfungen auf Hardware-Ebene.
- Generalisierung: Ergebnisse mit zurückgehaltenen Gegenständen und Szenen sind ermutigend, lösen aber nicht die Übertragung auf andere Wohnungen, Lichtverhältnisse, Grundrisse, Gewohnheiten bei der Ablage von Gegenständen oder andere Roboterkörper.
- Anpassung: Ein echtes Zuhause verändert sich ständig. Ein praxistaugliches System muss Fehler erkennen, bei Bedarf Hilfe anfordern, sicher dazulernen und sich ohne kostspieliges erneutes Training anpassen.
Das präziseste Fazit lautet daher: Omega-0 ist ein wichtiger Forschungsschritt hin zu einer einheitlichen Koordination von Bewegung und Manipulation bei humanoiden Robotern. Die 81,8 Prozent sind ein starkes Ergebnis im konkret verwendeten Benchmark – aber kein Beleg dafür, dass ein Roboter bereits jede Haushaltsaufgabe zuverlässig und ohne Aufsicht erledigen kann.
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „Omega-0 koordiniert Gehen und Manipulation in einem einzigen Robotermodell“?
Omega 0 ist ein einheitliches Whole Body World Action Modell, das Fortbewegung, Körperhaltung, Kamerablick und Handmanipulation in einer Richtlinie verbindet.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Omega 0 ist ein einheitliches Whole Body World Action Modell, das Fortbewegung, Körperhaltung, Kamerablick und Handmanipulation in einer Richtlinie verbindet. Die dreistufige Architektur komprimiert Ganzkörperbewegungen, sagt künftige visuelle Merkmale voraus und verankert die Aktionen anschließend in realen Roboterdaten aus Haushalten.
Was soll ich als nächstes in der Praxis tun?
Der Datensatz Omega HOME umfasst 40,3 Stunden Daten, 4.827 teleoperierte Episoden und 24 Haushaltsaufgaben in acht Fähigkeitsgruppen.