Xiaomi-Robotics-U0: Offenes Weltmodell soll Roboter mit synthetischen Daten trainieren

Die Datumsangabe in der ursprünglichen Frage vermischt offenbar zwei Aktualisierungen: Der umfassende Release von Xiaomi-Robotics-U0 wurde für den 15. Juli 2026 gemeldet. Im September kündigte das Projekt-Repository zusätzlich 4B- und Sequenz-Modellgewichte sowie FSDP-Trainingscode an. 79

Xiaomi-Robotics-U0 ist vor allem als offenes System zur Herstellung kontrollierbarer synthetischer Trainingsdaten für die Robotik einzuordnen. Es kann visuelle Szenarien aus der Perspektive eines Roboters generieren oder verändern und soll dabei für das Training entscheidende Elemente erhalten – etwa Roboterbeobachtungen, Manipulationskontext, Kameraperspektive und Konsistenz der Szene. Es ist keine Aktions- oder Steuerungspolitik für einen Roboter. 16

Was Xiaomi veröffentlicht hat

Das Flaggschiff U0 wird als multimodales, autoregressives Welt-Grundlagenmodell mit 38 Milliarden Parametern beschrieben. Der offene Release umfasst Modellgewichte, Quell- und Inferenzcode, kombinierbare Konfigurationen, Gradio-Einstiegspunkte sowie Patches für autoregressive Inferenz und FlashAR/vLLM. Das Repository steht unter der Lizenz Apache-2.0. 249

Im September führte Xiaomi drei weitere Veröffentlichungen auf: Xiaomi-Robotics-U0-4B, Xiaomi-Robotics-U0-Sequence und Xiaomi-Robotics-U0-4B-Sequence. Zusammen mit dem FSDP-Trainingscode zeigt das: „U0“ bezeichnet inzwischen eine wachsende Modellfamilie und nicht nur den ursprünglichen großen Checkpoint. 9

Ein Modell für mehrere Aufgaben rund um verkörperte KI

Der zentrale Anspruch von U0 ist die Bündelung mehrerer Funktionen in einer Architektur. Xiaomi nennt unter anderem:

• Text-zu-Bild- und Bild-zu-Bild-Generierung,
• Generierung verkörperter Szenen,
• strukturierten Szenentransfer und Bildbearbeitung,
• Videogenerierung beziehungsweise das Ausrollen von Roboterbeobachtungen. 46

Besonders interessant ist die Datenerweiterung: Ausgehend von einer Robotertrajektorie oder Beobachtung lassen sich Faktoren wie Hintergrund, Licht, Materialien oder Objekte variieren. So können zusätzliche Trainingsbeispiele entstehen, ohne jeden Datensatz erneut in einer realen Umgebung aufzeichnen zu müssen. 37

Genau darin unterscheidet sich U0 von einem klassischen Bildgenerator, der vor allem ein überzeugendes Einzelbild liefern soll. Der Nutzen liegt hier in kontrollierten Variationen, bei denen roboterrelevante Geometrie und Interaktionskontext möglichst erhalten bleiben. 37

Autoregressives Modell statt Diffusion

U0 ist ein autoregressives visuelles Modell. Es erzeugt diskrete visuelle Token nacheinander, statt auf den iterativen Entrauschungsprozess zu setzen, der für viele diffusionbasierte Bildsysteme typisch ist. Berichten zufolge kombiniert die Basis EMU3.5 mit Qwen-3-32B; für die unterstützten Aufgaben kommt ein gemeinsamer diskreter visueller Tokenizer zum Einsatz. 47

Der Ansatz eignet sich grundsätzlich gut dafür, Bilder, Beobachtungen und zeitliche Sequenzen als Tokenströme zu behandeln. Zugleich ist die Erzeugung hochauflösender Inhalte rechenintensiv, wenn viele Token in Folge produziert werden müssen. Deshalb kombiniert Xiaomi das Modell mit einem spezialisierten Inferenzpfad. 15

FlashAR+ und vLLM: So ist die Geschwindigkeitsangabe zu lesen

FlashAR+ ist Xiaomis Beschleunigungsmethode für das Dekodieren visueller Token. Statt jeden Token strikt einzeln zu erzeugen, setzt sie auf parallele anti-diagonale Generierung. vLLM übernimmt darüber hinaus die Verarbeitung bedingter Präfixe, Batching und das paginierte KV-Cache-Management; die FlashAR+-Dekodierregel bleibt dabei erhalten. 19

Xiaomi gab an, mit FlashAR und vLLM auf einer einzelnen H20-GPU ein Bild in 5,44 Sekunden zu generieren. Das sei 82,86-mal schneller als die eigene ursprüngliche autoregressive Eager-Implementierung und 3,04-mal schneller als FlashAR im Eager-Modus. 7

Diese Einordnung ist entscheidend: Der Wert vergleicht Xiaomis Lösung mit der eigenen autoregressiven Eager-Basis unter dem gemeldeten Versuchsaufbau. Daraus folgt nicht, dass U0 83-mal schneller wäre als diffusionbasierte Bildgeneratoren, andere Pipelines für Roboterdaten oder führende Videosysteme. Hardware, Bildparameter, Batching, Modellpfad und Arbeitslast beeinflussen den tatsächlichen Durchsatz. 17

Das Repository unterstützt für AR- und FlashAR-Inferenz sowohl Eager-Ausführung als auch vLLM-Backends. Daraus lässt sich jedoch nicht ableiten, dass jede Funktion über jeden Inferenzweg identisch unterstützt wird oder gleich schnell läuft. Teams mit zeitlichen Sequenzen oder spezialisierten multimodalen Abläufen sollten deshalb den konkret vorgesehenen Checkpoint und Inferenzpfad prüfen. 9

Einordnung gegenüber Robotikmodellen und allgemeinen Generatoren

Systemtyp	Hauptzweck	Rolle von U0
Roboter-Policies	Beobachtungen in Roboteraktionen umsetzen	U0 ist ein vorgelagertes Modell zur Datengenerierung und -erweiterung, kein Ersatz für eine Policy. Der berichtete nachgelagerte Nutzen betrifft robusteres Policy-Training bei Verteilungsverschiebungen. 67
Roboterzentrierte Welt- oder Datenmodelle	Roboterszenen, Beobachtungen, Trajektorien oder simulationsähnliche Daten erzeugen	U0s beanspruchtes Alleinstellungsmerkmal ist ein einzelnes Modell für Szenensynthese, Transfer, Bildbearbeitung und videoorientiertes Ausrollen. 46
Allgemeine Bildgeneratoren	Breite Text-/Bild-Erstellung und Bearbeitung	U0 beherrscht Text-zu-Bild und Bild-zu-Bild, doch Xiaomi betont verkörperte Konsistenz. Eine allgemein gültige Spitzenposition bei Bildqualität wird damit nicht belegt. 47
Allgemeine Videogeneratoren	Filmische und breit einsetzbare Videoerzeugung	Die Videofunktion von U0 ist roboterorientiert. Daraus lässt sich keine Überlegenheit gegenüber führenden allgemeinen Videomodellen bei offener Videoqualität ableiten. 46

Benchmark- und Realroboter-Ergebnisse

Xiaomi berichtet über Platz eins bei WorldArena, mit 126 teilnehmenden Modellen in der gemeldeten Auswertung, und hebt dabei Instruktionsbefolgung, Interaktionsqualität und Mehransichtskonsistenz hervor. Die offizielle Projektseite spricht ebenfalls von Rang eins unter mehr als 100 Modellen. 710

Für nachgelagerte Robotikaufgaben meldet Xiaomi, dass zusätzlich mit U0 erzeugte synthetische Daten die Out-of-Distribution-Erfolgsrate eines realen Roboters von 36,9 auf 63,2 Prozent steigerten – etwa bei ungewohnter Beleuchtung und veränderten Hintergründen. 67

Das spricht am stärksten für U0 als Werkzeug zur Ergänzung von Trainingsdaten. Es bleiben jedoch vom Projekt gemeldete Resultate. Ein WorldArena-Rang allein beweist keine Überlegenheit für jeden Roboter, jede Policy, Aufgabe, Simulation oder allgemeine Bild- und Video-Benchmark. Für eine unabhängige Reproduktion wären unter anderem exakte Modellversion, Prompts, Sampling-Konfiguration, Evaluierungsprotokoll, Scoring-Setup und Vergleichsversionen erforderlich. 710

Offenheit, Videostatus und Prüfungen vor dem Einsatz

Die Apache-2.0-Lizenz für Repository, Gewichte und Inferenzwerkzeuge macht U0 für Entwicklerinnen und Entwickler mit ausreichender Rechenleistung vergleichsweise zugänglich. Vor dem produktiven Einsatz sollten Teams dennoch die Lizenz- und Modelldokumentation jedes Checkpoints sowie Herkunft und zulässige Nutzung der Ausgangs- und generierten Trainingsdaten prüfen. 49

Videogenerierung gehört zum beschriebenen einheitlichen Funktionsumfang. Die vorliegenden Release-Unterlagen belegen aber nicht, dass Videocheckpoints, Beschleunigungspfade, Trainingsdaten und Evaluierungsverfahren beim Start im Juli für alle Funktionen gleichermaßen vollständig und reproduzierbar verfügbar waren. Die Bild- und Transfer-Workflows sind der klarer dokumentierte Einsatzschwerpunkt; ein konkreter Videoworkflow sollte vor einer Festlegung separat geprüft werden. 46

Fazit

Xiaomi-Robotics-U0 ist vor allem deshalb bemerkenswert, weil es eine große, einheitliche autoregressive Pipeline für kontrollierbare, roboterrelevante synthetische visuelle Daten offen verfügbar macht – nicht weil es Robotersteuerungen oder universelle Medienmodelle ersetzt. Das 38B-Flaggschiff, kleinere nachgereichte Gewichte, öffentliche Werkzeuge und der FlashAR+/vLLM-Pfad bieten Forschungsteams und Robotikunternehmen einen praktischen Ausgangspunkt für Datenerweiterung. 79

Die wichtigsten Angaben – der interne Geschwindigkeitsvergleich von 82,86×, die WorldArena-Führung und der Sprung der OOD-Erfolgsrate von 36,9 auf 63,2 Prozent – sind vielversprechend. Sie sollten aber gegen den jeweiligen Roboter, die konkrete Arbeitslast, die Hardware und ein nachvollziehbares Evaluierungsprotokoll getestet werden, bevor daraus allgemeine Schlüsse gezogen werden. 710