Xiaomi-Robotics-U0: Xiaomis åbne 38B-model skal skabe syntetiske robotdata

Den dato, der ofte nævnes i forbindelse med spørgsmålet, blander to opdateringer sammen. Den fulde lancering af Xiaomi-Robotics-U0 blev rapporteret den 15. juli 2026. I september meddelte projektets repository yderligere 4B- og sekvensmodel-vægte samt FSDP-træningskode. 79

Xiaomi-Robotics-U0 skal først og fremmest forstås som et åbent generativt system til at producere kontrollerbare, syntetiske data til robottræning. Modellen kan skabe eller ændre visuelle scenarier med robotter, samtidig med at den forsøger at fastholde forhold, der er vigtige for træningen: robotobservationer, manipulationskontekst, kameravinkel og konsistens i scenen. Den er ikke i sig selv en model, der omsætter observationer til robothandlinger. 16

Det Xiaomi har frigivet

Flagskibet U0 beskrives som en multimodal, autoregressiv verdensgrundmodel med 38 mia. parametre. Den åbne udgivelse omfatter modelvægte, kilde- og inferenskode, sammensættelige konfigurationer, Gradio-indgange samt patches til autoregressiv inferens og FlashAR/vLLM-inferens. Repositoryet har Apache-2.0-licens. 249

Xiaomi listede senere tre ekstra udgivelser i september: Xiaomi-Robotics-U0-4B, Xiaomi-Robotics-U0-Sequence og Xiaomi-Robotics-U0-4B-Sequence, sammen med FSDP-træningskode. U0 er dermed ikke længere kun én stor model, men en familie under udvikling. 9

Én model til flere typer robotdata

Kernen i U0 er samlingen af flere opgaver i samme arkitektur. Xiaomi oplyser, at modellen understøtter:

• tekst-til-billede og billede-til-billede;
• generering af robotcentrerede scener;
• struktureret overførsel og redigering af scener;
• videogenerering eller udrulning af robotobservationer over tid. 46

Det mest markante anvendelsesområde er dataudvidelse. Et robotforløb eller en observation kan bruges som udgangspunkt, mens for eksempel baggrund, belysning, materialer eller genstande varieres. Dermed kan et hold skabe flere træningseksempler uden at skulle gentage hele den fysiske dataindsamling. 37

Det adskiller U0 fra en almindelig billedgenerator, der især optimeres til at levere et overbevisende enkeltbillede. Målet her er kontrolleret variation med bevaret geometri og interaktionskontekst, som er relevant for robotten. 37

Autoregressiv og multimodal arkitektur

U0 er en autoregressiv visuel model. I stedet for den trinvise støjfjernelse, der kendes fra diffusionsbaserede billedsystemer, genererer den diskrete visuelle tokens i rækkefølge. Rapporter beskriver grundlaget som en kombination af EMU3.5 og Qwen-3-32B med en delt diskret visuel tokenizer på tværs af de understøttede opgaver. 47

Den autoregressive tilgang gør det naturligt at behandle billeder, observationer og tidslige sekvenser som tokenstrømme. Men høj opløsning er beregningstung, når tokens skal produceres sekventielt. Det er baggrunden for, at Xiaomi har koblet modellen med en særlig hurtig inferensvej. 15

FlashAR+ og vLLM: Sådan skal hastighedstallet læses

FlashAR+ er Xiaomis metode til at accelerere afkodningen af visuelle tokens. I stedet for at generere hvert token helt ét ad gangen anvendes parallel, anti-diagonal generering. Oven på dette bruges vLLM til blandt andet håndtering af betingede præfikser, batching og paged KV-cache, mens FlashAR+-afkodningsreglen bevares. 19

Xiaomi oplyste, at FlashAR med vLLM kunne generere ét billede på 5,44 sekunder på én H20-GPU. Det blev angivet som 82,86 gange hurtigere end virksomhedens oprindelige AR eager-implementering og 3,04 gange hurtigere end FlashAR eager. 7

Forbeholdet er væsentligt: Sammenligningen er med Xiaomis egen autoregressive eager-baseline i den opsætning, virksomheden har rapporteret. Tallet er ikke dokumentation for, at U0 er 83 gange hurtigere end diffusionsbaserede billedgeneratorer, andre robotdata-pipelines eller førende videosystemer. Hardware, billedindstillinger, batching, modelvej og arbejdsmængde påvirker alle den reelle gennemstrømning. 17

Repositoryet understøtter eager- og vLLM-backends til både AR- og FlashAR-inferens. Det betyder dog ikke nødvendigvis, at alle funktioner har samme understøttelse eller ydelse i alle motorer. Hold, der arbejder med tidslige eller specialiserede multimodale arbejdsgange, bør validere den konkrete modelvariant og inferensvej. 9

Sammenlignet med robotmodeller og generelle generatorer

Systemtype	Primært formål	Hvor U0 passer ind
Robotpolitikker	Omsætte observationer til robothandlinger	U0 ligger før politikmodellen i kæden: Den genererer og udvider data og erstatter ikke selve politikken. Den rapporterede værdi ligger i bedre politiktræning ved ændringer i datadistributionen. 67
Robotcentrerede verdens- eller datamodeller	Skabe robotscener, observationer, forløb eller simuleringslignende data	U0’s påståede særkende er én model, der spænder over scenegenerering, overførsel, billedredigering og videobaseret udrulning. 46
Generelle billedgeneratorer	Bred tekst- og billedskabelse samt redigering	U0 understøtter tekst-til-billede og billede-til-billede, men Xiaomi fremhæver især kropslig/robotisk konsistens frem for at fremsætte et bredt krav om førende generel billedkvalitet. 47
Generelle videogeneratorer	Filmisk og bred videoproduktion	U0’s videofunktion er robotorienteret. Den bør ikke læses som bevis for, at modellen slår de førende generelle videomodeller på åben videokvalitet. 46

Benchmark og resultater på rigtige robotter

Xiaomi oplyser, at U0 blev nummer ét på WorldArena, med 126 deltagende modeller i den rapporterede evaluering. Virksomheden fremhæver blandt andet instruktionsfølgning, interaktionskvalitet og konsistens på tværs af kameravinkler. Xiaomis officielle projektside angiver ligeledes en førsteplads blandt mere end 100 modeller. 710

For robottræning nedstrøms rapporterer Xiaomi, at syntetiske U0-data løftede succesraten på rigtige robotter uden for træningsfordelingen – OOD, out of distribution – fra 36,9 % til 63,2 % ved ændringer som ukendt belysning og baggrunde. 67

Det er det stærkeste argument for at bruge U0 som en syntetisk dataforstærker. Resultaterne er dog projektrapporterede. En WorldArena-placering alene dokumenterer ikke overlegenhed for enhver robot, politikmodel, opgave, simulator eller generel billede- og videobenchmark. En uafhængig reproduktion kræver den præcise modelversion, prompts, samplingopsætning, evalueringsprotokol, scoringsopsætning og versioner af sammenligningsmodellerne. 710

Åbenhed, video og det, udviklere bør kontrollere

Apache-2.0-licensen for repository, vægte og inferensværktøjer gør U0 forholdsvis tilgængelig for udviklere med tilstrækkelig regnekraft. Men implementører bør stadig læse licensen og modeldokumentationen for hver modelvariant og undersøge oprindelse samt tilladt brug af både kildedata og de genererede træningsdata. 49

Videogenerering indgår i den erklærede, samlede funktionalitet. Det tilgængelige udgivelsesmateriale fastslår dog ikke, at videovægte, accelerationsveje, træningsdata og evalueringsprocedurer var lige fuldstændige og reproducerbare for alle funktioner ved juli-lanceringen. Billed- og overførselsarbejdsgangene er det tydeligst dokumenterede fokus; den konkrete videofunktion bør verificeres, før den bliver et grundelement i en produktionsløsning. 46

Konklusion

Xiaomi-Robotics-U0 er interessant, ikke fordi den erstatter robotstyring eller generelle mediegeneratorer, men fordi den åbner en stor, samlet autoregressiv pipeline til at skabe kontrollerbare, robotrelevante syntetiske visuelle data. Flagskibet på 38 mia. parametre, de efterfølgende mindre vægte, de offentlige værktøjer og FlashAR+/vLLM-vejen giver forskere og robotteams et konkret udgangspunkt for dataudvidelse. 79

De mest opsigtsvækkende påstande – den interne hastighedssammenligning på 82,86 gange, føringen på WorldArena og løftet i OOD-succes fra 36,9 % til 63,2 % – er lovende. Men de bør afprøves mod den konkrete robot, arbejdsbyrde, hardware og evalueringsprotokol, før de generaliseres. 710