Xiaomi-Robotics-U0: Åpen 38B-modell for syntetiske robotdata

Den opprinnelige datoen ser ut til å blande sammen to oppdateringer. Xiaomis fullskalautgivelse av Xiaomi-Robotics-U0 ble rapportert 15. juli 2026. I september meldte prosjektets kodearkiv om ekstra 4B- og sekvensmodellvekter, samt FSDP-kode for trening. 79

Xiaomi-Robotics-U0 bør først og fremst forstås som et åpent generativt system for produksjon av kontrollerbare, syntetiske data til robottrening. Det kan generere eller endre robotorienterte visuelle scenarier, samtidig som det forsøker å bevare forhold som er viktige under trening: robotobservasjoner, manipulasjonskontekst, kameraperspektiv og konsistens i scenen. Det er ikke en handlingspolicy som styrer en robot. 16

Dette har Xiaomi gitt ut

Flaggskipmodellen U0 beskrives som en multimodal, autoregressiv verdensgrunnmodell med 38 milliarder parametere. Den åpne utgivelsen omfatter modellvekter, kildekode og inferenskode, sammensettbare konfigurasjoner, Gradio-innganger og oppdateringer for autoregressiv inferens og FlashAR/vLLM-inferens. Kodearkivet er lisensiert under Apache-2.0. 249

Xiaomi listet senere tre ekstra utgivelser i september: Xiaomi-Robotics-U0-4B, Xiaomi-Robotics-U0-Sequence og Xiaomi-Robotics-U0-4B-Sequence, i tillegg til FSDP-kode for trening. U0 viser dermed til en modellfamilie i utvikling, ikke bare den opprinnelige fullskalavekten. 9

Én modell for flere typer robotdata

Kjernen i U0s budskap er samling av funksjoner. Xiaomi sier at én arkitektur støtter:

• tekst-til-bilde og bilde-til-bilde-generering
• generering av fysiske, robotrelevante scener
• strukturert overføring og redigering av scener
• videogenerering eller utrulling av robotobservasjoner. 46

I praksis er det mest særpregede bruksområdet datautvidelse: Man kan ta utgangspunkt i en robotbane eller observasjon og variere bakgrunn, lys, materialer eller objekter. Dermed kan man lage flere treningseksempler uten å gjennomføre hver eneste fysiske datainnsamling på nytt. 37

Dette skiller U0 fra en vanlig bildegenerator som primært er optimalisert for ett visuelt tiltalende bilde. Den tiltenkte verdien ligger i kontrollert variasjon, samtidig som robotrelevant geometri og samhandlingskontekst bevares. 37

Autoregressiv arkitektur og multimodal tilnærming

U0 er en autoregressiv visuell modell. I stedet for den trinnvise avstøyingsprosessen som ofte forbindes med diffusjonsbaserte bildesystemer, genererer den diskrete visuelle tokener sekvensielt. Rapportene beskriver basen som en kombinasjon av EMU3.5 og Qwen-3-32B, med en felles diskret visuell tokenizer på tvers av oppgavene. 47

Autoregressiv generering gjør det naturlig å behandle bilder, observasjoner og tidssekvenser som tokenstrømmer. Samtidig blir høyoppløselig generering kostbar når tokenene må produseres i rekkefølge. Det er bakgrunnen for at Xiaomi kombinerer modellen med en spesialisert inferensløsning. 15

FlashAR+ og vLLM: Hva hastighetstallet faktisk betyr

FlashAR+ er Xiaomis metode for å akselerere avkoding av visuelle tokener. I stedet for å produsere hvert token strengt ett om gangen, benytter metoden parallell generering langs antidiagonaler. vLLM er lagt oppå dette for å håndtere betingede prefikser, batching og paged KV-cache, uten å endre FlashAR+-regelen for avkoding. 19

Xiaomi oppga at FlashAR med vLLM genererte ett bilde på 5,44 sekunder på én H20-GPU, som selskapet beskrev som 82,86 ganger raskere enn den opprinnelige autoregressive «eager»-implementasjonen og 3,04 ganger raskere enn FlashAR eager. 7

Forbeholdet er viktig: Dette er en sammenligning med Xiaomis egen autoregressive eager-baseline i det rapporterte oppsettet. Det er ikke dokumentasjon på at U0 er 83 ganger raskere enn diffusjonsbaserte bildegeneratorer, alle konkurrerende robotdatapipelines eller ledende videosystemer. Maskinvare, bildeinnstillinger, batching, modellvei og arbeidsbelastning kan endre faktisk ytelse betydelig. 17

Kodearkivet støtter eager- og vLLM-bakender for både AR- og FlashAR-inferens. Det betyr likevel ikke at alle funksjoner nødvendigvis har samme støtte eller ytelse i alle motorene. Team som arbeider med tidslige sekvenser eller spesialiserte multimodale arbeidsflyter, bør teste den konkrete vekten og inferensruten de planlegger å bruke. 9

Sammenlignet med robotmodeller og generelle generatorer

Systemtype	Primært formål	Hvor U0 passer inn
Robotpolicyer	Gjøre observasjoner om til robothandlinger	U0 er en modell for oppstrøms datagenerering og datautvidelse, ikke en erstatning for en policy. Den rapporterte nedstrømseffekten er bedre policytrening ved distribusjonsskift. 67
Robotorienterte verdens- eller datamodeller	Lage robotscener, observasjoner, baner eller simuleringslignende data	U0s påståtte særtrekk er én modell som dekker scenesyntese, overføring, bilderedigering og videorettet utrulling. 46
Generelle bildegeneratorer	Bred tekst-/bildegenerering og redigering	U0 støtter tekst-til-bilde og bilde-til-bilde, men Xiaomi fremhever kroppsliggjort konsistens framfor å hevde bred ledelse i generell bildekvalitet. 47
Generelle videogeneratorer	Filmatiske videoer for brede formål	U0s videofunksjon er robotorientert og bør ikke tolkes som bevis på at den slår de beste generelle videomodellene på åpen videokvalitet. 46

Benchmark- og påstander fra ekte roboter

Xiaomi oppgir at U0 ble rangert som nummer én i WorldArena, med 126 deltakende modeller i den rapporterte evalueringen, og fremhever instruksjonsfølging, interaksjonskvalitet og konsistens mellom flere kameravinkler. Xiaomis offisielle prosjektside oppgir også førsteplass blant over 100 modeller. 710

For nedstrøms robotikk rapporterer Xiaomi at syntetiske data generert av U0 økte suksessraten på ekte roboter utenfor treningsfordelingen – ofte kalt OOD, «out-of-distribution» – fra 36,9 til 63,2 prosent ved endringer som ukjent belysning og nye bakgrunner. 67

Resultatene gir det sterkeste argumentet for U0 som verktøy for syntetisk datautvidelse. Men de er fortsatt prosjektets egne rapporterte resultater. En WorldArena-rangering alene viser ikke overlegenhet for enhver robot, policy, oppgave, simulator eller generell bilde-/videobenchmark. Uavhengig reproduksjon krever nøyaktig modellversjon, instrukser, samplingoppsett, evalueringsprotokoll, poengberegning og versjoner av sammenligningsmodellene. 710

Åpenhet, videostatus og hva brukere bør kontrollere

Apache-2.0-lisensen for kodearkivet, vektene og inferensverktøyene gjør U0 relativt tilgjengelig for utviklere med tilstrekkelig regnekraft. Likevel bør de som tar det i bruk, kontrollere lisensen og modelldokumentasjonen for hver enkelt vekt, og vurdere opphav og tillatt bruk av både kildedata og genererte treningsdata. 49

Videogenerering inngår i det oppgitte, samlede funksjonssettet. Det foreliggende lanseringsmaterialet dokumenterer imidlertid ikke at videovekter, akselereringsveier, treningsdata og evalueringsprosedyrer var like komplette og reproduserbare for alle funksjoner ved den første juli-lanseringen. Bilde- og overføringsarbeidsflytene framstår som de tydeligst dokumenterte for praktisk bruk; sjekk derfor den konkrete videoflyten før den blir grunnlaget for et prosjekt. 46

Kort oppsummert

Xiaomi-Robotics-U0 er viktig ikke fordi den erstatter robotstyring eller generelle mediemodeller, men fordi den åpner en stor, samlet autoregressiv pipeline for å generere kontrollerbare, robotrelevante syntetiske visuelle data. Flaggskipet på 38B, mindre oppfølgingsvekter, offentlig verktøy og FlashAR+/vLLM-ruten gir forskere og robotteam et praktisk utgangspunkt for datautvidelse. 79

De mest sentrale påstandene – den interne sammenligningen på 82,86 ganger raskere inferens, ledelsen i WorldArena og løftet i OOD-suksess fra 36,9 til 63,2 prosent – er interessante. Men de bør testes mot den aktuelle roboten, arbeidsbelastningen, maskinvaren og evalueringsprotokollen før de generaliseres. 710