Xiaomi-Robotics-U0: öppen modell ska göra robotträning mindre beroende av insamlad data

Frågeställningen blandar ihop två tidpunkter. Den fullskaliga versionen av Xiaomi-Robotics-U0 rapporterades ha släppts den 15 juli 2026. I september meddelade projektets kodarkiv att ytterligare 4B- och sekvensvikter samt FSDP-kod för träning hade tillkommit. 79

Det viktiga med Xiaomi-Robotics-U0 är inte att modellen ersätter robotens styrsystem. Den är snarare en öppen plattform för att framställa kontrollerbar syntetisk bild- och observationsdata som kan användas när robotpolicys tränas. Tanken är att kunna ändra exempelvis ljus, bakgrund, material eller objekt i en robotscen, men behålla sådant som är centralt för uppgiften: kameravinkel, manipulationssammanhang och scenens interna konsekvens. 16

Vad Xiaomi faktiskt har släppt

Flaggskeppet U0 beskrivs som en multimodal, autoregressiv världsmodell med 38 miljarder parametrar. Den öppna releasen omfattar modellvikter, käll- och inferenskod, komponerbara konfigurationer, Gradio-ingångar samt patchar för autoregressiv inferens och FlashAR/vLLM. Kodarkivet använder Apache-2.0-licensen. 249

I september listade Xiaomi även Xiaomi-Robotics-U0-4B, Xiaomi-Robotics-U0-Sequence och Xiaomi-Robotics-U0-4B-Sequence, tillsammans med FSDP-kod för träning. U0 är därmed inte längre bara ett enskilt 38B-checkpoint, utan en växande modellfamilj. 9

En modell för flera sorters robotdata

Xiaomis huvudidé är att samla flera generativa uppgifter i samma arkitektur. Enligt bolaget kan U0 användas för:

• text-till-bild och bild-till-bild,
• generering av robotcentrerade scener,
• strukturerad scenöverföring och bildredigering,
• videogenerering eller utrullning av robotobservationer över tid. 46

Den mest konkreta tillämpningen är dataförstärkning. Utgå från en inspelad robottrajektoria eller observation och skapa kontrollerade variationer av den, i stället för att behöva göra om varje fysisk datainsamling i en ny miljö. 37

Det skiljer U0 från en vanlig bildgenerator som främst optimeras för en snygg enskild bild. Här handlar värdet om att skapa variationer utan att tappa robotrelevant geometri, perspektiv och interaktionskontext. 37

Autoregressiv modell – och varför det spelar roll

U0 är en autoregressiv visuell modell. I stället för den stegvisa brusreducering som ofta förknippas med diffusionsmodeller genererar den diskreta visuella token i följd. Rapporter beskriver grundmodellen som en kombination av EMU3.5 och Qwen-3-32B, med en gemensam diskret visuell tokenizer för de olika uppgifterna. 47

Detta angreppssätt passar naturligt för att behandla bilder, robotobservationer och tidssekvenser som tokenströmmar. Nackdelen är att högupplöst generering kan bli beräkningsmässigt dyr när token måste produceras sekventiellt. Där kommer Xiaomis särskilda inferenslösning in. 15

FlashAR+ och vLLM: så ska hastighetssiffran tolkas

FlashAR+ är Xiaomis metod för att snabba upp avkodningen av visuella token. I stället för att strikt skapa en token i taget används parallell anti-diagonal generering. Ovanpå detta hanterar vLLM villkorade prefix, batchning och paginerad KV-cache, medan FlashAR+-regeln för avkodning behålls. 19

Xiaomi uppger att FlashAR med vLLM skapade en bild på 5,44 sekunder på en H20-GPU. Det ska enligt bolaget vara 82,86 gånger snabbare än den egna ursprungliga AR eager-implementeringen och 3,04 gånger snabbare än FlashAR eager. 7

Jämförelsen är viktig att avgränsa. Siffran gäller Xiaomis egen autoregressiva eager-baslinje i den testmiljö som bolaget redovisar. Den visar inte att U0 är 83 gånger snabbare än diffusionsbaserade bildmodeller, andra system för robotdata eller ledande videogeneratorer. Hårdvara, bildinställningar, batchning, modellväg och arbetslast kan påverka den faktiska kapaciteten kraftigt. 17

Kodarkivet stöder eager- och vLLM-backend för både AR- och FlashAR-inferens. Det innebär dock inte nödvändigtvis att alla funktioner har samma stöd eller prestanda i varje motor. Den som arbetar med tidssekvenser eller andra specialiserade multimodala flöden bör kontrollera exakt checkpoint och inferensväg före en produktionssatsning. 9

Hur U0 förhåller sig till andra modeller

Typ av system	Huvuduppgift	Var U0 passar in
Robotpolicys	Omvandla observationer till robotrörelser	U0 är ett verktyg uppströms för datagenerering och dataförstärkning, inte en ersättning för en policy. Det rapporterade värdet nedströms är bättre policyträning vid distributionsskiften. 67
Robotcentrerade världs- eller datamodeller	Skapa robotscener, observationer, trajektorier eller simuleringsliknande data	U0:s uttalade skillnad är att en modell täcker scensyntes, överföring, bildredigering och videoinriktad utrullning. 46
Allmänna bildgeneratorer	Bred text- och bildgenerering samt redigering	U0 kan text-till-bild och bild-till-bild, men Xiaomi lyfter främst konsekvens i fysiska robotmiljöer – inte ett generellt anspråk på bäst bildkvalitet. 47
Allmänna videogeneratorer	Bred, ofta filmisk videogenerering	U0:s videofunktion är robotinriktad. Den bör inte tolkas som belägg för bättre öppen videokvalitet än de främsta allmänna videomodellerna. 46

Benchmark och resultat på fysisk robot

Xiaomi uppger att U0 placerade sig etta på WorldArena, med 126 deltagande modeller i den rapporterade utvärderingen. Bolaget pekar särskilt på instruktionsföljande, interaktionskvalitet och konsekvens mellan flera vyer. På den officiella projektsidan anges förstaplats bland fler än 100 modeller. 710

För robotträning rapporterar Xiaomi att syntetiska data från U0 höjde framgångsgraden för en fysisk robot i miljöer utanför träningsfördelningen, från 36,9 procent till 63,2 procent. De testade förändringarna omfattade bland annat obekant ljussättning och bakgrunder. 67

Det är den tydligaste indikationen på U0:s potential: som ett verktyg för att förstärka träningsdata. Men resultaten är projektets egna uppgifter. En placering på WorldArena visar inte automatiskt att modellen är bäst för varje robot, policy, uppgift, simulator eller bild- och videobenchmark. En oberoende reproduktion kräver bland annat exakt modellversion, promptar, samplingsinställningar, utvärderingsprotokoll, poängsättning och jämförelseversioner. 710

Öppenhet, video och sådant som måste kontrolleras

Apache-2.0 för kodarkivet, vikterna och inferensverktygen gör U0 relativt tillgänglig för utvecklare som har tillräckligt med beräkningsresurser. Trots det bör varje team läsa licens- och modelldokumentation för det checkpoint som används, och granska ursprung samt tillåten användning av både källdata och genererad träningsdata. 49

Video ingår i den uttalade uppsättningen funktioner. Det tillgängliga materialet visar dock inte att videocheckpoint, accelererade inferensvägar, träningsdata och utvärderingsrutiner var lika kompletta och reproducerbara för samtliga funktioner redan vid julilanseringen. Bild- och överföringsflödena är de tydligast dokumenterade användningsfallen; videoflödet bör verifieras innan det blir en central del av ett system. 46

Slutsats

Xiaomi-Robotics-U0 är intressant främst för att det öppnar en stor, samlad autoregressiv pipeline för kontrollerbar syntetisk visuell robotdata. Flaggskeppet på 38B, de mindre efterföljande vikterna, de offentliga verktygen och FlashAR+/vLLM-vägen ger forskare och robotteam en möjlig startpunkt för dataförstärkning. 79

De mest uppmärksammade siffrorna – 82,86 gånger snabbare inferens jämfört med en intern baslinje, en WorldArena-ledning och OOD-resultatet från 36,9 till 63,2 procent – är lovande. Men de bör prövas mot den egna roboten, arbetslasten, hårdvaran och utvärderingsmetoden innan de används som generella slutsatser. 710