Xiaomi-Robotics-U0: відкрита 38B-модель світу для навчання роботів

У даті початкового запиту змішано дві різні події. Повномасштабний реліз Xiaomi-Robotics-U0 повідомляли 15 липня 2026 року. У вересні в репозиторії з’явилися додаткові 4B- і sequence-ваги, а також код навчання з FSDP. 79

Xiaomi-Robotics-U0 варто сприймати передусім як відкриту генеративну систему для виробництва контрольованих синтетичних даних для робототехніки. Вона може створювати або змінювати візуальні сцени, пов’язані з роботом, намагаючись зберегти важливі для навчання параметри: спостереження робота, контекст маніпуляції, ракурс камери та узгодженість сцени. Це не модель, яка безпосередньо перетворює зображення на команди роботу. 16

Що саме відкрила Xiaomi

Флагманську U0 описують як мультимодальну авторегресивну базову модель світу на 38 млрд параметрів. У відкритому доступі є ваги моделі, вихідний код та код інференсу, компоновані конфігурації, точки входу Gradio і патчі для авторегресивного інференсу та FlashAR/vLLM. Репозиторій поширюється за ліцензією Apache-2.0. 249

У вересні Xiaomi також вказала три нові релізи: Xiaomi-Robotics-U0-4B, Xiaomi-Robotics-U0-Sequence і Xiaomi-Robotics-U0-4B-Sequence, разом із кодом навчання FSDP. Тож U0 вже є не лише початковим великим чекпойнтом, а цілою лінійкою моделей, що розвивається. 9

Одна модель для кількох типів робототехнічних даних

Ключова ідея U0 — об’єднати завдання в одній архітектурі. За заявою Xiaomi, вона підтримує:

• генерацію зображень за текстом і перетворення зображення на зображення;
• генерацію сцен для втілених систем;
• структуроване перенесення та редагування сцен;
• генерацію відео або розгортання послідовності спостережень робота. 46

Найвиразніший сценарій застосування — розширення навчальних даних. Можна взяти траєкторію чи спостереження реального робота й змінити фон, освітлення, матеріали або предмети, отримавши нові приклади для навчання без повторного фізичного збирання даних у кожному варіанті умов. 37

Саме цим U0 відрізняється від звичайного генератора зображень, оптимізованого для ефектної окремої картинки. Її заявлена цінність — контрольована варіативність зі збереженням геометрії та контексту взаємодії, важливих для робота. 37

Авторегресивний підхід і мультимодальність

U0 — авторегресивна візуальна модель. На відміну від дифузійних систем, де результат поступово очищується від шуму, вона послідовно генерує дискретні візуальні токени. За описами, в основі поєднано EMU3.5 та Qwen-3-32B, а для всіх підтримуваних завдань застосовується спільний дискретний візуальний токенізатор. 47

Авторегресивний метод природно подає зображення, спостереження й часові послідовності як потоки токенів. Водночас генерація високої роздільної здатності може бути дорогою обчислювально, якщо токени потрібно створювати один за одним. Саме тому Xiaomi доповнила модель спеціальним шляхом прискореного інференсу. 15

FlashAR+ і vLLM: що насправді означає заявлена швидкість

FlashAR+ — метод Xiaomi для прискорення декодування візуальних токенів. Замість строго послідовного створення кожного токена він використовує паралельну антидіагональну генерацію. Поверх цього інтегровано vLLM, який керує умовними префіксами, пакетною обробкою та paged KV-cache, не змінюючи правило декодування FlashAR+. 19

Xiaomi повідомила, що FlashAR із vLLM згенерував одне зображення за 5,44 секунди на одному GPU H20. Компанія охарактеризувала це як прискорення у 82,86 раза проти власної початкової AR eager-реалізації та у 3,04 раза проти FlashAR eager. 7

Тут важливе уточнення: це порівняння з власним авторегресивним eager-базлайном Xiaomi у заявленій нею конфігурації. Воно не доводить, що U0 у 83 рази швидша за дифузійні генератори зображень, усі конкуруючі конвеєри робототехнічних даних чи передові відеомоделі. На фактичну продуктивність впливають апаратне забезпечення, налаштування зображення, пакетна обробка, маршрут моделі та тип навантаження. 17

Репозиторій підтримує eager- і vLLM-бекенди для AR та FlashAR-інференсу. Але з цього не випливає, що кожна функція матиме однакову підтримку чи продуктивність у кожному рушії. Командам, які працюють із часовими або спеціалізованими мультимодальними сценаріями, варто перевірити конкретний чекпойнт і обраний маршрут інференсу. 9

Порівняння з політиками роботів і універсальними генераторами

Тип системи	Основне призначення	Де тут U0
Політики роботів	Перетворюють спостереження на дії робота	U0 працює раніше в конвеєрі: генерує та розширює дані, а не замінює політику. Заявлена користь — краще навчання політики за зміни розподілу даних. 67
Робототехнічні моделі світу або моделі даних	Створюють сцени, спостереження, траєкторії чи симуляційні дані	Заявлена відмінність U0 — єдина модель для синтезу сцен, перенесення, редагування зображень і відеоорієнтованого розгортання. 46
Універсальні генератори зображень	Широка генерація та редагування за текстом і зображенням	U0 підтримує text-to-image та image-to-image, але Xiaomi акцентує на узгодженості для втілених систем, а не робить широкої незалежно підтвердженої заяви про абсолютне лідерство в якості зображень. 47
Універсальні відеогенератори	Створення різножанрового, кінематографічного відео	Відеоможливість U0 орієнтована на роботів. Її не слід трактувати як доказ переваги над провідними універсальними відеомоделями у відкритих творчих задачах. 46

Бенчмарки та результати на реальному роботі

Xiaomi заявляє перше місце U0 у WorldArena серед 126 моделей в описаному оцінюванні та виокремлює дотримання інструкцій, якість взаємодій і багаторакурсну узгодженість. На офіційній сторінці проєкту також зазначено перше місце серед понад 100 моделей. 710

Для прикладної робототехніки Xiaomi повідомила, що додавання синтетичних даних U0 підвищило успішність реального робота в OOD-сценаріях — тобто за умов, відмінних від навчальних, — з 36,9% до 63,2%. Йдеться, зокрема, про незнайоме освітлення й фони. 67

Ці результати найсильніше підтримують сценарій U0 як інструмента для розширення даних. Однак це результати, заявлені самим проєктом. Перше місце у WorldArena саме по собі не встановлює перевагу для будь-якого робота, політики, завдання, симулятора чи універсального бенчмарку зображень і відео. Для незалежного відтворення потрібні точна версія моделі, промпти, конфігурація семплінгу, протокол оцінювання, налаштування підрахунку балів і версії конкурентних моделей. 710

Відкритість, статус відео та що перевірити перед впровадженням

Ліцензія Apache-2.0 для репозиторію, ваг і інструментів інференсу робить U0 відносно доступною для розробників, які мають достатні обчислювальні ресурси. Водночас перед використанням слід окремо перевірити ліцензію та документацію кожного чекпойнта, а також походження і дозволені способи застосування вихідних та згенерованих навчальних даних. 49

Генерація відео входить до заявленого уніфікованого набору можливостей. Проте надані матеріали не доводять, що на момент липневого запуску відеочекпойнти, шляхи прискорення, навчальні дані та процедури оцінювання були однаково повними й відтворюваними для всіх функцій. Найкраще документованими виглядають робочі процеси із зображеннями та перенесенням сцен; конкретний відеосценарій варто перевірити до побудови продукту навколо нього. 46

Висновок

Значущість Xiaomi-Robotics-U0 полягає не в заміні керування роботом або універсальних медіамоделей. Вона відкриває великий уніфікований авторегресивний конвеєр для створення контрольованих синтетичних візуальних даних, релевантних роботам. Флагманська 38B-версія, подальші менші ваги, публічні інструменти та шлях FlashAR+/vLLM дають дослідникам і робототехнічним командам практичну точку старту для розширення даних. 79

Найважливіші заяви — внутрішнє порівняння швидкості у 82,86 раза, лідерство у WorldArena та зростання успішності OOD-політики з 36,9% до 63,2% — виглядають обнадійливо. Але їх потрібно перевіряти на конкретному роботі, навантаженні, обладнанні та протоколі оцінювання, перш ніж узагальнювати. 710