Xiaomi-Robotics-U0: открытая 38-миллиардная world-модель для синтетических данных роботов

Дата в исходном вопросе, по-видимому, смешивает два обновления. Полномасштабный Xiaomi-Robotics-U0 был представлен 15 июля 2026 года. В сентябре в репозитории проекта появились дополнительные 4B- и sequence-веса, а также код обучения с FSDP. 79

Xiaomi-Robotics-U0 следует воспринимать прежде всего как открытую генеративную систему для производства управляемых синтетических данных для робототехники. Она может создавать или изменять визуальные сцены, ориентированные на робота, стараясь сохранять критичные для обучения параметры: наблюдения робота, контекст манипуляций, ракурс камеры и согласованность сцены. Это не модель, которая напрямую выдаёт действия робота. 16

Что именно открыла Xiaomi

Флагманская U0 описывается как мультимодальная авторегрессионная world foundation model на 38 млрд параметров. В открытый релиз вошли веса модели, исходный код и код инференса, компонуемые конфигурации, точки входа Gradio и патчи для авторегрессионного инференса и FlashAR/vLLM. Репозиторий распространяется по лицензии Apache-2.0. 249

Позднее Xiaomi указала ещё три сентябрьских релиза: Xiaomi-Robotics-U0-4B, Xiaomi-Robotics-U0-Sequence и Xiaomi-Robotics-U0-4B-Sequence, а также код обучения FSDP. Поэтому U0 теперь стоит рассматривать как развивающееся семейство моделей, а не только как исходный крупный чекпойнт. 9

Одна модель для нескольких задач с данными о роботах

Главная идея U0 — объединить несколько задач в одной архитектуре. По данным Xiaomi, модель поддерживает:

• генерацию «текст в изображение» и «изображение в изображение»;
• генерацию embodied-сцен, то есть сцен с учётом действий и наблюдений воплощённого агента;
• структурированный перенос и редактирование сцен;
• генерацию видео или развёртывание последовательности наблюдений робота. 46

Наиболее характерный сценарий применения — аугментация данных. Можно взять траекторию либо наблюдение робота и изменить, например, фон, освещение, материалы или объекты, получив новые обучающие примеры без повторного физического сбора данных для каждого варианта условий. 37

Именно этим U0 отличается от обычного генератора изображений, задача которого — создать убедительную отдельную картинку. Заявленная ценность U0 заключается в контролируемом разнообразии при сохранении важной для робота геометрии и контекста взаимодействия. 37

Авторегрессионная и мультимодальная архитектура

U0 — авторегрессионная визуальная модель. Вместо итеративного удаления шума, типичного для диффузионных систем генерации изображений, она последовательно генерирует дискретные визуальные токены. В публикациях базовая модель описывается как сочетание EMU3.5 и Qwen-3-32B с общим дискретным визуальным токенизатором для поддерживаемых задач. 47

Авторегрессионный подход удобен для представления изображений, наблюдений и временных последовательностей в виде потоков токенов. Однако генерация высокого разрешения остаётся вычислительно затратной, поскольку токены необходимо создавать последовательно. Именно поэтому Xiaomi дополняет модель специализированным путём ускоренного инференса. 15

FlashAR+ и vLLM: что на самом деле означает заявление об ускорении

FlashAR+ — метод Xiaomi для ускорения декодирования визуальных токенов. Вместо строго последовательной генерации каждого токена он использует параллельную антидиагональную генерацию. Поверх него интегрирован vLLM: он отвечает за условные префиксы, батчинг и страничное управление KV-кэшем, сохраняя правило декодирования FlashAR+. 19

Xiaomi сообщила, что FlashAR с vLLM генерировал одно изображение за 5,44 секунды на одном GPU H20. Компания охарактеризовала это как ускорение в 82,86 раза относительно собственной исходной AR eager-реализации и в 3,04 раза относительно FlashAR eager. 7

Здесь важна оговорка: сравнение сделано с собственной авторегрессионной eager-базой Xiaomi в указанной ею конфигурации. Это не означает, что U0 в 83 раза быстрее диффузионных генераторов изображений, всех конкурирующих конвейеров робототехнических данных или передовых видеомоделей. На фактическую производительность влияют оборудование, настройки изображений, батчинг, путь выполнения модели и конкретная нагрузка. 17

Репозиторий поддерживает eager- и vLLM-бэкенды для AR- и FlashAR-инференса. Но это не гарантирует одинаковую поддержку функций или одинаковую производительность в каждом движке. Командам, работающим с временными последовательностями или специализированными мультимодальными сценариями, следует проверить конкретный чекпойнт и выбранный путь инференса до внедрения. 9

Сравнение с робототехническими моделями и универсальными генераторами

Тип системы	Основное назначение	Где находится U0
Политики управления роботом	Преобразуют наблюдения в действия робота	U0 работает выше по цепочке: генерирует и расширяет данные, а не заменяет политику. Заявленный эффект проявляется в более устойчивом обучении политики при сдвиге распределения данных. 67
Роботоцентричные world-модели и модели данных	Создают сцены, наблюдения, траектории или симуляционные данные для роботов	Заявленное отличие U0 — единая модель для синтеза сцен, переноса сцен, редактирования изображений и видео-ориентированного развёртывания. 46
Универсальные генераторы изображений	Широкий спектр задач создания и редактирования по тексту и изображениям	U0 поддерживает text-to-image и image-to-image, но Xiaomi делает акцент на embodied-согласованности, а не заявляет о безусловном лидерстве по общему качеству изображений. 47
Универсальные видеогенераторы	Создание широкого спектра видео, включая кинематографические ролики	Видеовозможности U0 ориентированы на роботов; из этого нельзя делать вывод, что она превосходит ведущие универсальные видеомодели по качеству видео в открытых задачах. 46

Заявления о бенчмарках и реальных роботах

Xiaomi сообщает, что U0 заняла первое место в WorldArena среди 126 моделей в опубликованной оценке, и выделяет следование инструкциям, качество взаимодействия и согласованность между несколькими ракурсами. На официальной странице проекта также говорится о первом месте среди более чем 100 моделей. 710

Для прикладной робототехники Xiaomi заявляет, что добавление синтетических данных U0 повысило успешность работы политики на реальном роботе вне обучающего распределения — с 36,9% до 63,2% — при изменениях вроде незнакомого освещения и фонов. 67

Эти результаты сильнее всего подтверждают потенциал U0 как инструмента аугментации синтетических данных. Но это всё ещё результаты, опубликованные в рамках проекта. Рейтинг в WorldArena сам по себе не доказывает превосходство на каждом роботе, для любой политики, задачи, симулятора или общего бенчмарка изображений и видео. Для независимого воспроизведения нужны точная версия модели, промпты, параметры сэмплирования, протокол оценки, настройки подсчёта и версии моделей для сравнения. 710

Открытость, статус видео и что проверить перед внедрением

Лицензия Apache-2.0 для репозитория, весов и инструментов инференса делает U0 сравнительно доступной для разработчиков, располагающих достаточными вычислительными ресурсами. Тем не менее перед использованием стоит изучить лицензию и документацию каждого чекпойнта, а также проверить происхождение и допустимые способы применения как исходных, так и сгенерированных обучающих данных. 49

Генерация видео заявлена как часть единого набора возможностей. Однако предоставленные материалы не доказывают, что на момент июльского запуска видеочекпойнты, пути ускорения, обучающие данные и процедуры оценки были одинаково полно доступны и воспроизводимы для всех функций. Наиболее документированными для практического применения выглядят сценарии с изображениями и переносом сцен; конкретный видеопроцесс следует отдельно проверить до построения вокруг него продукта. 46

Главное

Значимость Xiaomi-Robotics-U0 не в том, что она заменяет управление роботом или универсальные медиамодели. Главное — Xiaomi открыла крупный единый авторегрессионный конвейер для создания управляемых синтетических визуальных данных, релевантных робототехнике. Флагман на 38 млрд параметров, последующие компактные веса, публичные инструменты и путь FlashAR+/vLLM дают исследователям и робототехническим командам практическую отправную точку для аугментации данных. 79

Наиболее заметные заявления — внутреннее сравнение скорости с ускорением в 82,86 раза, лидерство в WorldArena и рост OOD-успешности политики с 36,9% до 63,2% — выглядят многообещающе. Но прежде чем обобщать их, результаты нужно проверить на целевом роботе, рабочей нагрузке, оборудовании и собственном протоколе оценки. 710