HyWorldVLA от BYD: гибридная модель мира для автономного вождения

BYD представила HyWorldVLA — модель класса Vision-Language-Action (VLA) для автономного вождения с гибридной «моделью мира». Её идея в том, чтобы не выбирать между двумя подходами к представлению дорожной сцены: детальным прогнозированием на уровне пикселей и сжатыми скрытыми представлениями — latent space. 1

Пиксельная модель позволяет сохранять мелкие визуальные детали, но требует больших вычислительных ресурсов. Модель в latent-пространстве работает с компактным описанием сцены, поэтому удобнее для прогнозирования и планирования, однако рискует отбросить детали, важные для вождения. HyWorldVLA использует преимущества обоих вариантов: при обучении она получает пиксельный контроль, а при работе предсказывает только latent-признаки и передаёт их модулю действий, который формирует траекторию. 17

Три этапа обучения

1. Видео-VAE с языковой подсказкой

Сначала видео-вариационный автоэнкодер, или video VAE, сжимает последовательности дорожных видео в компактные latent-признаки. Текстовая информация используется как семантический контекст при обучении такого компрессора. 25

Задача здесь не сводится к уменьшению объёма видео. Скрытое представление должно сохранить сведения, которые пригодятся для прогнозирования развития сцены и последующего выбора траектории.

2. Гибридное предварительное обучение модели мира

Затем изображения, действия, языковые элементы и latent-признаки преобразуются в единые дискретные токены. Модель авторегрессионно предсказывает будущие video latents и одновременно реконструирует будущие видеокадры. 12

Именно здесь действует двойной контроль:

• прогнозирование и реконструкция пикселей удерживают модель в связи с детальной визуальной сценой;
• прогнозирование latent-представлений формирует более компактный сигнал, пригодный для планирования.

Проще говоря, пиксельная функция потерь служит ограничителем: она не даёт latent-модели чрезмерно «сжать» картину и потерять существенные для дороги детали. 17

3. Совместная донастройка с модулем действий

На финальном этапе модель мира оптимизируется вместе со специализированным модулем действий и траекторий. В рабочем режиме система не генерирует полные кадры на пиксельном уровне: она прогнозирует latent-признаки, а затем передаёт их action expert для построения траектории движения. 1

Такой разнос ролей важен для эффективности. Дорогой пиксельный контроль помогает сформировать представление на этапе обучения, но не переносит те же вычислительные затраты на работу модели в реальном времени.

Что показали эксперименты с отключением компонентов

В бенчмарке NAVSIM v1 HyWorldVLA сообщила результат 90,59 PDMS. В статье и связанных публикациях он характеризуется как лучший среди открыто опубликованных результатов на тот момент. 17

Эксперименты с исключением отдельных частей модели показывают, что гибридная схема — не просто набор дополнительных функций:

• без пиксельного прогнозирования PDMS снизился с 90,59 до 87,50; 7
• без обработки в latent-пространстве показатель составил 89,91; 7
• без языкового сопровождения latent-модуля результат снизился до 90,35. 20

Эти результаты согласуются с гипотезой авторов: пиксельный и скрытый уровни решают разные задачи. Первый помогает сохранить верность наблюдаемой сцене, второй даёт более экономичное представление для прогноза действий.

Почему важна настройка функций потерь

В работе проверяются два коэффициента: λ1 задаёт вес потерь при прогнозировании video tokens, а λ2 отвечает за согласованность latent-представления. 20

При фиксированном λ2 = 0,1 увеличение λ1 с 0,1 до 0,5 подняло PDMS с 90,48 до 90,59. Но при λ1 = 1,0 оценка упала до 89,83. 20

При фиксированном λ1 = 0,5 увеличение λ2 выше 0,1 также ухудшало результат: при 0,2 PDMS составил 90,47, а при дальнейшем росте коэффициента снижение продолжилось. 20

Вывод не в том, что больше контроля всегда лучше. Модели нужен достаточный пиксельный и latent-контроль, чтобы не терять полезную информацию, но чрезмерно жёсткие ограничения могут помешать ей находить представления, полезные именно для вождения.

Что измеряет PDMS в NAVSIM v1

PDMS — составная метрика качества вождения в NAVSIM, симуляционном бенчмарке для проверки планирования. Она учитывает, в частности, отсутствие столкновений по вине автомобиля, соблюдение допустимой зоны движения, время до потенциального столкновения, плавность манёвров и продвижение по маршруту. 2

Поэтому 90,59 — не показатель распознавания объектов на изображении, а комплексная оценка планирования движения в условиях конкретного теста. При этом результат в NAVSIM остаётся оценкой в симуляции: он не равнозначен независимому подтверждению безопасности или эффективности системы в реальном дорожном движении.

Что это говорит о стратегии BYD в ИИ

Работа связана с Automotive New Technology Research Institute компании BYD и служит публичным признаком инвестиций автопроизводителя в собственные фундаментальные модели для автономного вождения. 1 Публикации упоминают связь команды с робототехнической школой Харбинского политехнического университета, однако доступных первичных данных недостаточно, чтобы уверенно установить академический бэкграунд каждого исследователя. 5

На фоне NIO, XPeng и Li Auto HyWorldVLA даёт BYD публичный и измеримый исследовательский результат в области VLA и моделирования мира. Это демонстрация исследовательских возможностей, но не доказательство уже достигнутого превосходства в реальном автономном вождении.

Масштаб производства BYD потенциально может стать преимуществом, если компании удастся превратить исследовательский результат в безопасный, валидированный и эффективно развёрнутый продукт. Следующая принципиальная проверка — не новый рекорд в бенчмарке, а надёжный переход от модели и симуляции к эксплуатации на дорогах.