HyWorldVLA : la méthode hybride de BYD pour entraîner une IA de conduite plus efficace

BYD a présenté HyWorldVLA, un modèle Vision-Language-Action (VLA) destiné à la conduite autonome et fondé sur un « modèle du monde » hybride. Son principe : représenter la route de deux façons à la fois — avec des prédictions détaillées au niveau des pixels et avec des représentations latentes, donc compressées. L’objectif est de préserver l’ancrage visuel tout en rendant la prédiction et la planification de trajectoire moins coûteuses à exécuter. 1

Pourquoi mélanger pixels et espace latent ?

Prédire les futurs images pixel par pixel conserve une grande quantité de détails sur la scène, mais cette approche demande beaucoup de calcul. À l’inverse, un modèle qui travaille dans un espace latent raisonne sur une version compressée de la scène : c’est plus efficace, mais des informations importantes pour la conduite risquent d’être perdues. 1

HyWorldVLA ne choisit pas entre les deux. Pendant l’entraînement, la supervision pixel aide l’espace latent à rester fidèle à la scène visuelle. Lors de l’utilisation du modèle, en revanche, le système ne prédit plus que des caractéristiques latentes, transmises à un expert des actions qui produit les trajectoires du véhicule. 17

Autrement dit : BYD utilise la précision visuelle coûteuse pour apprendre, mais s’appuie sur la représentation compressée pour fonctionner plus efficacement.

Un entraînement en trois étapes

1. Compresser la vidéo avec un VAE guidé par le langage

La première étape consiste à entraîner un autoencodeur variationnel vidéo, ou VAE vidéo, afin de compresser des séquences de conduite en caractéristiques latentes. Des éléments de langage servent de contexte sémantique lors de l’apprentissage du compresseur. 25

Le but n’est donc pas seulement de réduire le volume d’information. L’espace latent doit conserver ce qui sera utile pour anticiper l’évolution de la situation et décider comment conduire.

2. Préentraîner le modèle du monde avec une double supervision

Ensuite, les images, les actions, les éléments de langage et les caractéristiques latentes sont convertis en jetons discrets, puis traités dans une prédiction autorégressive. Le modèle apprend simultanément à prédire les futurs latents vidéo et à reconstruire les futures images. 12

Cette double supervision répartit les rôles :

• la reconstruction ou prédiction des pixels maintient une description visuelle fine de la scène ;
• la prédiction latente encourage une représentation plus compacte, adaptée à la planification future.

La perte liée aux pixels agit ainsi comme un garde-fou : elle limite le risque que la compression latente élimine des détails indispensables à la conduite. 17

3. Affiner avec un expert des trajectoires

Dans la dernière phase, le modèle du monde est optimisé avec un expert des actions et des trajectoires. En exploitation, HyWorldVLA prédit des caractéristiques latentes plutôt que des images complètes ; l’expert les utilise ensuite pour générer une trajectoire de conduite. 1

C’est le point central du compromis recherché : la supervision visuelle détaillée est mobilisée pendant l’entraînement, sans imposer le même coût de calcul lors de l’inférence embarquée.

Ce que montrent les tests de retrait de composants

Sur NAVSIM v1, HyWorldVLA a rapporté un score de 90,59 PDMS, présenté dans l’étude et les publications associées comme le meilleur résultat public disponible à ce moment-là. 17

Les expériences dites d’ablation, qui retirent un composant pour mesurer son apport, suggèrent que l’architecture hybride n’est pas un simple assemblage :

• sans prédiction au niveau du pixel, le PDMS passe de 90,59 à 87,50 ; 7
• sans traitement dans l’espace latent, il tombe à 89,91 ; 7
• sans guidage linguistique dans le module latent, le score descend à 90,35. 20

Ces résultats appuient l’idée que les deux types de représentation résolvent des aspects distincts du problème : les pixels préservent la fidélité à la scène, tandis que l’espace latent fournit une base plus économique pour anticiper les actions.

L’importance du réglage des fonctions de perte

L’article étudie deux coefficients : λ1, associé à la perte de prédiction des jetons vidéo, et λ2, associé à la cohérence de la représentation latente. 20

Avec λ2 maintenu à 0,1, relever λ1 de 0,1 à 0,5 améliore le PDMS de 90,48 à 90,59. Mais à λ1 = 1,0, le score recule à 89,83. 20

Avec λ1 fixé à 0,5, une hausse de λ2 au-delà de 0,1 dégrade aussi le résultat : à 0,2, le PDMS est de 90,47, puis la tendance reste orientée à la baisse lorsque le poids augmente davantage. 20

La leçon n’est donc pas que davantage de supervision produit systématiquement un meilleur modèle. Il faut suffisamment de contraintes pour conserver l’information visuelle et latente pertinente, sans rendre la représentation trop rigide.

Que mesure le PDMS dans NAVSIM v1 ?

Le PDMS est un indicateur composite de la qualité de conduite dans le benchmark NAVSIM. Il couvre notamment l’absence de collisions imputables au véhicule évalué, le respect des zones praticables, le temps avant une collision potentielle, le confort des mouvements et la progression sur l’itinéraire. 2

Un score de 90,59 ne mesure donc pas seulement la reconnaissance d’objets dans une image : il évalue la qualité de la planification de conduite dans ce cadre de test. Cela reste toutefois un résultat en simulation ; il ne constitue pas, à lui seul, une validation indépendante de la sécurité ou des performances du système dans la circulation réelle.

Ce que ce travail dit de la stratégie IA de BYD

L’étude est attribuée à l’Automotive New Technology Research Institute de BYD et constitue un signal public de l’investissement du constructeur dans la recherche interne sur les modèles fondamentaux pour la conduite autonome. 1

Les références à une proximité de l’équipe avec l’expertise en robotique du Harbin Institute of Technology sont intéressantes, mais les éléments primaires disponibles ne suffisent pas à établir le parcours académique de chaque chercheur. 5

Face à des concurrents chinois tels que NIO, XPeng et Li Auto, HyWorldVLA apporte à BYD un résultat de recherche public et mesurable dans les VLA et les modèles du monde. Cela témoigne d’une capacité de recherche, non d’une avance déjà démontrée en conduite autonome sur route ouverte.

L’échelle de déploiement des véhicules BYD pourrait devenir un avantage si l’entreprise parvient à transformer ce résultat de recherche en produit sûr, validé et déployé efficacement. Le test décisif ne sera pas un nouveau benchmark, mais le passage fiable du modèle et de la simulation à un usage réel.