HyWorldVLA: BYDs Hybridansatz für effizientere Fahr-KI

BYD hat mit HyWorldVLA ein Vision-Language-Action-Modell (VLA) für autonomes Fahren vorgestellt, das ein hybrides Weltmodell nutzt. Die Idee: Das System lernt die Verkehrsumgebung auf zwei Ebenen zugleich – mit präzisen Vorhersagen auf Pixelebene und mit kompakten, sogenannten latenten Repräsentationen. 1

Das soll einen klassischen Zielkonflikt entschärfen: Pixelbasierte Modelle bewahren viele visuelle Details, verursachen aber hohen Rechenaufwand. Latente Modelle arbeiten mit stark verdichteten Darstellungen und sind damit effizienter, können jedoch fahrrelevante Informationen verlieren. 1

HyWorldVLA setzt daher während des Trainings auf Pixel-Supervision, um den Latent Space eng an die reale Bildszene zu binden. Im späteren Betrieb sagt das Modell nur noch latente Merkmale voraus; ein spezialisiertes Aktionsmodell erzeugt daraus die Fahrtrajektorie. 17

Drei Phasen vom Video bis zur Fahrtrajektorie

1. Video-VAE mit sprachlicher Anleitung

Zunächst komprimiert ein Video-Variational-Autoencoder (Video-VAE) Sequenzen aus Fahraufnahmen in latente Merkmale. Sprachinformationen dienen dabei als semantischer Kontext für das Training des Komprimierers. 25

Entscheidend ist nicht allein eine möglichst kleine Videodarstellung. Der Latent Space soll genau die Informationen bewahren, die für die Vorhersage der weiteren Verkehrssituation und für spätere Fahrentscheidungen gebraucht werden.

2. Hybrides Vortraining des Weltmodells

Danach werden Bilder, Aktionen, Sprache und latente Merkmale in ein gemeinsames Format diskreter Tokens überführt. Das Modell lernt autoregressiv, also Schritt für Schritt, kommende Tokens vorherzusagen. Parallel prognostiziert es zukünftige Video-Latents und rekonstruiert zukünftige Videobilder. 12

Diese doppelte Supervision verteilt die Aufgaben:

• Die Pixelrekonstruktion hält die Repräsentation an konkrete, visuelle Szenendetails gebunden.
• Die Vorhersage im Latent Space liefert ein kompakteres Signal, das sich besser für Planung eignet.

Vereinfacht gesagt verhindert der Pixel-Loss, dass die latente Darstellung die Verkehrsszene zu aggressiv verdichtet und dabei wichtige Details verliert. 17

3. Gemeinsames Fine-Tuning mit dem Aktionsmodell

In der letzten Phase wird das Weltmodell zusammen mit einem Expertensystem für Aktionen beziehungsweise Trajektorien optimiert. Im Betrieb entstehen dann keine vollständigen zukünftigen Pixelbilder mehr. Stattdessen werden latente Merkmale vorhergesagt und an den Action Expert weitergereicht, der daraus die Fahrtrajektorie ableitet. 1

Der Kniff dient der Effizienz: Die rechenintensive Pixel-Supervision prägt die Darstellung im Training, ohne beim laufenden Einsatz denselben Aufwand zu verursachen.

Was die Ablationstests zeigen

Auf NAVSIM v1 erzielte HyWorldVLA einen PDMS-Wert von 90,59. Paper und begleitende Berichte bezeichneten das zum jeweiligen Zeitpunkt als führendes öffentliches Ergebnis. 17

Die Ablationstests – dabei werden einzelne Bestandteile gezielt entfernt – legen nahe, dass der Hybridansatz mehr ist als eine bloße Kombination von Bausteinen:

• Ohne Pixelvorhersage sank PDMS von 90,59 auf 87,50. 7
• Ohne Verarbeitung im Latent Space fiel der Wert auf 89,91. 7
• Ohne sprachliche Anleitung im latenten Modul reduzierte sich das Ergebnis auf 90,35. 20

Die Resultate stützen damit die Annahme der Forschenden: Pixel-Supervision und latente Vorhersage lösen verschiedene Teile der Aufgabe. Erstere sichert die Detailtreue der Szenendarstellung, letztere ermöglicht eine ressourcenschonendere Grundlage für Fahrentscheidungen.

Die Gewichte der Lernziele machen einen Unterschied

Das Paper untersucht zwei Gewichtungen: λ1 für den Verlust bei der Vorhersage von Video-Tokens und λ2 für die Konsistenz der latenten Repräsentation. 20

Bei festem λ2 von 0,1 stieg PDMS mit λ1 von 0,1 auf 0,5 von 90,48 auf 90,59. Wurde λ1 weiter auf 1,0 erhöht, sank der Wert auf 89,83. 20

Bei festem λ1 von 0,5 verringerte eine Anhebung von λ2 über 0,1 die Leistung: Bei 0,2 lag PDMS bei 90,47; bei weiteren Erhöhungen setzte sich der Abwärtstrend fort. 20

Die Schlussfolgerung lautet also nicht, dass mehr Supervision automatisch besser ist. Das Modell benötigt genug Pixel- und Latent-Space-Restriktionen, um relevante Informationen zu bewahren – zu starke Vorgaben können die Repräsentation jedoch unnötig einengen.

Was PDMS bei NAVSIM v1 misst

PDMS ist ein zusammengesetzter Qualitätswert im Fahrsimulations-Benchmark NAVSIM. Er umfasst unter anderem die Vermeidung selbst verschuldeter Kollisionen, die Einhaltung befahrbarer Bereiche, die Zeit bis zu einer möglichen Kollision, Fahrkomfort und den Fortschritt des eigenen Fahrzeugs auf der Route. 2

Ein Wert von 90,59 ist damit kein reiner Bildverarbeitungswert, sondern ein Maß für die Qualität der Fahrplanung innerhalb dieses Benchmarks. Er bleibt allerdings ein Ergebnis aus einer simulierten Bewertungsumgebung – und ist keine unabhängige Bestätigung von Sicherheit oder Leistungsfähigkeit im realen Straßenverkehr.

Was das für BYDs KI-Strategie bedeutet

Die Arbeit ist dem Automotive New Technology Research Institute von BYD zugeordnet und liefert einen öffentlichen Hinweis auf eigene Forschung an Foundation Models für das autonome Fahren. 1 Berichte über Verbindungen des Teams zur Robotik-Kompetenz des Harbin Institute of Technology sind interessant; die verfügbaren Primärquellen reichen jedoch nicht aus, um den akademischen Hintergrund aller Beteiligten zu belegen. 5

Gegenüber Wettbewerbern wie NIO, XPeng und Li Auto verschafft HyWorldVLA BYD vor allem eine öffentlich messbare Forschungsleistung im Bereich VLA und Weltmodellierung. Das belegt Forschungskompetenz – nicht aber bereits einen nachgewiesenen Vorsprung beim autonomen Fahren auf realen Straßen.

BYDs Größe in der Fahrzeugproduktion könnte ein Vorteil werden, falls das Unternehmen das Forschungsergebnis in ein sicheres, validiertes und effizient ausgerolltes Produkt überführt. Der entscheidende nächste Test ist daher nicht nur ein weiterer Benchmark, sondern der belastbare Übergang von Modell und Simulation in den Straßenbetrieb.