Qwen-Drive-1.0-4B: Ein modulares Vision-Language-Modell für die Fahrforschung

Qwen-Drive-1.0-4B ist ein offenes Vision-Language-Modell (VLM) für die Forschung zum automatisierten Fahren. Entwickelt wurde es vom Qwen-Team von Alibaba gemeinsam mit der Huazhong University of Science and Technology. Statt das zugrunde liegende Modell Qwen3.5-4B zu einem schwer zerlegbaren End-to-End-Fahrsystem umzubauen, behält das Projekt dessen multimodales Backbone bei und ergänzt es um externe Module für Vogelperspektiven-Wahrnehmung (BEV, bird’s-eye view) und Bewegungsplanung. Gewichte und begleitende Software sind unter Apache 2.0 veröffentlicht. 101115

Ein gemeinsames VLM, zwei ergänzende Fahrmodule

Das gemeinsame Qwen3.5-4B verarbeitet Bilder und Sprache. Es kann visuelle Fragen beantworten – auch zu Verkehrsszenen – und liefert zugleich die Repräsentationen für die zusätzlichen Fahrmodule. Nach Angaben von Qwen soll die Fahrkompetenz ergänzt werden, ohne die allgemeine multimodale Architektur des Basismodells zu ersetzen. 1011

Daran sind zwei externe Komponenten angekoppelt:

• BEV-Wahrnehmungskopf: Ein Kopf nach dem BEVFormer-Prinzip verarbeitet Repräsentationen der Rundumkameras. Er erzeugt 3D-Objekterkennung, semantische Belegungsprognosen und segmentierte Karten in der Draufsicht. Laut veröffentlichter Dokumentation sind bis zu 300 3D-Boxen für sieben vereinheitlichte Klassen, ein Belegungsgitter mit 200 × 200 × 16 Zellen für zehn Klassen sowie ein Kartenraster von 60 m × 30 m bei 0,15 m Auflösung für sechs Klassen vorgesehen. 18
• Planning Expert: Ein separates Modul berechnet aus den gemeinsamen Repräsentationen künftige Trajektorien des eigenen Fahrzeugs. Dafür standardisiert das Projekt Trajektorien auf 50 Posen im Fahrzeugkoordinatensystem – Position und Orientierung – mit 10 Hz über fünf Sekunden. Unterschiedliche öffentliche Fahrdatensätze erhalten so ein gemeinsames Planungsziel. 111

Für die Forschung ist diese Trennung zentral: Teams können Wahrnehmung und Planung getrennt untersuchen, direkte Planung mit sprachgestützter Planung vergleichen oder einzelne Module austauschen und ablationieren, ohne das VLM-Backbone zu verändern.

planner-sft und planner-rl: Zwei Varianten der Planung

Qwen veröffentlicht zwei Planungsvarianten auf Basis desselben Backbones:

• planner-sft ist der überwacht beziehungsweise über Imitation trainierte Planning Expert. Er kann Trajektorien unmittelbar erzeugen oder erst nachdem das Modell eine textliche Begründung formuliert hat. 117
• planner-rl wurde zusätzlich mit belohnungsbasierter Optimierung auf benchmarkorientierte Ziele trainiert. Die Dokumentation empfiehlt ihn für die begründungsbasierte Planung, weil die Optimierungs-Rollouts auf zuvor erzeugten Begründungen beruhten. 117

Das erklärt einen wichtigen Zielkonflikt in der Auswertung: Belohnungsoptimierung kann Präferenz- oder pseudo-Closed-Loop-Werte verbessern, während der offene Trajektorienfehler gegenüber einer aufgezeichneten menschlichen Fahrt leicht steigt. Diese Kennzahlen messen Verschiedenes. Ein kleinerer Positionsfehler bedeutet nicht automatisch einen besseren Präferenz- oder Closed-Loop-Wert. 1

Drei Arten, das Modell auszuführen

Das öffentliche Cookbook dokumentiert drei Inferenzmodi: 17

Modus	Ausgeführte Komponenten	Ergebnis
VQA	Nur das VLM	Textantwort
DIRECT_PLANNING	Ein VLM-Durchlauf, anschließend der Planning Expert	Trajektorien
REASONING_PLANNING	Das VLM erzeugt erst eine Begründung; der Expert nutzt diesen Kontext	Begründung und Trajektorien

Alle Modi verwenden dasselbe zugrunde liegende Netzwerk. Sie unterscheiden sich darin, ob eine Begründung generiert wird und ob der Planer Repräsentationen erhält, die diesen erzeugten Kontext einschließen. 17

Training mit vereinheitlichten Annotationen

Qwen beschreibt ein mehrstufiges Training, das fahrzeugspezifische 3D-Wahrnehmung, Driving-VQA und Planungssupervision mit allgemeinen Bild-Sprach-Daten verbindet. In der Datenpipeline werden heterogene Wahrnehmungslabels auf eine gemeinsame Taxonomie abgebildet, Antworten für Driving-VQA vereinheitlicht und Trajektorien aus öffentlichen Datensätzen in das gemeinsame Wegpunktformat überführt. 111

Der Ansatz soll Spezialisierung und Erhalt allgemeiner Fähigkeiten austarieren: Das Modell soll Verkehrsszenen und Planung besser verstehen, ohne seine allgemeinen Bild-Sprach-Fähigkeiten einfach einzubüßen. Die verfügbaren Unterlagen belegen dieses Ziel im Design und in der Evaluation, reichen jedoch nicht aus, um eine umfassende unabhängige Leistung über sämtliche Allgemeinwissens- oder räumlichen Benchmarks zu bestätigen. 111

Was die gemeldeten Ergebnisse aussagen – und was nicht

Bei der Planung meldet Qwen für den RL-Planer einen höheren NAVSIM-v1.1-PDMS-Wert als für den SFT-Planer: 90,7 gegenüber 88,2. Mit Best-of-six-Sampling steigen die Werte auf 91,4 beziehungsweise 89,3. Für den Waymo Open Dataset nennt das Projekt End-to-End-RFS-Werte von 7,91 für RL und 7,78 für SFT. In der Open-Loop-Auswertung von NVIDIA PhysicalAI liegt die Drei-Sekunden-minADE bei 0,38 m für RL und 0,34 m für SFT. 1

Das Repository berichtet zudem gegenüber einer aufgeführten Qwen3.5-4B-Baseline Verbesserungen bei mehreren fahrspezifischen VQA-Benchmarks, darunter LingoQA, VLAD, SURDS, WaymoQA und DriveLM-ähnliche Messgrößen. 1

Diese Werte sind vom Projekt selbst gemeldete Benchmarkergebnisse – keine unabhängige Zertifizierung von Sicherheit oder Einsatzreife. Planungswerte, Ähnlichkeit zu protokollierten menschlichen Trajektorien im Open Loop, präferenzbasierte Kennzahlen und die Validierung realer Fahrsicherheit sind unterschiedliche Aussagen. Qwen selbst bezeichnet die Veröffentlichung als ersten, forschungsorientierten Schritt und nicht als produktionsreifes System für autonomes Fahren. 511

Was Entwicklerinnen und Entwickler erhalten

Das Modell-Repository bei Hugging Face stellt Gewichte und Konfigurationen von Qwen-Drive-1.0-4B bereit und verweist für Codebasis, Demodaten und Dokumentation auf das öffentliche GitHub-Repository QwenLM/Qwen-Drive-1.0. 1012

Dort finden sich modulare Materialien für Inferenz und Evaluation. Mit der Veröffentlichung lassen sich unter anderem:

• Bild-Text- und Verkehrsszenen-VQA ausführen,
• bereitgestellte Fahrdemos starten,
• Trajektorien per direkter oder begründungsbasierter Planung erzeugen,
• BEV-Wahrnehmungsausgaben untersuchen,
• veröffentlichte Szenen- und Evaluierungsformate nutzen sowie
• mit öffentlichen Datensätzen und eigenen Szeneneingaben experimentieren. 111718

Nicht vollständig reproduzierbar ist damit jedoch das Training selbst: Nicht veröffentlichte Trainingskorpora, Annotationen, Präferenzlabels und proprietäre Daten lassen sich nicht allein aus öffentlichen Gewichten und Code rekonstruieren. 15

Warum die modulare Veröffentlichung relevant ist

Als Forschungsplattform macht Qwen-Drive-1.0-4B die Grenzen zwischen Bild-Sprach-Verständnis, 3D-Wahrnehmung und Planung sichtbar. Das kann Ablationsstudien aussagekräftiger machen: Forschende können genauer prüfen, ob eine Änderung die Szenenrepräsentation, die Trajektorienerzeugung, das sprachliche Schlussfolgern oder lediglich ein benchmarkspezifisches Belohnungsziel verbessert.

Zugleich ist die Architektur für Erweiterungen offen, etwa für alternative Köpfe, selbst erstellte Szenen oder andere Kamera- und Sensorkonfigurationen. Der zentrale Wert der Veröffentlichung liegt daher weniger in der Behauptung, ein Modell mit 4 Milliarden Parametern löse das autonome Fahren, sondern in einem offenen Ausgangspunkt zur Untersuchung, wie ein gemeinsames VLM nachvollziehbare Fahrmodule unterstützen kann. 1118