Qwen-Drive-1.0-4B: il modello aperto di Alibaba che separa percezione e pianificazione

Qwen-Drive-1.0-4B è il modello vision-language a pesi aperti di Alibaba Qwen dedicato alla ricerca sulla guida autonoma, sviluppato insieme alla Huazhong University of Science and Technology. Invece di trasformare Qwen3.5-4B in uno stack di guida end-to-end opaco, il progetto conserva il backbone multimodale e collega moduli esterni per la percezione in vista dall’alto (bird’s-eye view, BEV) e per la pianificazione del movimento. Pesi e software sono rilasciati con licenza Apache 2.0. 101115

Un backbone condiviso, due moduli per la guida

Il modello condiviso Qwen3.5-4B elabora immagini e linguaggio. Può rispondere a domande visive, comprese quelle su una scena stradale, e fornisce le rappresentazioni utilizzate dai componenti aggiuntivi. L’obiettivo dichiarato è acquisire capacità di guida senza sostituire l’architettura multimodale generale del modello di base. 1011

I due moduli esterni sono:

• Testa di percezione BEV: una testa in stile BEVFormer elabora le rappresentazioni delle telecamere che coprono l’intero perimetro del veicolo e produce rilevamento 3D, occupazione semantica e segmentazione della mappa BEV. La documentazione indica fino a 300 bounding box 3D in sette classi unificate, una griglia di occupazione di 200 × 200 × 16 su dieci classi e una mappa raster di 60 m × 30 m, con risoluzione di 0,15 m, su sei classi. 18
• Planning Expert: un modulo separato genera le traiettorie future del veicolo ego, cioè dell’auto su cui gira il sistema, a partire dalle rappresentazioni condivise. Le traiettorie sono standardizzate in 50 pose nel sistema di riferimento del veicolo — posizione e orientamento — campionate a 10 Hz per cinque secondi: un formato comune per dati provenienti da dataset pubblici diversi. 111

Per la ricerca, questa separazione è centrale: permette di analizzare percezione e pianificazione distintamente, confrontare una pianificazione diretta con una mediata dal ragionamento linguistico oppure sostituire e sottoporre ad ablation study i singoli moduli senza modificare il VLM di base.

planner-sft e planner-rl: cosa cambia

Qwen pubblica due varianti del pianificatore, entrambe basate sul medesimo backbone:

• planner-sft è il Planning Expert addestrato con supervisione, o imitazione di esempi di guida. Può produrre traiettorie direttamente oppure dopo che il modello ha generato una spiegazione testuale del proprio ragionamento. 117
• planner-rl riceve un’ulteriore ottimizzazione basata su ricompense, mirata a obiettivi di benchmark. La documentazione raccomanda di usarlo nella pianificazione condizionata da ragionamento, poiché i rollout di ottimizzazione erano condizionati su ragionamenti campionati. 117

La differenza chiarisce un compromesso importante nelle valutazioni. L’ottimizzazione tramite ricompensa può migliorare metriche di allineamento alle preferenze o punteggi orientati a un ciclo chiuso simulato, peggiorando leggermente l’errore di spostamento in valutazione open-loop rispetto a una traiettoria umana registrata. Sono misure che rispondono a domande diverse: un errore di traiettoria più basso non equivale automaticamente a un migliore punteggio di preferenza o di ciclo chiuso. 1

Tre modalità di inferenza

Il cookbook pubblico descrive tre modalità operative: 17

Modalità	Componenti eseguiti	Output
VQA	Solo VLM	Risposta testuale
DIRECT_PLANNING	Un passaggio del VLM, poi il Planning Expert	Traiettorie
REASONING_PLANNING	Il VLM formula prima un ragionamento, poi l’esperto usa quel contesto	Ragionamento e traiettorie

La rete sottostante resta la stessa; a cambiare è se viene prodotto un ragionamento e se il pianificatore riceve rappresentazioni che incorporano quel contesto generato. 17

Addestramento a fasi e annotazioni unificate

Qwen descrive un addestramento in più fasi che combina supervisione per percezione 3D, VQA per la guida e pianificazione con dati vision-language di uso generale. La pipeline riconduce etichette percettive eterogenee a una tassonomia condivisa, rivede le risposte di driving-VQA per renderle coerenti e converte le traiettorie dei dataset pubblici nel formato comune di waypoint. 111

L’intento è bilanciare specializzazione e conservazione delle capacità: il modello dovrebbe comprendere scene di guida e pianificare movimenti senza perdere semplicemente le abilità generali immagine-linguaggio di Qwen3.5-4B. I materiali disponibili confermano che questo era un obiettivo di progettazione e valutazione, ma non dimostrano da soli prestazioni indipendenti e complete su tutti i benchmark di conoscenza generale o spaziali. 111

Risultati dichiarati: come interpretarli

Nei risultati di pianificazione riportati da Qwen, il pianificatore RL ottiene un PDMS di 90,7 su NAVSIM v1.1, contro 88,2 per SFT; con campionamento best-of-six, i valori salgono rispettivamente a 91,4 e 89,3. Sul test end-to-end del Waymo Open Dataset, il progetto riporta valori RFS pari a 7,91 per RL e 7,78 per SFT. Nella valutazione open-loop NVIDIA PhysicalAI, il minADE a tre secondi è 0,38 m per RL e 0,34 m per SFT. 1

Il repository segnala inoltre miglioramenti nel driving-VQA rispetto a una baseline Qwen3.5-4B elencata, su vari benchmark dedicati alla guida, tra cui LingoQA, VLAD, SURDS, WaymoQA e misure in stile DriveLM. 1

Si tratta però di risultati dichiarati dal progetto, non di una certificazione indipendente di sicurezza o idoneità all’impiego su strada. Punteggi di pianificazione, somiglianza open-loop con traiettorie registrate, metriche basate sulle preferenze e validazione della sicurezza nel mondo reale sono affermazioni distinte. La stessa Qwen presenta il rilascio come un primo passo orientato alla ricerca, non come un sistema di guida autonoma pronto per la produzione. 511

Cosa possono scaricare e testare gli sviluppatori

Il repository Hugging Face ospita pesi e configurazioni di Qwen-Drive-1.0-4B e rimanda al repository pubblico QwenLM/Qwen-Drive-1.0 per codice, dati demo e documentazione. 1012

Il progetto GitHub include strumenti modulari per inferenza e valutazione. In pratica, gli sviluppatori possono:

• eseguire VQA su immagini e scene di guida;
• provare le demo di guida fornite;
• generare traiettorie con pianificazione diretta o condizionata dal ragionamento;
• ispezionare gli output della percezione BEV;
• lavorare con i formati di scena e valutazione distribuiti; e
• sperimentare con dataset pubblici e input di scena personalizzati. 111718

Il rilascio non consente però di ricostruire ogni elemento dell’addestramento. Corpus non pubblicati, annotazioni, etichette di preferenza e dati proprietari restano fuori da ciò che può essere riprodotto usando soltanto pesi e codice disponibili pubblicamente. 15

Perché la modularità conta

Il valore principale di Qwen-Drive-1.0-4B è quello di piattaforma di ricerca: rende espliciti i confini tra comprensione visivo-linguistica, percezione 3D e pianificazione. Di conseguenza, gli esperimenti possono stabilire meglio se un cambiamento migliora la rappresentazione della scena, la generazione delle traiettorie, il ragionamento linguistico o semplicemente un obiettivo di ricompensa specifico di un benchmark.

Il progetto lascia inoltre spazio a estensioni: sostituzione delle teste, costruzione di scene personalizzate e configurazioni alternative di telecamere o sensori. Non sostiene che un modello da 4 miliardi di parametri risolva la guida autonoma; propone piuttosto una base aperta per verificare in che modo un VLM condiviso possa supportare componenti di guida più ispezionabili. 1118