Qwen-Drive-1.0-4B: VLM Pemanduan Modular Terbuka daripada Alibaba

Qwen-Drive-1.0-4B ialah model visi-bahasa (VLM) berwajaran terbuka daripada pasukan Qwen Alibaba, dibangunkan bersama Huazhong University of Science and Technology untuk penyelidikan pemanduan autonomi. Berbanding melatih semula Qwen3.5-4B menjadi sistem pemanduan hujung ke hujung yang sukar diperiksa, projek ini mengekalkan tulang belakang multimodal tersebut dan menambah modul luaran bagi persepsi bird’s-eye view (BEV) serta perancangan gerakan. Pemberat dan perisian iringan dikeluarkan di bawah lesen Apache 2.0. 101115

Satu VLM dikongsi, dua modul pemanduan boleh dipasang

Model Qwen3.5-4B yang dikongsi mengendalikan imej dan bahasa. Ia boleh menjawab soalan visual, termasuk soalan tentang situasi pemanduan, sambil menyediakan representasi kepada komponen pemanduan tambahan. Matlamat reka bentuk yang dinyatakan Qwen ialah menambah keupayaan pemanduan tanpa menggantikan seni bina multimodal am model asas. 1011

Dua modul luaran meluaskan keupayaannya:

• Kepala persepsi BEV: Kepala berasaskan gaya BEVFormer memproses representasi daripada kamera sekeliling dan menghasilkan pengesanan 3D, ramalan penghunian semantik, serta segmentasi peta BEV. Dokumentasi menyatakan sehingga 300 kotak 3D merentas tujuh kelas, grid penghunian 200 × 200 × 16 bagi 10 kelas, dan raster peta 60 m × 30 m pada resolusi 0.15 m bagi enam kelas. 18
• Planning Expert: Modul berasingan ini menjana trajektori masa depan kenderaan sendiri (ego vehicle) daripada representasi yang dikongsi. Trajektori diseragamkan kepada 50 pose dalam kerangka kenderaan—kedudukan dan hala tuju—pada 10 Hz untuk tempoh lima saat. Dengan itu, set data pemanduan awam yang berbeza boleh menggunakan sasaran perancangan yang sama. 111

Pembahagian ini berguna untuk kerja penyelidikan. Pasukan boleh menguji persepsi dan perancangan secara berasingan, membandingkan perancangan terus dengan perancangan yang dipandu penaakulan bahasa, atau menukar dan menjalankan ablasi pada modul tanpa mengubah VLM teras.

Perbezaan planner-sft dan planner-rl

Qwen menyediakan dua varian perancangan yang menggunakan tulang belakang sama:

• planner-sft ialah Planning Expert yang dilatih secara terselia atau imitasi. Ia boleh menjana trajektori secara langsung, atau selepas model menghasilkan rasional dalam bentuk teks. 117
• planner-rl pula dioptimumkan lanjut melalui latihan berasaskan ganjaran terhadap objektif penanda aras. Dokumentasi projek mengesyorkan mod perancangan berasaskan penaakulan kerana pelaksanaan pengoptimumannya dikondisikan pada penaakulan yang disampel. 117

Perbezaan itu menerangkan satu pertukaran penting dalam penilaian. Pengoptimuman ganjaran boleh meningkatkan skor penjajaran keutamaan atau metrik berorientasikan gelung tertutup pseudo, tetapi sedikit memburukkan ralat sesaran gelung terbuka berbanding trajektori manusia yang direkodkan. Kedua-dua ukuran itu menjawab soalan berbeza; ralat trajektori lebih rendah tidak semestinya bermaksud skor keutamaan atau gelung tertutup lebih baik. 1

Tiga cara menjalankan model

Dokumentasi awam menerangkan tiga mod inferens: 17

Mod	Komponen yang berjalan	Output
VQA	VLM sahaja	Jawapan teks
DIRECT_PLANNING	Satu laluan VLM, kemudian Planning Expert	Trajektori
REASONING_PLANNING	VLM menghasilkan rasional, kemudian pakar menggunakan konteks itu	Penaakulan dan trajektori

Ketiga-tiganya menggunakan rangkaian asas yang sama. Perbezaannya ialah sama ada rasional dijana, dan sama ada perancang menerima representasi yang turut mengandungi konteks teks terjana itu. 17

Latihan berperingkat dan anotasi disatukan

Qwen menerangkan strategi latihan berperingkat yang menggabungkan penyeliaan persepsi 3D khusus pemanduan, VQA pemanduan dan perancangan dengan data visi-bahasa kegunaan umum. Saluran datanya memetakan label persepsi yang tidak seragam kepada taksonomi bersama, menyemak semula jawapan VQA pemanduan agar konsisten, dan menukar trajektori daripada set data awam kepada format titik laluan yang sama. 111

Pendekatan ini bertujuan mengimbangi pengkhususan dengan pengekalan keupayaan asal: model sepatutnya memperoleh pemahaman situasi pemanduan dan kebolehan merancang tanpa mengorbankan kebolehan imej-bahasa umum VLM asas. Bahan yang tersedia menyokong bahawa perkara ini ialah matlamat reka bentuk dan penilaian, tetapi tidak membuktikan prestasi bebas yang menyeluruh bagi semua penanda aras pengetahuan umum atau ruang. 111

Apa yang ditunjukkan oleh keputusan—dan apa yang belum dibuktikan

Keputusan perancangan yang dilaporkan Qwen menunjukkan skor NAVSIM v1.1 PDMS lebih tinggi untuk perancang RL berbanding SFT: 90.7 berbanding 88.2. Dengan pensampelan terbaik daripada enam percubaan, skornya meningkat kepada 91.4 dan 89.3. Projek itu turut melaporkan nilai RFS hujung ke hujung Waymo Open Dataset sebanyak 7.91 untuk RL dan 7.78 untuk SFT. Dalam penilaian gelung terbuka NVIDIA PhysicalAI, minADE tiga saat dilaporkan 0.38 m untuk RL dan 0.34 m untuk SFT. 1

Repositori itu juga melaporkan peningkatan VQA pemanduan berbanding garis asas Qwen3.5-4B yang disenaraikan pada beberapa penanda aras berorientasikan pemanduan, termasuk LingoQA, VLAD, SURDS, WaymoQA dan ukuran gaya DriveLM. 1

Namun, ini ialah keputusan penanda aras yang dilaporkan oleh projek, bukannya pensijilan bebas bahawa sistem ini selamat atau sedia digunakan di jalan raya. Skor perancangan, kesamaan gelung terbuka dengan trajektori yang direkodkan, metrik keutamaan dan pengesahan keselamatan dunia sebenar ialah tuntutan yang berlainan. Qwen sendiri meletakkan keluaran ini sebagai langkah awal berorientasikan penyelidikan, bukan sistem pemanduan autonomi untuk pengeluaran. 511

Bahan yang boleh diakses pembangun

Repositori model Hugging Face menempatkan pemberat dan konfigurasi Qwen-Drive-1.0-4B, serta mengarahkan pengguna ke repositori awam QwenLM/Qwen-Drive-1.0 untuk pangkalan kod, data demo dan dokumentasi. 1012

Melalui bahan modular itu, pembangun boleh:

• menjalankan VQA imej-teks dan VQA situasi pemanduan;
• menjalankan demo pemanduan yang dibekalkan;
• menjana trajektori melalui perancangan terus atau perancangan berkondisi penaakulan;
• memeriksa output persepsi BEV;
• menggunakan format situasi dan penilaian yang dikeluarkan; dan
• mencuba set data awam serta input situasi tersuai. 111718

Keluaran ini tidak dengan sendirinya membolehkan semua bahagian latihan dihasilkan semula. Korpus latihan, anotasi, label keutamaan dan data proprietari yang tidak dikeluarkan tidak boleh dibina semula hanya daripada pemberat dan kod awam. 15

Mengapa reka bentuk modular ini penting

Nilai utama Qwen-Drive-1.0-4B ialah sebagai platform penyelidikan yang menjadikan sempadan antara pemahaman bahasa-dan-visi, persepsi 3D dan perancangan lebih jelas. Ini boleh menjadikan eksperimen ablasi lebih bermakna: penyelidik boleh mengasingkan sama ada perubahan meningkatkan representasi situasi, penjanaan trajektori, penaakulan bahasa atau objektif ganjaran khusus penanda aras.

Projek ini juga membuka ruang untuk kepala pengganti, pembinaan situasi tersuai serta susun atur kamera atau sensor alternatif. Jadi, sumbangan utamanya bukan dakwaan bahawa model 4B telah menyelesaikan pemanduan autonomi, tetapi titik permulaan terbuka untuk menguji cara VLM bersama boleh menyokong komponen pemanduan yang lebih mudah diperiksa. 1118