JawabanDipublikasikan18 sumber
Qwen-Drive-1.0-4B: VLM Mengemudi Modular Terbuka dari Alibaba
Qwen Drive 1.0 4B adalah model vision language untuk riset mengemudi otonom berbasis Qwen3.5 4B, dengan bobot terbuka berlisensi Apache 2.0. Model ini memisahkan kepala persepsi BEV dan Planning Expert dari backbone VLM bersama; tersedia mode VQA, perencanaan langsung, serta perencanaan berbasis penalaran.
Diterbitkan olehDiedit dengan GPT-5.6 TerraGambar dibuat dengan GPT Image 2
Jawaban penelitian
Poin-poin penting
- Qwen Drive 1.0 4B adalah model vision language untuk riset mengemudi otonom berbasis Qwen3.5 4B, dengan bobot terbuka berlisensi Apache 2.0.
- Model ini memisahkan kepala persepsi BEV dan Planning Expert dari backbone VLM bersama; tersedia mode VQA, perencanaan langsung, serta perencanaan berbasis penalaran.
- Bobot tersedia di Hugging Face, sedangkan kode inferensi, data demo, dokumentasi, dan alat evaluasi tersedia di GitHub.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba Qwen’s Qwen-Drive-1.0-4B, released on September 8, 2026, and how does its Apache 2.0 open-source design combine the unchange. Article summary: Qwen-Drive-1.0-4B is Qwen’s Apache-2.0 open-weight, 4B-parameter vision-language driving model, developed with Huazhong University of Science and Technology. It keeps Qwen3.5-4B’s multimodal VLM architecture intact and a. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Qwen-Drive-1.0-4B adalah model vision-language (VLM) berbobot terbuka dari tim Qwen Alibaba untuk riset mengemudi otonom, yang dikembangkan bersama Huazhong University of Science and Technology. Alih-alih mengubah Qwen3.5-4B menjadi sistem mengemudi ujung ke ujung yang sulit diurai, proyek ini mempertahankan backbone multimodal tersebut lalu menambahkan modul eksternal untuk persepsi bird’s-eye-view (BEV) dan perencanaan gerak. Bobot serta perangkat lunaknya dirilis dengan lisensi Apache 2.0. 10
11
15
Satu VLM bersama, dua modul mengemudi yang dapat dipasang
Model Qwen3.5-4B menjadi inti yang memproses gambar dan bahasa. Model ini dapat menjawab pertanyaan visual, termasuk pertanyaan tentang situasi lalu lintas, sekaligus menghasilkan representasi yang dipakai komponen mengemudi tambahan. Sasaran desain Qwen adalah menambah kemampuan mengemudi tanpa mengganti arsitektur multimodal umum dari model dasarnya. 10
11
Dua modul eksternal melengkapinya:
- Kepala persepsi BEV: Kepala bergaya BEVFormer memproses representasi dari kamera-kamera di sekeliling kendaraan. Keluaran meliputi deteksi 3D, okupansi semantik, dan segmentasi peta dalam tampilan dari atas. Dokumentasi menyebut kapasitas hingga 300 kotak 3D dalam tujuh kelas terpadu, grid okupansi 200 × 200 × 16 untuk 10 kelas, serta raster peta 60 m × 30 m dengan resolusi 0,15 m untuk enam kelas.
18
- Planning Expert: Modul terpisah ini menghasilkan lintasan masa depan kendaraan ego dari representasi bersama tadi. Lintasan distandardisasi menjadi 50 pose pada kerangka kendaraan ego—posisi dan arah hadap—dengan frekuensi 10 Hz selama lima detik. Dengan begitu, dataset mengemudi publik yang beragam dapat memakai target perencanaan yang seragam.
1
Pemisahan ini penting untuk riset. Tim dapat menguji persepsi secara terpisah dari perencanaan, membandingkan perencanaan langsung dengan perencanaan yang melibatkan penalaran bahasa, atau menukar dan menguji dampak setiap modul tanpa mengubah VLM intinya.
Perbedaan planner-sft dan planner-rl
Qwen merilis dua varian perencanaan yang berbagi backbone sama:
planner-sftadalah Planning Expert yang dilatih secara supervised atau imitasi. Model ini dapat membuat lintasan secara langsung, atau setelah menghasilkan alasan tekstual.planner-rlmelanjutkan optimasi dengan pelatihan berbasis reward terhadap target yang berorientasi benchmark. Dokumentasi proyek menyarankan penggunaannya pada perencanaan yang dikondisikan oleh penalaran, karena rollout optimasinya dikondisikan pada penalaran yang dihasilkan melalui sampling.
Pembedaan ini menjelaskan satu kompromi evaluasi yang penting. Optimasi reward dapat meningkatkan skor keselarasan preferensi atau metrik yang berorientasi pseudo-closed-loop, tetapi sedikit memperburuk galat perpindahan open-loop terhadap lintasan manusia yang direkam. Metrik-metrik tersebut menjawab pertanyaan berbeda: galat lintasan lebih rendah tidak otomatis berarti skor preferensi atau closed-loop lebih baik. 1
Tiga cara menjalankan model
Cookbook publik Qwen mendokumentasikan tiga mode inferensi: 17
| Mode | Yang dijalankan | Keluaran |
|---|---|---|
VQA |
Hanya VLM | Jawaban teks |
DIRECT_PLANNING |
Satu kali proses VLM, lalu Planning Expert | Lintasan |
REASONING_PLANNING |
VLM menghasilkan penalaran, lalu expert memakai konteks tersebut | Penalaran dan lintasan |
Ketiganya memakai jaringan dasar yang sama. Perbedaannya terletak pada ada-tidaknya penalaran yang dibuat dan apakah planner menerima representasi yang mencakup konteks hasil generasi tersebut. 17
Pelatihan bertahap dan anotasi terpadu
Qwen menjelaskan strategi pelatihan bertahap yang menggabungkan supervisi persepsi 3D khusus mengemudi, VQA mengemudi, dan perencanaan dengan data vision-language serbaguna. Pipeline-nya memetakan label persepsi yang beragam ke taksonomi bersama, memperbaiki jawaban driving-VQA agar konsisten, serta mengonversi lintasan dari dataset publik menjadi format waypoint yang seragam. 1
11
Pendekatan ini ditujukan untuk menjaga keseimbangan antara spesialisasi dan retensi kemampuan: model diharapkan memahami adegan mengemudi serta mampu merencanakan gerak tanpa mengorbankan begitu saja kemampuan umum gambar-bahasa dari VLM dasar. Materi yang tersedia menunjukkan bahwa hal tersebut menjadi tujuan desain dan evaluasi, tetapi belum cukup untuk membuktikan performa independen yang menyeluruh di seluruh benchmark pengetahuan umum maupun spasial. 1
11
Arti hasil yang dilaporkan—dan batasannya
Untuk perencanaan, Qwen melaporkan PDMS NAVSIM v1.1 yang lebih tinggi pada planner RL dibandingkan SFT: 90,7 versus 88,2. Dengan sampling terbaik dari enam percobaan, angkanya menjadi 91,4 dan 89,3. Pada Waymo Open Dataset, proyek ini melaporkan nilai RFS end-to-end 7,91 untuk RL dan 7,78 untuk SFT. Sementara pada evaluasi open-loop NVIDIA PhysicalAI, minADE tiga detik yang dilaporkan adalah 0,38 m untuk RL dan 0,34 m untuk SFT. 1
Repositori tersebut juga melaporkan peningkatan driving-VQA dibandingkan baseline Qwen3.5-4B yang tercantum pada beberapa benchmark berorientasi mengemudi, termasuk LingoQA, VLAD, SURDS, WaymoQA, dan metrik bergaya DriveLM. 1
Namun, ini adalah hasil benchmark yang dilaporkan proyek, bukan sertifikasi independen mengenai keselamatan atau kesiapan implementasi. Skor perencanaan, kemiripan open-loop dengan lintasan yang tercatat, metrik berbasis preferensi, dan validasi keselamatan di dunia nyata merupakan klaim yang berbeda. Qwen sendiri memosisikan rilis ini sebagai langkah awal untuk riset, bukan sistem kendaraan otonom siap produksi. 5
11
Yang dapat diakses pengembang
Repositori model di Hugging Face menyediakan bobot dan konfigurasi Qwen-Drive-1.0-4B, serta mengarahkan pengguna ke repositori publik QwenLM/Qwen-Drive-1.0 untuk kode, data demo, dan dokumentasi. 10
12
Proyek GitHub tersebut memuat materi inferensi dan evaluasi yang modular. Pengembang dapat menggunakan rilis ini untuk:
- menjalankan VQA gambar-teks dan VQA adegan mengemudi;
- menjalankan demo mengemudi yang disediakan;
- menghasilkan lintasan melalui perencanaan langsung atau perencanaan berbasis penalaran;
- memeriksa keluaran persepsi BEV;
- bekerja dengan format adegan dan evaluasi yang dirilis; serta
- bereksperimen memakai dataset publik maupun masukan adegan kustom.
Rilis ini tidak serta-merta memungkinkan reproduksi penuh seluruh pelatihannya. Korpus pelatihan, anotasi, label preferensi, dan data proprietari yang tidak dirilis tetap tidak dapat direkonstruksi hanya dari bobot dan kode publik. 1
5
Mengapa desain modularnya menarik
Nilai terbesar Qwen-Drive-1.0-4B ada sebagai platform riset yang memperjelas batas antara pemahaman bahasa-dan-visual, persepsi 3D, serta perencanaan. Hal itu dapat membuat uji ablasi lebih informatif: peneliti dapat menilai apakah sebuah perubahan meningkatkan representasi adegan, generasi lintasan, penalaran bahasa, atau sekadar target reward yang spesifik untuk benchmark.
Proyek ini juga membuka ruang perluasan, misalnya mengganti kepala modul, menyusun adegan kustom, dan mencoba susunan kamera atau sensor alternatif. Jadi, maknanya bukan klaim bahwa model 4B telah menyelesaikan masalah mengemudi otonom, melainkan titik awal terbuka untuk menguji bagaimana VLM bersama dapat mendukung komponen mengemudi yang lebih mudah diperiksa. 11
18
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Qwen-Drive-1.0-4B: VLM Mengemudi Modular Terbuka dari Alibaba"?
Qwen Drive 1.0 4B adalah model vision language untuk riset mengemudi otonom berbasis Qwen3.5 4B, dengan bobot terbuka berlisensi Apache 2.0.
Apa poin penting yang harus divalidasi terlebih dahulu?
Qwen Drive 1.0 4B adalah model vision language untuk riset mengemudi otonom berbasis Qwen3.5 4B, dengan bobot terbuka berlisensi Apache 2.0. Model ini memisahkan kepala persepsi BEV dan Planning Expert dari backbone VLM bersama; tersedia mode VQA, perencanaan langsung, serta perencanaan berbasis penalaran.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Bobot tersedia di Hugging Face, sedangkan kode inferensi, data demo, dokumentasi, dan alat evaluasi tersedia di GitHub.