Qwen-Drive-1.0-4B 點樣用模組化設計做自動駕駛研究？

Qwen-Drive-1.0-4B 係阿里巴巴 Qwen 團隊聯同華中科技大學開發嘅開放權重自動駕駛視覺語言模型（VLM）。佢唔係將 Qwen3.5-4B 完全重訓成一個黑盒式端到端駕駛系統，而係保留原有嘅多模態骨幹，再外接鳥瞰圖（BEV）3D 感知同運動規劃模組。模型權重及相關軟件以 Apache 2.0 授權發布。 101115

對做研究嘅人嚟講，重點唔只係「個模型識唔識揸車」，而係感知、語言理解同規劃之間嘅分工變得可以獨立檢查、替換同做消融實驗。

一個共享 VLM，加兩個可插拔駕駛模組

共享骨幹係 Qwen3.5-4B，負責處理影像同語言，包括一般視覺問答以及駕駛場景問答；新增嘅駕駛能力則由外部模組承擔。Qwen 所述嘅設計方向，係喺唔取代基礎模型通用多模態架構嘅前提下，加上自動駕駛能力。 1011

兩個外接模組分別係：

• BEV 感知頭： 採用類似 BEVFormer 嘅設計，處理環視相機表徵，輸出 3D 目標偵測、語義佔用預測同 BEV 地圖分割。公開文件指，系統最多可輸出 300 個 3D 方框、涵蓋 7 個統一類別；亦可輸出涵蓋 10 個類別、大小為 200 × 200 × 16 嘅佔用網格，以及覆蓋 60 米 × 30 米、解析度 0.15 米、分 6 類嘅地圖柵格。 18
• Planning Expert（規劃專家）： 獨立模組會按共享表徵生成自車未來行車軌跡。項目將軌跡統一成 5 秒內、每秒 10 個時間點、合共 50 個自車座標系姿態——包括位置同朝向——令不同公開駕駛資料集可以使用同一規劃目標。 111

呢種拆法令研究人員可以分開測試感知同規劃，直接比較「直接規劃」與「經文字推理後規劃」，又或者更換其中一個模組，而毋須改動核心 VLM。

planner-sft 同 planner-rl 有咩分別？

Qwen 基於同一骨幹提供兩個規劃版本：

• planner-sft： 經監督式微調／模仿學習訓練嘅規劃專家，可直接產生軌跡，亦可以先由模型生成文字理據，再進行規劃。 117
• planner-rl： 在 SFT 基礎上，以獎勵導向訓練進一步針對基準目標優化嘅版本。文件建議配合「推理條件規劃」使用，因為其優化時嘅 rollout 是以抽樣推理內容作條件。 117

呢個分別亦解釋咗一個常見取捨：獎勵優化可能提高偏好對齊或偏向偽閉環評測嘅分數，但對照已記錄人類軌跡嘅開環位移誤差可能會輕微變差。兩類指標衡量緊唔同嘢；軌跡誤差較低，唔自動代表偏好分數或閉環表現更好。 1

三種推理模式

公開 cookbook 列出三種使用方式： 17

模式	運行內容	輸出
VQA	只運行 VLM	文字答案
DIRECT_PLANNING	VLM 運行一次，再交畀 Planning Expert	軌跡
REASONING_PLANNING	VLM 先產生理據，規劃專家再利用呢個脈絡	理據及軌跡

三種模式用嘅都係同一個底層網絡；分別在於會唔會產生理據，以及規劃器讀取嘅表徵有冇包含該段生成文字。 17

訓練：點樣兼顧駕駛專項與通用視覺語言能力？

Qwen 描述嘅係一套分階段訓練流程，將駕駛用 3D 感知、駕駛 VQA、規劃監督，同通用視覺語言資料一齊結合。資料流程包括：把不同資料集嘅感知標籤映射到共同分類法、修訂駕駛 VQA 答案以保持一致性，以及把公開資料集內嘅軌跡轉成統一 waypoint 格式。 111

目標係避免模型為咗專攻駕駛而犧牲原有嘅通用影像—語言能力。現有資料支持呢個係其設計及評估目標，但未足以獨立證實模型喺所有通識或空間推理基準上都有全面、穩定嘅表現。 111

公布成績講到咩？又未講到咩？

按 Qwen 項目公布嘅規劃結果，RL 規劃器喺 NAVSIM v1.1 嘅 PDMS 為 90.7，高過 SFT 版本嘅 88.2；採用 best-of-six 抽樣後，兩者分別為 91.4 及 89.3。Waymo Open Dataset 端到端評測方面，RL 與 SFT 嘅 RFS 分別為 7.91 及 7.78；NVIDIA PhysicalAI 開環評測嘅 3 秒 minADE，RL 為 0.38 米、SFT 為 0.34 米。 1

儲存庫亦報告，模型相對列出嘅 Qwen3.5-4B 基線，在多項駕駛 VQA 基準上有提升，包括 LingoQA、VLAD、SURDS、WaymoQA 及 DriveLM 風格指標。 1

不過，以上都係項目自行報告嘅基準結果，唔係獨立機構作出嘅安全認證，亦唔代表已經適合公開道路部署。規劃分數、同已記錄軌跡嘅開環相似度、偏好型指標，以及真實世界安全驗證，係不同層次嘅主張。Qwen 自己亦將呢個發布定位為初步、以研究為主嘅一步，而唔係量產自動駕駛系統。 511

開發者可以取得同做到啲乜？

Hugging Face 嘅模型庫提供 Qwen-Drive-1.0-4B 權重同設定，並指向公開嘅 QwenLM/Qwen-Drive-1.0 GitHub 儲存庫，取得程式碼、示範資料同文件。 1012

開發者可利用公開資源：

• 做影像文字問答及駕駛場景 VQA；
• 運行附帶嘅駕駛示範；
• 以直接規劃或推理條件規劃方式生成軌跡；
• 檢視 BEV 感知輸出；
• 使用已發布嘅場景及評測資料格式；
• 以公開資料集或自訂場景輸入做實驗。 111718

但公開權重與程式碼本身，並唔足以重現訓練嘅所有環節。未發布嘅訓練語料、標註、偏好標籤及專有資料，無法只靠現有公開內容完整重建。 15

點解模組化發布值得留意？

Qwen-Drive-1.0-4B 最有價值嘅定位，係一個將語言與視覺理解、3D 感知、行車規劃之間界線明確攤開嘅研究平台。做消融測試時，研究人員較容易分辨某項改動究竟改善咗場景表徵、軌跡生成、語言推理，定只係針對某個基準嘅獎勵目標。

同時，項目容許延伸，例如替換感知或規劃頭、自訂場景，以及探索不同相機或感測器配置。因此，佢唔係聲稱一個 40 億參數模型已經解決自動駕駛；更準確嘅理解，係提供一個開放起點，畀社群測試共享 VLM 如何支援較可檢視、可替換嘅駕駛模組。 1118