Câu trả lờiĐã xuất bản18 nguồn
Qwen-Drive-1.0-4B: VLM lái xe mã nguồn mở, thiết kế theo mô-đun của Alibaba
Qwen Drive 1.0 4B là mô hình thị giác ngôn ngữ 4 tỷ tham số, mã trọng số mở theo giấy phép Apache 2.0, được xây dựng trên Qwen3.5 4B. Hệ thống tách mô đun cảm nhận BEV 3D và mô đun lập kế hoạch khỏi backbone VLM, đồng thời cung cấp các chế độ VQA, lập kế hoạch trực tiếp và lập kế hoạch có điều kiện theo lập luận.
Đăng bởiBiên tập bằng GPT-5.6 TerraHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- Qwen Drive 1.0 4B là mô hình thị giác ngôn ngữ 4 tỷ tham số, mã trọng số mở theo giấy phép Apache 2.0, được xây dựng trên Qwen3.5 4B.
- Hệ thống tách mô đun cảm nhận BEV 3D và mô đun lập kế hoạch khỏi backbone VLM, đồng thời cung cấp các chế độ VQA, lập kế hoạch trực tiếp và lập kế hoạch có điều kiện theo lập luận.
- Trọng số có trên Hugging Face; mã suy luận, dữ liệu demo, tài liệu và công cụ đánh giá được công bố trên GitHub.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba Qwen’s Qwen-Drive-1.0-4B, released on September 8, 2026, and how does its Apache 2.0 open-source design combine the unchange. Article summary: Qwen-Drive-1.0-4B is Qwen’s Apache-2.0 open-weight, 4B-parameter vision-language driving model, developed with Huazhong University of Science and Technology. It keeps Qwen3.5-4B’s multimodal VLM architecture intact and a. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Qwen-Drive-1.0-4B là mô hình thị giác-ngôn ngữ (VLM) mã trọng số mở của Alibaba Qwen dành cho nghiên cứu xe tự hành, được phát triển cùng Đại học Khoa học và Công nghệ Hoa Trung. Thay vì huấn luyện lại Qwen3.5-4B thành một hệ thống lái xe đầu-cuối khó quan sát bên trong, dự án giữ lại backbone đa phương thức này và gắn thêm các mô-đun bên ngoài cho cảm nhận góc nhìn từ trên xuống (BEV) và lập kế hoạch chuyển động. Trọng số và phần mềm đi kèm được phát hành theo giấy phép Apache 2.0. 10
11
15
Một VLM dùng chung, hai mô-đun lái xe có thể tách rời
Qwen3.5-4B là phần xử lý ảnh và ngôn ngữ dùng chung. Mô hình có thể trả lời câu hỏi về hình ảnh, bao gồm câu hỏi về bối cảnh giao thông, đồng thời cung cấp biểu diễn cho các thành phần lái xe được gắn thêm. Theo Qwen, mục tiêu thiết kế là bổ sung năng lực lái xe mà không phải thay thế kiến trúc đa phương thức tổng quát của mô hình nền. 10
11
Hai mô-đun bên ngoài mở rộng backbone này:
- Đầu cảm nhận BEV: Đầu theo phong cách BEVFormer xử lý biểu diễn từ cụm camera xung quanh xe, rồi tạo đầu ra phát hiện 3D, dự đoán mức độ chiếm chỗ ngữ nghĩa và phân đoạn bản đồ BEV. Tài liệu công bố nêu khả năng xuất tối đa 300 hộp 3D thuộc bảy lớp thống nhất; lưới chiếm chỗ 200 × 200 × 16 cho 10 lớp; cùng raster bản đồ 60 m × 30 m, độ phân giải 0,15 m, cho sáu lớp.
18
- Planning Expert: Mô-đun riêng tạo quỹ đạo tương lai của xe chủ thể từ các biểu diễn dùng chung. Dự án chuẩn hóa quỹ đạo thành 50 tư thế trong hệ tọa độ của xe — vị trí và hướng xe — ở tần số 10 Hz trong 5 giây, để các bộ dữ liệu lái xe công khai khác nhau có thể dùng chung một đích lập kế hoạch.
1
Cách phân tách này hữu ích cho nghiên cứu: nhóm phát triển có thể khảo sát riêng cảm nhận và lập kế hoạch, so sánh lập kế hoạch trực tiếp với lập kế hoạch qua ngôn ngữ, hoặc thay thế và đánh giá loại trừ từng mô-đun mà không phải đổi lõi VLM.
Khác biệt giữa planner-sft và planner-rl
Qwen phát hành hai biến thể lập kế hoạch trên cùng một backbone:
planner-sftlà Planning Expert được tinh chỉnh có giám sát, hay huấn luyện bắt chước. Nó có thể sinh quỹ đạo trực tiếp hoặc sinh quỹ đạo sau khi mô hình đưa ra phần lập luận bằng văn bản.planner-rlđược tối ưu tiếp bằng huấn luyện dựa trên phần thưởng theo các mục tiêu hướng đến điểm chuẩn. Tài liệu dự án khuyến nghị dùng biến thể này trong chế độ lập kế hoạch có điều kiện theo lập luận, vì các lượt rollout tối ưu hóa của nó được điều kiện hóa bằng phần lập luận đã lấy mẫu.
Khác biệt này giúp lý giải một đánh đổi trong đánh giá. Tối ưu hóa phần thưởng có thể cải thiện các điểm về mức độ phù hợp với ưu tiên hoặc các mục tiêu giả lập vòng kín, nhưng hơi làm xấu đi sai số dịch chuyển vòng hở so với quỹ đạo con người đã ghi nhận. Đây là những thước đo cho các câu hỏi khác nhau: sai số quỹ đạo thấp hơn không mặc nhiên đồng nghĩa với điểm ưu tiên hoặc điểm vòng kín tốt hơn. 1
Ba cách chạy mô hình
Cookbook công khai mô tả ba chế độ suy luận: 17
| Chế độ | Thành phần chạy | Đầu ra |
|---|---|---|
VQA |
Chỉ VLM | Câu trả lời dạng văn bản |
DIRECT_PLANNING |
Một lượt VLM, sau đó là Planning Expert | Quỹ đạo |
REASONING_PLANNING |
VLM tạo phần lập luận, sau đó chuyên gia dùng ngữ cảnh đó | Lập luận và quỹ đạo |
Cả ba dùng cùng mạng nền; khác nhau ở việc có tạo phần lập luận hay không, và liệu bộ lập kế hoạch có nhận biểu diễn đã bao gồm ngữ cảnh được sinh ra đó hay không. 17
Huấn luyện theo giai đoạn và chuẩn hóa nhãn
Qwen mô tả chiến lược huấn luyện theo giai đoạn, kết hợp giám sát cảm nhận 3D chuyên cho lái xe, VQA về bối cảnh giao thông và lập kế hoạch với dữ liệu thị giác-ngôn ngữ đa dụng. Quy trình này ánh xạ nhãn cảm nhận không đồng nhất vào một hệ phân loại chung, chỉnh sửa câu trả lời VQA lái xe để nhất quán hơn, và chuyển quỹ đạo từ các bộ dữ liệu công khai sang định dạng waypoint chung. 1
11
Cách làm hướng tới cân bằng giữa chuyên môn hóa và duy trì năng lực nền: mô hình cần hiểu cảnh đường sá và lập kế hoạch tốt hơn nhưng không đơn thuần đánh đổi năng lực ảnh-ngôn ngữ tổng quát vốn có. Các tài liệu hiện có cho thấy đây là mục tiêu thiết kế và đánh giá, nhưng chưa tự chúng chứng minh hiệu năng độc lập, toàn diện trên mọi bài kiểm tra kiến thức tổng quát hoặc không gian. 1
11
Kết quả được báo cáo cho thấy gì — và chưa cho thấy gì
Theo số liệu do Qwen công bố, biến thể RL đạt điểm NAVSIM v1.1 PDMS cao hơn SFT: 90,7 so với 88,2; khi lấy mẫu tốt nhất trong sáu lượt, các điểm này lần lượt là 91,4 và 89,3. Dự án cũng báo cáo chỉ số RFS đầu-cuối trên Waymo Open Dataset là 7,91 cho RL và 7,78 cho SFT. Trong đánh giá vòng hở NVIDIA PhysicalAI, minADE trong ba giây là 0,38 m với RL và 0,34 m với SFT. 1
Kho mã nguồn cũng báo cáo các cải thiện VQA về lái xe so với baseline Qwen3.5-4B được liệt kê, trên một số benchmark định hướng giao thông như LingoQA, VLAD, SURDS, WaymoQA và các thước đo theo kiểu DriveLM. 1
Đây là kết quả điểm chuẩn do dự án tự báo cáo, không phải chứng nhận độc lập về an toàn hay mức độ sẵn sàng triển khai. Điểm lập kế hoạch, độ tương đồng vòng hở với quỹ đạo đã ghi, chỉ số dựa trên ưu tiên và kiểm chứng an toàn ngoài thực tế là các tuyên bố khác nhau. Chính Qwen cũng định vị bản phát hành là bước đầu phục vụ nghiên cứu, không phải hệ thống xe tự hành thương mại. 5
11
Nhà phát triển có thể tiếp cận những gì?
Kho mô hình trên Hugging Face lưu trữ trọng số và cấu hình Qwen-Drive-1.0-4B, đồng thời dẫn người dùng đến kho công khai QwenLM/Qwen-Drive-1.0 để lấy mã nguồn, dữ liệu demo và tài liệu. 10
12
Dự án GitHub bao gồm tài liệu suy luận và đánh giá theo hướng mô-đun. Nhà phát triển có thể dùng bản phát hành để:
- chạy VQA ảnh-văn bản và VQA về cảnh giao thông;
- chạy các demo lái xe đi kèm;
- tạo quỹ đạo bằng lập kế hoạch trực tiếp hoặc lập kế hoạch có điều kiện theo lập luận;
- quan sát đầu ra cảm nhận BEV;
- làm việc với định dạng cảnh và định dạng đánh giá đã phát hành; và
- thử nghiệm trên bộ dữ liệu công khai hoặc dữ liệu cảnh tự tạo.
Tuy vậy, bản phát hành không tự động tái tạo toàn bộ quá trình huấn luyện. Những tập dữ liệu huấn luyện không được công bố, chú thích, nhãn ưu tiên và dữ liệu độc quyền vẫn nằm ngoài khả năng khôi phục chỉ từ trọng số và mã nguồn công khai. 1
5
Vì sao thiết kế mô-đun đáng chú ý?
Giá trị chính của Qwen-Drive-1.0-4B nằm ở vai trò một nền tảng nghiên cứu. Nó làm rõ ranh giới giữa hiểu ngôn ngữ-thị giác, cảm nhận 3D và lập kế hoạch. Nhờ đó, các thử nghiệm loại trừ có thể giàu thông tin hơn: nhà nghiên cứu có thể xác định thay đổi nào cải thiện biểu diễn cảnh, sinh quỹ đạo, lập luận ngôn ngữ hay chỉ cải thiện một mục tiêu phần thưởng đặc thù của benchmark.
Dự án cũng để ngỏ khả năng thay đầu mô-đun, dựng cảnh tùy chỉnh và thử các bố cục camera hoặc cảm biến khác. Vì vậy, ý nghĩa của nó không phải lời khẳng định rằng một mô hình 4 tỷ tham số đã giải quyết bài toán xe tự hành, mà là một điểm khởi đầu mở để kiểm nghiệm cách VLM dùng chung có thể hỗ trợ các thành phần lái xe dễ phân tích hơn. 11
18
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Qwen-Drive-1.0-4B: VLM lái xe mã nguồn mở, thiết kế theo mô-đun của Alibaba" là gì?
Qwen Drive 1.0 4B là mô hình thị giác ngôn ngữ 4 tỷ tham số, mã trọng số mở theo giấy phép Apache 2.0, được xây dựng trên Qwen3.5 4B.
Những điểm chính cần xác nhận đầu tiên là gì?
Qwen Drive 1.0 4B là mô hình thị giác ngôn ngữ 4 tỷ tham số, mã trọng số mở theo giấy phép Apache 2.0, được xây dựng trên Qwen3.5 4B. Hệ thống tách mô đun cảm nhận BEV 3D và mô đun lập kế hoạch khỏi backbone VLM, đồng thời cung cấp các chế độ VQA, lập kế hoạch trực tiếp và lập kế hoạch có điều kiện theo lập luận.
Tôi nên làm gì tiếp theo trong thực tế?
Trọng số có trên Hugging Face; mã suy luận, dữ liệu demo, tài liệu và công cụ đánh giá được công bố trên GitHub.