AnswersPublished18 sources
Qwen-Drive-1.0-4B: модульна VLM для досліджень автономного водіння
Qwen Drive 1.0 4B — модель із відкритими вагами під ліцензією Apache 2.0, побудована на мультимодальній Qwen3.5 4B і розроблена спільно з Huazhong University of Science and Technology. До спільної VLM під’єднано окремі модулі: BEV голову для 3D сприйняття та Planning Expert для побудови траєкторій; доступні варіанти...
ОпублікувавВідредаговано за допомогою GPT-5.6 TerraЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- Qwen Drive 1.0 4B — модель із відкритими вагами під ліцензією Apache 2.0, побудована на мультимодальній Qwen3.5 4B і розроблена спільно з Huazhong University of Science and Technology.
- До спільної VLM під’єднано окремі модулі: BEV голову для 3D сприйняття та Planning Expert для побудови траєкторій; доступні варіанти планувальника з навчанням на прикладах і з оптимізацією винагородою.
- Опубліковані показники є корисними для порівняння в дослідженнях, але не підтверджують безпечність моделі чи її готовність до застосування на реальних дорогах.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba Qwen’s Qwen-Drive-1.0-4B, released on September 8, 2026, and how does its Apache 2.0 open-source design combine the unchange. Article summary: Qwen-Drive-1.0-4B is Qwen’s Apache-2.0 open-weight, 4B-parameter vision-language driving model, developed with Huazhong University of Science and Technology. It keeps Qwen3.5-4B’s multimodal VLM architecture intact and a. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Qwen-Drive-1.0-4B — це зорово-мовна модель (VLM) від Alibaba Qwen для досліджень автономного водіння, створена спільно з Huazhong University of Science and Technology. Замість перетворювати базову Qwen3.5-4B на непрозорий наскрізний стек, автори зберегли спільну мультимодальну основу та під’єднали до неї зовнішні модулі для 3D-сприйняття у проєкції «з висоти пташиного польоту» (BEV) і планування руху. Ваги та супутнє програмне забезпечення випущено за ліцензією Apache 2.0. 10
11
15
Одна VLM і два підключувані модулі
Базова Qwen3.5-4B обробляє зображення та текст. Вона може відповідати на запитання про візуальні сцени, зокрема дорожні, а також формує представлення даних для додаткових автомобільних компонентів. Заявлена мета такого дизайну — додати можливості для водіння, не замінюючи загальну мультимодальну архітектуру базової моделі. 10
11
Її розширюють два зовнішні модулі:
- Голова BEV-сприйняття. Компонент у стилі BEVFormer опрацьовує представлення з камер кругового огляду й повертає 3D-виявлення об’єктів, семантичне заповнення простору та сегментацію карти у BEV. У документації вказано до 300 3D-боксів для семи уніфікованих класів, сітку заповненості розміром 200 × 200 × 16 для 10 класів і растрову карту 60 × 30 м із роздільністю 0,15 м для шести класів.
18
- Planning Expert. Окремий модуль генерує майбутні траєкторії автомобіля на основі спільних представлень. Траєкторію стандартизовано як 50 поз автомобіля у власній системі координат — положення та напрямок — із частотою 10 Гц на п’ятисекундному горизонті. Це дає змогу привести різнорідні публічні датасети до спільної цілі планування.
1
Для дослідників це суттєво: сприйняття можна перевіряти окремо від планування, порівнювати безпосереднє планування з плануванням, яке використовує текстове міркування, а також замінювати чи вимикати модулі в експериментах, не змінюючи ядро VLM.
Чим відрізняються planner-sft і planner-rl
Qwen випустила дві версії планувальника, що працюють із тією самою базовою моделлю:
planner-sft— Planning Expert, навчений із учителем, тобто на прикладах водіння. Він може генерувати траєкторію напряму або після того, як модель сформулює текстове пояснення.planner-rl— версія, додатково оптимізована за допомогою винагороди під цілі бенчмарків. У документації її радять використовувати в режимі планування з міркуванням, оскільки під час оптимізаційних прогонів вона отримувала згенеровані міркування як умову.
Це пояснює важливий компроміс у метриках. Оптимізація винагородою може покращити оцінки, пов’язані з перевагами або псевдозамкненим циклом, але дещо погіршити помилку відкритого циклу щодо записаної траєкторії людини. Ці показники вимірюють різні речі: менша похибка відстані до журналованої траєкторії не обов’язково означає кращий результат у метриці переваг чи замкненого циклу. 1
Три режими запуску
Публічний посібник описує три режими інференсу: 17
| Режим | Що виконується | Результат |
|---|---|---|
VQA |
Лише VLM | Текстова відповідь |
DIRECT_PLANNING |
Один прохід VLM, потім Planning Expert | Траєкторії |
REASONING_PLANNING |
VLM генерує міркування, після чого експерт використовує цей контекст | Міркування й траєкторії |
В усіх трьох випадках використовується та сама мережа. Відрізняється те, чи генерується пояснення і чи отримує планувальник представлення, що враховує цей текстовий контекст. 17
Навчання та уніфіковані анотації
Qwen описує поетапну стратегію навчання, яка поєднує спеціалізований на водінні нагляд для 3D-сприйняття, VQA дорожніх сцен і планування з даними загального призначення для задач «зображення + текст». Конвеєр приводить різні мітки сприйняття до спільної таксономії, уніфікує відповіді у driving-VQA та перетворює траєкторії з публічних наборів даних на спільний формат опорних точок. 1
11
Задум полягає у балансі між спеціалізацією та збереженням загальних можливостей: модель має краще розуміти дорожні сцени й планувати рух, не втрачаючи базових умінь Qwen3.5-4B у роботі з зображеннями та мовою. Доступні матеріали підтверджують, що це було метою дизайну й оцінювання, але самі по собі не доводять незалежної комплексної якості на всіх бенчмарках загальних знань або просторового мислення. 1
11
Що показують заявлені результати — і чого вони не доводять
За опублікованими Qwen результатами планування, версія RL має вищий показник NAVSIM v1.1 PDMS, ніж SFT: 90,7 проти 88,2. Із вибором найкращого з шести зразків показники зростають до 91,4 та 89,3 відповідно. Для Waymo Open Dataset проєкт наводить значення end-to-end RFS 7,91 для RL та 7,78 для SFT. У відкритому оцінюванні NVIDIA PhysicalAI трисекундна minADE становить 0,38 м для RL і 0,34 м для SFT. 1
У репозиторії також повідомляється про кращі результати driving-VQA порівняно з указаним базовим Qwen3.5-4B у кількох профільних бенчмарках, зокрема LingoQA, VLAD, SURDS, WaymoQA та метриках у стилі DriveLM. 1
Утім, це результати, заявлені самим проєктом, а не незалежна сертифікація безпечності чи готовності до впровадження. Оцінки планування, схожість із зафіксованими траєкторіями у відкритому циклі, метрики на основі переваг і перевірка безпеки в реальному світі — це різні типи тверджень. Сама Qwen подає реліз як початковий крок для досліджень, а не як виробничу систему автономного водіння. 5
11
Що доступно розробникам
Репозиторій моделі на Hugging Face містить ваги й конфігурації Qwen-Drive-1.0-4B, а код, демонстраційні дані й документація доступні у відкритому репозиторії QwenLM/Qwen-Drive-1.0 на GitHub. 10
12
У проєкті є матеріали для модульного інференсу та оцінювання. Розробники можуть:
- запускати VQA для пар «зображення + текст» і дорожніх сцен;
- використовувати надані демонстрації водіння;
- генерувати траєкторії в прямому режимі або з умовою на міркування;
- переглядати результати BEV-сприйняття;
- працювати з опублікованими форматами сцен і оцінювання;
- експериментувати з публічними датасетами та власними сценами.
Водночас цей реліз не відтворює повний цикл навчання. Дані, анотації, мітки переваг і будь-які пропрієтарні набори, які не були оприлюднені, неможливо відновити лише за вагами та кодом. 1
5
Чому модульний підхід важливий
Найбільша цінність Qwen-Drive-1.0-4B — у ролі дослідницької платформи. Вона чітко відокремлює зорово-мовне розуміння, 3D-сприйняття та планування руху. Завдяки цьому експерименти можуть точніше показати, що саме покращив певний підхід: представлення сцени, побудову траєкторії, мовне міркування чи оптимізацію під конкретну винагороду бенчмарку.
Архітектура також залишає простір для заміни модулів, створення власних сцен і тестування альтернативних конфігурацій камер або сенсорів. Отже, реліз варто сприймати не як заяву, що 4-мільярдна модель уже розв’язала проблему автономного водіння, а як відкриту основу для перевірки того, як спільна VLM може підтримувати модульні й більш інтерпретовані компоненти системи водіння. 11
18
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Qwen-Drive-1.0-4B: модульна VLM для досліджень автономного водіння"?
Qwen Drive 1.0 4B — модель із відкритими вагами під ліцензією Apache 2.0, побудована на мультимодальній Qwen3.5 4B і розроблена спільно з Huazhong University of Science and Technology.
What are the key points to validate first?
Qwen Drive 1.0 4B — модель із відкритими вагами під ліцензією Apache 2.0, побудована на мультимодальній Qwen3.5 4B і розроблена спільно з Huazhong University of Science and Technology. До спільної VLM під’єднано окремі модулі: BEV голову для 3D сприйняття та Planning Expert для побудови траєкторій; доступні варіанти планувальника з навчанням на прикладах і з оптимізацією винагородою.
What should I do next in practice?
Опубліковані показники є корисними для порівняння в дослідженнях, але не підтверджують безпечність моделі чи її готовність до застосування на реальних дорогах.